技術的サマリー：MULTIHALUDET

問題提起

大規模言語モデル（LLM）におけるハルシネーション（幻覚）は、特に非英語およびリソース制約のある文脈において、その信頼性ある展開に対する重大な障壁となっています。既存の検出手法は以下の点で重大な限界に直面しています：

• 証拠ベースの手法は外部検索に依存しており、計算上の遅延と検索品質への依存性を導入します。
• 信頼度に基づくヒューリスティック（例：logit 確率、エントロピー）は、モデルが高い出力信頼性を示している場合でも、ハルシネーションが意味レベルの虚構として現れる可能性があるため、深い事実的不整合を捉えるのにしばしば失敗します。
• 内部状態プロービング手法は、単一のトークンや特定の層に焦点を当てることが多く、非事実的なトークンがシーケンス全体に分散している場合や、モデルの深さが異なる場合には困難をきたします。さらに、これらの手法は、言語固有の微調整なしには、類型学的に多様な言語間で頑健性を欠くことが頻繁にあります。

手法：MULTIHALUDET

著者らは、凍結された LLM の完全な隠れ状態の軌跡をプロービングすることにより多言語ハルシネーションを検出するように設計された、4 段階の教師ありフレームワークであるMULTIHALUDETを提案します。このフレームワークは、言語固有の微調整を必要とせずに動作します。

1. LLM ベースの特徴抽出

このプロセスは、構造化されたプロンプトを凍結された量子化 LLM に渡して、隠れ状態テンソル $\{H^{(l)}\}_{l=0}^L$ を抽出することから始まります。

• 動的層サンプリング：深さが異なるモデル（$L$）間での互換性を確保するため、動的サンプリング戦略が層を固定された目標数（$K=32$）にマッピングします。これには、浅いモデルに対する恒等写像、パディングのための繰り返し、深いモデルに対する均一な補間が含まれます。
• 逐次的層別特徴：各サンプリングされた層について、フレームワークは最後のトークン表現とシーケンス平均の両方からコンパクトな記述子を抽出します。これらの記述子には、内部ダイナミクスの進化を捉えるための分布統計（例：$\ell_2$ ノルム、平均、標準偏差、疎性、尖度、中央値絶対偏差）が含まれます。
• アンカーベースの深さプロービング：アーキテクチャ間の比較を可能にするため、特徴は比例的な深さの割合（初期、中期、後期段階）に対応する 4 つの「アンカー」層から抽出され、総モデル深さに関係なく一貫した意味表現を確保します。
• グローバル特徴ベクトル：グローバルベクトルは、次のトークンの確率、logit 統計、層別ノルム軌跡、および出力信頼性と内部幾何学との間のクロス特徴相互作用項を集約します。

2. MultiHaluDet アーキテクチャ

抽出された特徴は、深層学習アーキテクチャを介して処理されます：

• マルチスケールアテンション：逐次入力は、複数の時間解像度で投影され処理されます。学習された位置ごとのゲートが、異なるスケールからの寄与を組み合わせ、微細な層情報をマルチスケール文脈で豊かにします。
• 層重み付けトランスフォーマーエンコーダ：学習可能な重要度ベクトルが、Pre-LN トランスフォーマー層のスタックによってエンコードされる前に融合シーケンスを変調します。これにより、モデルは特定の LLM の深さに注意を向け、長距離の層間依存関係を捉えることができます。
• 自己アテンションプーリング：平均プーリングの代わりに、学習されたアテンション機構が各位置に関連性スコアを割り当て、最も情報量の多い層に焦点を当てるための入力適応型の深さ選択を可能にします。
• ゲート付き融合：逐次表現はグローバル特徴ベクトルと連結されます。シグモイドゲートが要素ごとの再重み付けを実行して、無情報な次元を抑制し、その結果を分類器に渡します。

3. 折り返し外（OOF）スタッキング

データリーケージを防止し、偏りのない深層表現を取得するため、フレームワークは K 折 OOF スタッキングを採用します。モデルの新しいインスタンスを $K-1$ フォールドで訓練し、保持されたフォールドに対してゲート付き融合表現を生成します。これらの OOF 特徴は、メタラーナーのための堅牢な訓練行列を形成します。

4. アンサンブルメタラーナー

OOF 深層特徴は、多様な分類器のアンサンブル（勾配ブースティング木、ランダムフォレスト、SVM、MLP、ロジスティック回帰）への入力として機能します。ロジスティックメタ回帰器は、これらのベースラーナーの確率推定値をスタッキングし、各コンポーネントの判別能力に応じてアンサンブル構成を適応させます。

5. 多言語適応

クロスリンガル汎化性を評価するため、英語データセット（HaluEval および TriviaQA）を、Gemini 2.5 Flash を使用してフランス語（高リソース）、ベンガル語（中リソース）、アムハラ語（低リソース）に翻訳しました。厳格な人間評価とバックトランスレーションにより、意味的完全性が確保されました。凍結された LLM は、それぞれのトークン空間でこれらの入力をネイティブに処理し、検出器が言語に依存しないハルシネーション信号をプローブすることを可能にします。

主要な貢献

1. フレームワーク設計：動的特徴抽出、マルチスケールアテンション、OOF 深層特徴生成、および学習されたアンサンブルメタラーニングを組み合わせ、事実的不整合の微細かつ粗大なパターンを捉える 4 段階フレームワーク「MULTIHALUDET」の導入。
2. 性能向上：Mistral-7B および LLaMA2-7B を使用した HaluEval および TriviaQA ベンチマークにおいて、最先端の検出性能を実証し、最大98.55% AUROCを達成。
3. クロスリンガル汎化性：言語固有の微調整なしに、類型学的に多様な言語階層（フランス語、ベンガル語、アムハラ語）間で強力な検出信号を維持することを示す包括的な評価。

結果

• ベンチマーク性能：MULTIHALUDET は、信頼度ベースの手法（P(True)、AvgProb）、一貫性ベースの手法（INSIDE、Unigram）、および他のプロービング手法（SAPLMA、MIND、Neural ODEs/CDEs/SDEs）を含む 13 のベースラインを大幅に上回ります。
  • HaluEvalにおいて LLaMA2-7B を使用した場合、次点のベースライン（Neural CDEs）の 92.8% に対し、98.55% AUROCを達成しました。
  • TriviaQAにおいて LLaMA2-7B を使用した場合、次点のベースラインの 83.7% に対し、98.26% AUROCを達成しました。
• クロスアーキテクチャ頑健性：Mistral-7B から LLaMA2-7B へ切り替える際に性能低下をきたすベースラインとは異なり、MULTIHALUDET はアーキテクチャ間でほぼ同等の有効性を維持しました。
• クロスリンガル頑健性：
  • フランス語：性能は高く（HaluEval で 96.2%）、英語のベースラインをわずかに下回るのみでした。
  • ベンガル語：制御された低下（HaluEval で 89.1%）を示しましたが、ベースライン（78.4%）を大幅に上回りました。
  • アムハラ語：ベースモデルが事実想起に苦しむ低リソース言語であるにもかかわらず、MULTIHALUDET は HaluEval で 78.5% を達成し、ランダムな確率および標準的な信頼度ベースラインに対する堅牢な優位性を維持しました。
• アブレーション研究：OOF スタッキング機構を除去すると最も深刻な性能低下（約 10%）が生じ、次いでマルチスケールアテンションの除去（約 7%）が続きました。軌道プロービングを静的な最終層表現に置き換えると約 5% 低下し、完全な隠れ状態の進化を分析する必要性が確認されました。

意義と限界

本論文は、MULTIHALUDET が微調整なしに多様な言語およびモデルアーキテクチャにわたってハルシネーションを効果的に検出できることを実証していると主張しています。これは、非英語の文脈における意味レベルの虚構を捉えられない現在の手法の限界に対処するものです。

しかし、著者らは特定の限界を認めています：

• ホワイトボックス要件：このフレームワークは内部隠れ状態および logit へのアクセスを必要とするため、GPT-4 や Claude などのプロプライエタリなブラックボックスモデルには適用できません。
• 計算オーバーヘッド：微調整を回避する一方で、完全な深さの隠れ状態の抽出と処理は、無視できないメモリオーバーヘッドを伴い、完全なフォワードパスを必要とします。
• 翻訳アーティファクト：多言語評価は翻訳されたデータセットに依存しています。品質保証は厳格でしたが、低リソース言語におけるネイティブで自然に発生するプロンプトは、翻訳されたベンチマークでは完全に捉えられていないニュアンスを明らかにする可能性があります。