Hallucination Detection via Activations of Open-Weight Proxy Analyzers

技術的概要：オープンウェイトプロキシアナライザーの活性化による幻覚検出

問題定義
検索拡張生成（RAG）パイプラインは企業向けアプリケーションに不可欠であるが、ドメイン固有のタスクにおいて 5% から 20% の幻覚発生率に悩まされている。既存の検出手法は重大な限界に直面している：事後検証や不確実性に基づくアプローチは計算コストが高く、複数のモデルパスを必要とする。ホワイトボックスの機械的アプローチは高精度を提供するが、生成モデルの内部状態への直接アクセスを必要とする。これにより、GPT-4 のようなクローズド API モデル、マルチバックエンドシステム、あるいは検出目的のみで巨大な生成モデルを再実行することがコスト的に不可能なシナリオが除外される。核心的な課題は、生成モデルの重みや内部活性化にアクセスすることなく幻覚を検出することである。

手法
著者は、検出器を生成モデルから切り離すプロキシアナライザーフレームワークを提案する。ソース文書（$S$）、質問（$Q$）、候補回答（$A$）が与えられた場合、システムはこのテキストを小型でローカルにホストされたオープンウェイトの「アナライザー」モデルに入力する。検出器は、$A$ を生成したモデルが何であれ、アナライザーの内部活性化に完全に依存して、$A$ が幻覚かどうかを判断する。

このフレームワークは、単一のフォワードパス中にトランスフォーマーのメカニズムに基づいた18 の特徴量を抽出する：

1. 活性化シグナル（S1–S4）:
   • S1（残差ノルム）: 残差ストリームノルムの増大を追跡する。忠実な回答は安定した増大を示すが、幻覚は早期に頭打ちになる。
   • S2（ヘッド別ソース注意）: 最も重要な特徴量（特徴量の重要度の約 50%）であり、ヘッドおよびレイヤーごとのソース文書への注意を測定する。
   • S3（注意エントロピー）: 忠実な読解は注意を広げるが、幻覚は記憶されたトークンに収束する。
   • S4（MLP ノルム）: パラメトリックメモリの発火強度を追跡し、「パラメトリック知識スコア」と同様の役割を果たす。
2. ログit および相互作用シグナル（S5–S7）: ログレンズの軌跡、条件付きパープレキシティ、およびソース読解に対するパラメトリックメモリの優位性を反映する相互作用項を含む。
3. 外部および語彙シグナル（S8–S10）: Vectara HHEM スコア、回答対ソースの長さ比率、および Jaccard トークン重なりを含む。
4. ウィンドウおよび傾きシグナル（S11–S15）: 固定されたレイヤーウィンドウにわたって S1 と S2 を集約し、残差ノルムおよびグラウンディング比率の傾きを分析する。
5. トークンレベルのグラウンディング統計（S16–S18）: 各トークンにおける最小グラウンディングスコア、分散、およびグラウンディング軌道の傾きを捉える新しい統計量。

分布外（OOD）条件下で生の平均注意シグナルを上回る、忠実な回答と幻覚を最もよく区別する特定の注意ヘッドを特定するための、新規の**注意ヘッド重要度（AHI）**スコアが導入された。

システムは、5 つのデータセット（HaluEval、RAGTruth、MedHallu、MiniCheck-Synthetic、ANLI）から 72,135 サンプルで訓練されたスタッキングアンサンブル（ロジスティック回帰、ランダムフォレスト、HistGradientBoosting、XGBoost）を採用する。RAGTruth 特有の忠実性失敗パターンを捉えるために、RAGTruth データのみに特化して訓練された分類器RagtStackingが使用される。

主要な貢献

1. 特徴量フレームワーク: オープンウェイトモデルの単一のフォワードパスから導出された、3 つの新しいトークンレベルのグラウンディング統計を含む、メカニズムに基づいた 18 の特徴量の導入。
2. 注意ヘッド重要度（AHI）: グラウンディングに重要な特定の注意ヘッドを特定する教師あり指標であり、生の平均注意と比較して OOD 変化下で優れた安定性を示す。
3. 規模対アーキテクチャ研究: Qwen2.5、Gemma-2、Pythia、LLaMA-3 の 4 つのファミリーから 0.5B から 9B パラメータまでの 7 つのモデルにわたる包括的な評価により、モデルファミリーとアーキテクチャ設計がしばしばパラメータ数よりも重要であることが明らかになった。
4. 性能ベンチマーク: 生成モデルへのアクセスなしで、最先端のホワイトボックス手法（ReDeEP）を上回るプロキシアナライザーの実証。
5. タスク深さ相関: 幻覚検出シグナルがタスクタイプに応じて異なるレイヤー深さでピークに達することの発見（例：QA は主張検証よりも深い層でピークに達する）。

結果

• 主要ベンチマーク（RAGTruth）: 7 つのアナライザーアーキテクチャすべてにおいて、システムは ReDeEP のトークンレベル AUC（0.73）を7.4 から 10.3 ポイント上回った。
  • Qwen2.5-7Bは、RagtStacking を用いて F1 0.717、AUC 0.834を達成し、ReDeEP のトークンレベル F1（0.713）を上回った。
  • Gemma-2-9Bは最高 AUC 0.836を達成した。
  • Qwen2.5-0.5Bは F1 0.706を達成し、10 億パラメータ未満のモデルが実用可能であることを示した。
• モデルサイズの収束: パラメータ数で 18 倍の差があるにもかかわらず、7 つのモデル全体の AUC のばらつきは2.3 ポイント（0.814 から 0.837）のみであった。
• 「LLaMA 異常」: スケーリング則に反し、LLaMA-3-3Bは RAGTruth において LLaMA-3-8B を上回った（AUC 0.822 対 0.819；F1 0.698 対 0.687）。8B モデルは OOD データでのみ回復し、同じファミリー内ではサイズが大きいほど検出性能が保証されるわけではないことを示唆している。
• OOD 性能: LLM-AggreFact において、すべてのモデルはバランス精度で 2.8 ポイント以内に集約された。ベースラインとの性能差は、ソース文書の長さの不一致（訓練では 1,200 文字、AggreFact では約 3,000 文字）に起因し、根本的なシグナルの失敗によるものではない。18 のシグナルのうち 6 つは長さの変化に対して安定していた。
• 生成モデル非依存性: システムは生成モデル（GPT-4、GPT-3.5、Mistral-7B、Llama-2 変種）間で一貫した性能を発揮し、生成モデル固有のアーティファクトではなくソース文書の幻覚パターンの検出を確認した。

意義と主張
本論文は、アーキテクチャ設計が、生のパラメータ数よりも検出品質のより強力な駆動力であると主張する。結果は「大きいほど常に良い」という直観に挑戦し、0.5B の Qwen モデルがその 10 倍のサイズのモデルと同等かそれ以上の性能を発揮し、3B の LLaMA がその 8B の対抗馬を上回ることが示されている。

著者は、自らのアプローチが RAG システムに対する汎用的なガードを提供すると主張する。検出器を生成モデルから分離することで、このシステムは単一の実装で多様なバックエンド（クローズド API を含む）に展開可能である。これらの知見は、幻覚が回答とソースの間のミスマッチの性質であり、テキストを読む任意のトランスフォーマーの内部状態を通じて検出可能であることを示唆しており、特定の生成モデルは検出プロセスにとって無関係である。論文は、現在の OOD のギャップは訓練データの制約（ソースの長さ）に起因するが、シグナルの核心的な安定性は、このアプローチがより広範な展開に対して本質的に妥当であることを示していると結論付けている。