技術要約：AURORA – 堅牢なハルシネーション検出のための非対称性と更新誘発回転

問題提起

大規模言語モデル（LLM）は、流暢でもっともらしく見えるものの、事実として不正確であったり入力コンテキストに忠実でなかったりする出力、すなわち「ハルシネーション（幻覚）」を生成するという持続的な傾向があります。これは、医療、法律、金融といった高リスクな領域におけるLLMの導入に対して、重大な障壁となっています。

既存の検出手法は、主に以下の2つのカテゴリに分類されます：

1. ブラックボックス・アプローチ： 出力レベルの一貫性チェック（例：複数の応答のサンプリング）やクエリの再構成に依存します。これらはコストが高く、複数の生成を必要とする場合があり、ハルシネーションと良質な多様性を混同してしまう可能性があります。
2. ホワイトボックス・アプローチ： フォワードパス中に抽出された静的な内部表現（隠れ状態、アテンションマップ、ロジット）を利用します。これらはサンプル効率には優れていますが、多くの場合、データセット固有の表面的なパターンを捉えてしまい、クロスデータセット評価において大幅な性能低下を招きます。

著者らは、静的な表現では、特定のサンプルに適合するようにモデルが「どのように変化するか」を捉えることができないと主張しています。彼らは、勾配レベルの情報、すなわち特定の入力によって誘発されるパラメータ更新の方向こそが、忠実なコンテンツとハルシネーションを含むコンテンツを区別するための、より基本的かつ汎用的な信号を含んでいると仮定しています。

手法：AURORA

AURORAは、静的な隠れ状態から重み勾配のダイナミクスへと焦点を移したホワイトボックス型のハルシネーション検出フレームワークです。その核心となる仮説は、ハルシネーションを含むサンプルは、忠実なサンプルと比較して、質的に異なる勾配更新パターンを誘発するということです。具体的には、ハルシネーションを含む回答は、モデルが学習済みのパラメータと内部的に矛盾する生成内容を整合させようとする際に、非対称かつ構造的に不整合な勾配を引き起こします。

フレームワークの概要

1. 適応（Adaptation）： LLMに軽量なLoRA（Low-Rank Adaptation）アダプタを装備します。ベースとなる重み $W_0$ は凍結されたまま、低ランク行列 $A$ と $B$ が訓練されます。

2. 勾配抽出（Gradient Extraction）： 与えられたクエリと回答のペアに対して、フォワード・バックワードパスを実行し、勾配 ($\nabla_B L, \nabla_A L$) を計算します。

3. 仮説的な重み更新（Hypothetical Weight Update）： 実効的な重みの変化 ($\delta W$) を一次展開によって近似します。仮説的な「勾配方向の重み」 ($G$) を次のように構築します：$G = W - \gamma \cdot \delta W$。これは、1回の勾配ステップ後のモデルの状態を表します。

4. 特徴量抽出（Feature Extraction）： 現在の重み $W$ と仮説的な更新後の重み $G$ の関係から、2つの補完的な特徴量を導出します。

   • 特徴1：コサイン類似度分布の歪度（Skewness of Cosine Similarity Distribution）

     • $W$ と $G$ の行方向および列方向のコサイン類似度を計算します。
     • この分布の歪度を測定します。
     • 解釈： 高度に歪んだ分布は、勾配更新が特定の出力または入力次元に対して非対称に影響を与えていることを示します。ハルシネーションを含むサンプルは、更新を均等に分散させるのではなく、少数の支配的な方向に集中させる傾向があります（高い正の歪度）。

   • 特徴2：SVDによる回転比（Rotation Ratio via SVD）

     • 元の重み行列 $W$ に対して、特異ベクトル基底 ($U_r, V_r$) を得るために、切り捨てられた特異値分解（SVD）を実行します。
     • 勾配方向の重み $G$ をこの元の基底に投影し、$\tilde{S} = U_r^\top G V_r$ を形成します。
     • $\tilde{S}$ の非対角成分のエネルギーに基づき、回転比 ($\rho$) を計算します。
     • 解釈： 高い回転比は、勾配更新が学習済みの特異ベクトル基底から重み行列を大幅に再配向させていることを示し、内部的な不整合を反映しています。

5. 分類（Classification）： これらの特徴量は、レイヤーごと、モジュールごとにzスコア正規化され、バイナリクロスエントロピー損失を用いて訓練された軽量な多層パーセプトロン（MLP）に入力されます。

主な貢献

1. 新しい特徴空間： 本論文は、重み更新のダイナミクスを利用する初のハルシネーション検出フレームワークを導入しました。著者らは、重みと勾配の整列における歪度と、SVDベースの回転比が、ハルシネーションの明確なシグネチャであることを特定しました。
2. 優れた汎用性： 静的な隠れ状態に依存する方法とは異なり、AURORAはクロスデータセットでの汎用性において大幅な改善を示しています。著者らは、勾配レベルの特徴が、データセット固有の相関ではなく、モデル固有のハルシネーションのシグネチャを捉えていると主張しています。
3. 広範な検証： 本手法は以下を通じて検証されています：
   • モデルファミリー： 4つの異なるアーキテクチャ（Qwen, LLaMA, Ministral, Gemma）。
   • スケール： 0.8Bから70Bパラメータまでのモデル。
   • ドメイン： 標準的なQAベンチマーク（HaluEval, HotpotQA, TriviaQA, SQuAD）およびアウトオブドメインのタスク（数学的推論、視覚言語シナリオ）。

実験結果

• クロスデータセット性能： クロスデータセット評価（あるデータセットで訓練し、他のデータセットでテスト）において、AURORAは既存のホワイトボックス・ベースライン（ICR Probe, HARP）およびブラックボックス手法（InterrogateLLM）を大幅に上回りました。例えば、LLaMA-3-8Bにおいて、AURORAは汎用精度（Gen-ACC）0.8026を達成しましたが、HARPは0.6703でした。
• インドメイン性能： AURORAは競争力のあるインドメイン精度を達成しており、多くの場合、HARPのような特化したベースラインと同等か、わずかに下回る程度ですが、転移性ははるかに優れています。
• アブレーション研究：
  • 特徴の補完性： 回転比の特徴を除去すると、インドメインの精度は維持されましたが、汎用性が大幅に低下し、アウトオブディストリビューションに対する堅牢性における役割が確認されました。歪度の特徴を除去すると、両方の指標が低下しました。
  • レイヤーの感度： 最後のトランスフォーマーブロックから抽出された特徴を、MLPとアテンションの両方のモジュールと組み合わせた場合に、最高の性能が得られました。
  • SVDランク： 計算コストと汎用性能のバランスをとるために、切り捨てられたSVDランクは128が最適であると判明しました。
• アウトオブドメイン転移： 本手法は、数学的推論（MATH-Reasoning-Paths）や視覚言語ハルシネーション検出（Hal-Eval）への転移に成功し、強力な性能を維持しました。

重要性と主張

本論文は、モデルの重みとサンプル誘発勾配の相互作用を分析することにより、AURORAがハルシネーション検出のための汎用的かつ転移可能なシグナルを提供すると主張しています。モデルが現在「何を知っているか」ではなく、モデルが「どのように変化するか」に焦点を当てることで、データセット固有の表面的なパターンの罠を回避しています。

著者らは、AURORAを以下のための原理的なツールとして位置付けています：

1. 安全性： 高リスクなアプリケーションにおいて、エンドユーザーに回答が届く前に、潜在的なハルシネーションをフラグ立てすること。
2. データフィルタリング： 教師あり微調整（SFT）データセットの構築中に、ハルシネーションを含むサンプルを自動的にスコアリングして破棄し、手動の検証なしにトレーニングデータの品質を向上させること。
3. 解釈可能性： LLMが忠実なコンテンツとハルシネーションを含むコンテンツに対して内部的にどのように反応するかを示す窓を提供し、ハルシネーションが異方性的かつ構造的に不整合なパラメータ更新を誘発することを明らかにすること。

この研究は、重み更新のダイナミクスが、様々なモデルサイズ、アーキテクチャ、およびモダリティを横断して堅牢な検出に利用できる、LLMの根本的な特性であることを示唆しています。