Harnessing Reasoning Trajectories for Hallucination Detection via Answer-agreement Representation Shaping

技術的サマリー：回答合意表現整形による推論軌跡の活用と幻覚検出

問題定義
大規模推論モデル（LRM）は、最終的な回答を生成する前に、長く一貫性のある推論トレースを生成します。これらのトレースは豊かなシグナルを提供しますが、回答レベルの幻覚検出を不明瞭にすることがあります。トレース全体に沿った隠れ状態を直接プローブするか、検出のためにトレーステキストを使用するアプローチは脆弱です。検出器は、最終的な回答の妥当性を捉えるのではなく、推論プロセスの表面的なスタイルパターンに過剰適合する傾向があります。さらに、既存の手法は多くの場合、高価なテスト時サンプリング（例えば、一貫性を測定するために複数の回答を生成する）や、分類器の訓練のための人間の注釈に依存しています。核心的な課題は、推論軌跡から、表面形式の変動に対して頑健であり、かつ高い推論コストを伴わずに幻覚リスクを示唆する、安定した回答中心のシグナルを抽出することです。

手法：回答合意表現整形（ARS）
著者は、潜在介入を通じて回答の安定性を明示的に符号化することにより、検出に有利なトレース条件付き回答表現を学習するフレームワークであるARSを提案します。この手法は主に 2 つの段階で動作します。

1. 対照的回答のための潜在介入：
   推論トレースのテキストを攪乱する（一貫性を損なったり、偽のシグナルを導入したりする可能性がある）のではなく、ARS はモデルの潜在状態に直接介入します。具体的には、LRM の penultimate レイヤーにおける推論軌跡の最終トークンの隠れ状態として定義されるトレース境界埋め込み（$h$）をターゲットとします。

   • 小さな攪乱ベクトル（$\delta$）を分布（例えば、等方性ガウス分布）からサンプリングし、$h$ に加えて修正された状態 $\tilde{h} = h + \delta$ を作成します。
   • モデルは $\tilde{h}$ からデコーディングを継続し、対照的回答（$\tilde{a}$）を生成します。
   • このプロセスを $M$ 回繰り返し、対照的回答のセットを生成します。

2. 回答合意表現整形：
   このフレームワークは、元の回答（$a$）と対照的回答（$\tilde{a}$）との合意に基づいて訓練ペアを構築します。

   • ポジティブペア： 元の回答と合意する対照的回答（$Agr(a, \tilde{a}) = 1$）。
   • ネガティブペア： 元の回答と合意しない対照的回答（$Agr(a, \tilde{a}) = 0$）。
   • 軽量なマッピング関数 $g_\phi$ を訓練して、バニラ回答埋め込み（$u$）を整形された埋め込み（$z$）に変換します。目的関数は、合意する埋め込みをアンカーに近づけ、合意しない埋め込みを遠ざけるコントラスト損失です。
   • 重要なのは、ベース LRM のパラメータ（$\theta$）は凍結されたままとなり、軽量なヘッド $g_\phi$ のみが訓練されることです。このプロセスには真実の幻覚ラベルは不要であり、モデル自身の生成物の内部一貫性のみを依存関係とします。

主要な貢献

• トレース整形のための最初のフレームワーク： ARS は、LRM における幻覚検出のために回答表現を整形するために、推論軌跡を原理的に使用する最初のフレームワークとして提示されます。これは、対照的回答を誘発するためにトレース境界での潜在攪乱を利用します。
• 合意駆動型の目的関数： 本論文は、小さな内部変化が回答を保持するかどうかに基づいて回答埋め込みを整理する目的関数を導入し、脆弱なテキスト攪乱や人間の注釈への依存を回避します。
• 理論的および実証的分析： 著者は、整形された埋め込みの合意分離確率と幻覚検出誤りの上限を結びつける理論的命題（命題 4.2）を提供します。実証的には、回答の安定性（対照的一貫性によって測定される）が真実性を予測することを示しています。

結果
実験は、複数の LRM ファミリー（Qwen3-8B/14B、DeepSeek-R1-Distill 変種）を使用して、4 つのデータセット（TruthfulQA、TriviaQA、GSM8K、MATH-500）で行われました。

• 性能向上： ARS は、不確実性ベースの手法（Perplexity、Semantic Entropy）、一貫性ベースの手法（Lexical Similarity、SelfCKGPT）、および LRM 固有の検出器（RHD、RACE、G-Detector）を含む強力なベースラインを一貫して上回りました。
  • TruthfulQA における Qwen3-8B では、ARS はダウンストリーム検出器として CCS を使用して AUROC 86.64% を達成しました。これは、バニラ LRM 埋め込みベースライン（66.85%）や他の最先端手法（例えば、TSV は 77.08%）と比較して大幅な改善です。
  • 同様の改善がすべてのデータセットとモデルサイズで観察され、バニラ埋め込みに対して 10% から 20% の向上が見られました。
• 汎用性： 整形された表現は、データセット間（例えば、GSM8K で訓練し、TriviaQA でテスト）で効果的に転移し、より大規模なモデル（14B パラメータ）にもスケーリングします。
• 効率性： 推論時に複数のフォワードパスを必要とするサンプリングベースのベースラインとは異なり、ARS はテスト時に単一の生成のみを必要とします。訓練のオーバーヘッドは最小限です（例えば、TruthfulQA 訓練セットの訓練には約 649 秒）。

意義と主張
本論文は、ARS が、流暢な推論トレースが事実誤りを隠蔽する LRM における重要な信頼性の欠陥に対処していると主張します。潜在攪乱下での回答の安定性を反映するように表現を整形することで、ARS は幻覚に関連する「脆弱な」内部状態を露呈させます。著者は、ARS が真実性の保証ではなく、他の保護策と組み合わせて使用されるための検出コンポーネントであると強調しています。この研究は、推論モデルにおける幻覚の幾何学に関する洞察を提供し、幻覚された回答はしばしば低安定性マージンを有する潜在空間の領域に存在し、人間の監督なしに回答合意整形を通じて効果的に露呈できることを示唆しています。