技術要約: DESCAPE (DEcoding Signal Control Against Path Error-snowballing)

問題提起

大規模言語モデル（LLM）は、自己回帰的な生成過程において初期の事実誤認が累積し、「雪だるま式（snowballing）」に増幅していくという、ハルシネーション（幻覚）という重大な課題に直面している。既存の緩和策には、以下のような根本的な限界がある：

• 検索拡張生成 (RAG) は、外部リトリーバーの品質に依存し、検索によるレイテンシが発生する。
• 教師あり微調整 (SFT) や 人間からのフィードバックによる強化学習 (RLHF) は、膨大な計算リソースを必要とし、破滅的忘却のリスクを伴う。
• 事後的な修正 や 重みレベルの介入 は、誤った軌道が一度開始された後では、エラーの伝播を効果的に阻止することができない。

現在のデコーディング時の介入手法には3つのパラダイムが存在するが、それぞれ特有の欠点がある：

1. 内在的ステアリング (Intrinsic Steering): 内部表現を操作するが、ハルシネーションの軌道が始まってしまった後では、回避手段が限られる。
2. 外的検証 (Extrinsic Verification): 補助モデルを用いて候補を再スコアリングするが、分布のシフト（distribution shifts）や大幅な推論オーバーヘッドを招く。
3. 自己検証 (Self-Verification): モデル自身のフィードバックに依存するが、これは生成器の既存の分布空間によって構造的に制限されており、誤った確信から脱出することはできない。

本論文は、独立した事実的信号がモデルの内部に存在しているが、それは最終的な出力分布からは切り離されており、ハルシネーションを引き起こすトークンが放出される前の、先制的な介入の窓口を提供していると主張している。

手法: DESCAPE

著者らは、モデルのパラメータを変更したり外部の検証器に頼ったりすることなく、推論時にハルシネーションが発生しやすい軌道を抑制するために、内部のモデル信号を活用するデコーディング・フレームワークであるDESCAPEを提案する。

1. 事実的顕著層スパン (Factual-Salient Layer Spans) の特定

スライディングウィンドウ方式のMLPアブレーションを通じて、著者らは、事実的な生成中に選択的に関与する、連続したマルチレイヤー・パーセプトロン（MLP）層のスパンを特定した。

• メカニズム: 彼らはウィンドウ $[l_{start}, l_{end}]$ を定義し、このスパン内のMLPモジュールの出力活性化をゼロにする。
• 指標: 対象となるトークンに対する、元のモデル ($P_S$) とアブレーション後のモデル ($P_W$) の間の対数確率差として、事実的属性スコア (Factual Attribution Score) $\Delta(w)$ を算出する。
• 知見: 特定の層スパン（例：Llama-3.1におけるレイヤー12〜18）が最大の $\Delta(w)$ を示し、これが「事実的顕著層スパン」であることを示している。
• 信号の特性:
  • 導出された信号は、事実的なトークン（エンティティ、数値など）に対して一貫して高くなるが、機能語に対しては無視できる程度である。
  • ハルシネーション検出: ハルシネーションを起こすトークンは、事実的なトークンと比較して、この信号において異常なスパイクを引き起こし、エラー伝播の前兆として信頼できる指標となる。

2. 軽量プローブの訓練

真の属性信号 $\delta^{real}_t$ を計算するには、二重のフォワードパス（オリジナルとアブレーション後）が必要であり、計算コストが高い。リアルタイムの推論を可能にするために：

• 軽量プローブ ($f_\phi$) を訓練し、単一のフォワードパスから $\delta^{real}_t$ を近似させる。
• 入力: 事実的顕著スパンの最終層からの隠れ状態 $h_t$ と、候補トークンの埋め込み $e(v)$ の結合。
• 訓練: プローブは、Databricks Dolly-15kデータセットの候補トークンを用いて、スパイク感受性ハブ損失 (spike-sensitive Huber loss) を用いて訓練される。この損失関数は、大きな正の教師信号（高いスパイク）を持つサンプルを動的にアップウェイトし、プローブがハルシネーションが発生しやすいステップの検出に集中するように設計されている。

3. 信号統合型デコーディング

各デコーディングステップにおいて、推定された信号 $\hat{\delta}_t(v)$ を候補スコアリングメカニズムに統合し、ビーム選択を誘導する：

• リスクペナルティ ($P_{risk}$): $\hat{\delta}_t(v)$ が閾値 $\tau$ を超える場合（異常なスパイクを示唆する場合）、そのトークンにペナルティを課す。
  $$P_{risk}(v) = \alpha \cdot \max(0, \hat{\delta}_t(v) - \tau)$$
• 事実ボーナス ($B_{fact}$): 安定した事実領域 $[\tau_{fact}, \tau)$ に含まれるトークンに報酬を与える。
  $$B_{fact}(v) = \gamma \cdot \mathbb{1}[\tau_{fact} \le \hat{\delta}_t(v) < \tau]$$
• 最終スコア: 増分スコア $S_{inc}(v)$ は、言語モデルの対数確率にペナルティとボーナスを組み合わせる：
  $$S_{inc}(v) = \log p(v | y_{<t}, x) - P_{risk}(v) + B_{fact}(v)$$

主な貢献

1. 事実的顕著信号の発見: 著者らは、LLMにおける特定の連続したMLP層スパンを特定した。そこから導出される属性信号は、事実的なトークンに対して選択的に高まり、ハルシネーションが発生しやすいステップにおいて異常なスパイクを示す。
2. 予防的軌道制御 (DESCAPE): この信号を、デコーディング時の介入のための統一された内部基盤として活用するフレームワーク。この手法は、信号を軽量なプローブで近似し、候補スコアリングに統合することで、エラーが伝播する前に高リスクな継続を阻止する。
3. 実証的検証: 5つの事実性ベンチマーク（TruthfulQA, FreshQA, FACTSCORE, NQ, TriviaQA）および3つのLLM（Llama-3.1, Mistral, Qwen2.5）にわたる広範な実験により、最小限のレイテンシオーバーヘッドで事実性の向上が示された。

実験結果

• 事実性の向上: DESCAPEは、ベンチマークにおいて最先端または競争力のある結果を達成している。特に、FACTSCORE（長文生成）において、Llama-3.1を用いた際、greedy（貪欲）法による44.4に対し67.20という大幅な改善を示した。TruthfulQAにおいても、3つのモデルすべてにおいて最高のTruthInfo (TI) スコアを達成した。
• 効率性: 本手法のレイテンシオーバーヘッドは、greedyデコーディングに対してわずか1.10倍である。これは、Self-Refine（7.24倍）や他のコントラスティブ・デコーディング手法よりも大幅に低い。
• 短文回答QA: 短文回答QA（NQ, TriviaQA）における厳密なEM/F1指標での改善は、それほど一貫していない。著者らは、これを回答フォーマットへの感度や厳密な語彙一致に一部起因すると考えており、SoftEM指標ではより良いパフォーマンスが見られることを指摘している。
• プローブの品質: 軽量プローブは、真の信号に対して高い一致率（セーフゾーンで75.8%、リスクゾーンで69.6%）を示しながら、真の信号を直接使用する場合と比較してレイテンシを約半分に削減している。

意義と主張

本論文は、内部属性信号が、実用的なリアルタイムのデコーディング時介入として実行可能であることをDESCAPEが証明していると主張している。モデルの内部にありながら、最終的な出力分布とは切り離された信号を特定することで、この手法はハルシネーションの軌道に対する予防的な制御を可能にする。

著者らは、DESCAPEが、既存のベースラインと比較して、生成品質と計算コストの間に優れたトレードオフを提供することを強調している。彼らは、DESCAPEを特に事実探索型の生成 (fact-seeking generation) 用として位置づけ、創造的なタスクのための汎用的なデコーディング戦略としてではなく、事実性が極めて重要なプロンプトに対して選択的に起動することを推奨している。本研究は、ハルシネーションの雪だるま式増幅は、中間層の活性化を監視することによって、トークンレベルで遮断できることを示しており、事後的な修正では効果的に対処できない問題に対する構造的な解決策を提示している。