論文「Before the First Token: Scale-Dependent Emergence of Hallucination Signals in Autoregressive Language Models」の技術的サマリー

この論文は、自己回帰型言語モデル（LLM）が「ハルシネーション（虚偽の生成）」を決定するタイミングと、その内部表現がモデルの規模（パラメータ数）や学習手法（ベースモデルか指示調整済みか）によってどのように変化するかを体系的に調査した研究です。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

---

1. 問題定義 (Problem)

大規模言語モデルは、医療、法、科学、金融などの分野で誤った情報を生成する（ハルシネーションする）リスクがあり、その深刻な影響が懸念されています。既存の研究では、モデルの内部状態（隠れ層の活性化）をプロbing（プローブ）することで、出力確率分布には現れない「真実性に関する内部信号」を検出できることが示されてきました。

しかし、以下の重要な問いに対する答えは不明瞭でした。

• いつ、モデルはハルシネーションするかどうかを「決定」しているのか？（生成のどの段階で信号が最も明確になるか）
• このタイミングはモデルの**規模（パラメータ数）**に依存するのか？
• 小規模モデルと大規模モデルでは、ハルシネーションの検出メカニズムに質的な違いがあるのか？

2. 手法 (Methodology)

著者らは、モデルの規模と学習手法を体系的に変化させた実験を行いました。

• 対象モデル: 1 億 1700 万パラメータ（117M）から 70 億パラメータ（7B）までの 7 つのデコーダ専用トランスフォーマーモデル。
  • 規模の範囲: 117M, 160M, 410M, 1.4B, 1.5B, 6.9B, 7B。
  • モデル種類: GPT-2 シリーズ、Pythia シリーズ（The Pile で事前学習されたベースモデル）、Qwen2.5-7B（指示調整済み）。
• データセット: 3 つの事実ベースのタスク（TriviaQA, Simple Facts, Biography）から合計 552 のラベル付き例を使用。
• 評価手法:
  • 時間的プロービング: 生成プロセスの各ステップ（位置 0〜4）における残差ストリーム活性化を抽出。
    • 位置 0: 入力プロンプトを処理し終え、最初の出力トークンを生成する前の状態。
    • 位置 1-4: 生成が進むにつれた状態。
  • 分類器: PCA で次元削減後、L2 正則化ロジスティック回帰を用いて「事実的か虚偽か」を分類。AUC-ROC を主要指標として使用。
  • 統計的検定: 位置 0 と位置 4 の AUC 差について、5 フォールド交差検証に基づいた対 t 検定を実施。
  • 介入実験: 検出されたハルシネーション方向への活性化操作（Activation Steering）を行い、ハルシネーションの修正が可能か検証。
• 対照実験: 出力確率に基づく自信度（Confidence）やエントロピーとの比較。

3. 主要な貢献と発見 (Key Contributions & Results)

この研究は、ハルシネーション検出信号の出現パターンがモデルの規模と学習履歴に強く依存することを明らかにしました。

A. 規模依存性の転移 (Scale-Dependent Transition)

モデルのパラメータ数によって、ハルシネーション信号の時間的プロファイルが劇的に変化します。

1. 小規模モデル (<400M パラメータ):
   • 生成のどの位置（0〜4）においても、ハルシネーション信号は**確率レベル（AUC 0.48〜0.67）**に留まり、統計的に有意な検出は不可能です。
   • 内部に事実と虚偽を区別する信頼できる信号が存在しないことが示されました。
2. 中規模〜大規模モデル (1B パラメータ以上):
   • 位置 0（生成前）で信号が最大となり、生成が進むにつれて減少するパターン（Pre-commitment Encoding）が現れます。
   • Pythia-1.4B: 位置 0 で AUC 0.663、位置 4 で 0.580（Δ = -0.083, p=0.012）。
   • GPT-2 XL (1.5B): 同様の傾向（p=0.054）。
   • これは、モデルがトークンを生成する前に「事実を返すか、虚偽を捏造するか」を内部で決定していることを示唆します。

B. 7B スケールにおける学習手法の影響

パラメータ数が同程度（約 7B）であっても、学習手法によって結果が全く異なります。

• Pythia-6.9B (ベースモデル): 時間的プロファイルが完全に平坦（Δ = +0.001, p=0.989）。位置 0 に特異的な信号はなく、ハルシネーションの決定が生成全体に分散している、あるいは検出不能であることを示しています。
• Qwen2.5-7B (指示調整済み): 明確な位置 0 でのピーク（Δ = -0.029, p=0.038）を示し、大規模モデルとしての「生成前コミットメント」パターンを再現しています。
• 結論: 単なるスケーリング（パラメータ数の増加）だけでは「生成前コミットメント」は達成されず、指示調整（Instruction Tuning）や事後学習による知識の整理が不可欠であることが示されました。

C. 介入実験の失敗 (Intervention Failure)

• 検出されたハルシネーション信号の方向へ活性化を操作（Steering）しても、**すべてのモデルでハルシネーションの修正率は 0%**でした。
• これは、検出された信号がハルシネーションの原因（因果的）ではなく、相関的な副産物であることを示しています。つまり、信号を検知して「フラグを立てる」ことはできても、その信号を操作して事実を生成させることはできません。

D. ベースラインとの比較

• 大規模モデル（特に指示調整済み）では、内部プローブが出力の自信度（Confidence）よりもわずかに優位、あるいは同等の性能を示しました。
• しかし、Pythia-6.9B（ベース 7B）のように内部構造が整理されていないモデルでは、出力の自信度の方が内部プローブよりもハルシネーション検出に有効である場合がありました。

4. 理論的解釈 (Theoretical Implications)

• モジュール化された知識回路: 大規模かつ指示調整されたモデルは、知識の検索と文章生成を分離するモジュール回路を発達させている可能性があります。位置 0 の信号は、「知識の可用性チェック」回路の出力であると考えられます。
• 超位置（Superposition）の解消: 小規模モデルでは次元が不足し、事実と虚偽の表現が重なり合い（干渉）、早期の信号を検出できない可能性があります。大規模化により線形分離が可能になり、早期コミットメントが検出可能になったと考えられます。

5. 実用的意義と結論 (Significance & Conclusion)

この研究は、ハルシネーション検出システムの設計において「モデルの規模と学習履歴に応じたカスタマイズ」が必須であることを示しています。

• 1B パラメータ以上の指示調整モデル: 位置 0（生成前）でのプロービングが最適です。これにより、ユーザーに誤った情報が表示される前に検知・ブロックできます。
• 7B パラメータ以上のベースモデル: 内部プローブは信頼できず、出力の自信度や外部検証（RAG など）に頼る必要があります。
• 400M パラメータ以下のモデル: 内部信号も出力自信度も信頼できません。検知には RAG（検索拡張生成）や人間のレビューなど、システムレベルの介入が必要です。
• 安全性への示唆: モデルは「自分が嘘をついている」ことを内部で認識している可能性がありますが、それを出力確率として表現していない場合があります。この「内部認識と外部表現の乖離」は、AI 安全性において重要な課題です。

結論として、ハルシネーションの検出は単一の戦略では通用せず、モデルの規模と学習履歴（特に指示調整の有無）に基づいて、検出のタイミング（生成前か生成中か）と手法（内部プローブか出力自信度か）を調整する必要があります。また、検出は可能でも、その信号を用いた直接的な修正は困難であるため、検出後の対応策（拒否、RAG による補完など）の重要性が再確認されました。