Understanding New-Knowledge-Induced Factual Hallucinations in LLMs: Analysis and Interpretation

論文要約：LLM における新知覚誘発型事実的ハルシネーションの理解

1. 研究の背景と問題定義

大規模言語モデル（LLM）は、事前学習で豊富な事実知識を獲得しますが、その後の教師あり微調整（SFT）フェーズにおいて、事前学習で未習得の「新知覚（New Knowledge）」を学習させると、事実的ハルシネーション（事実と異なるがもっともらしい出力）が発生するリスクが高まることが知られています。
既存研究では、この現象が知識集約型 QA タスク内でどのように現れるかに焦点が当てられてきましたが、以下の点について未解明な部分がありました。

• 新知覚学習が、既知の知識や異なるタスクタイプにどのように影響し、ハルシネーションが伝播するか。
• ハルシネーション発生の背後にあるメカニズム（特にモデルの内部動作）の解明。
• 新知覚の「量」だけでなく、「知識タイプごとの未知度」がハルシネーションに与える影響の特定。

2. 手法と実験設計

この研究では、新知覚学習によるハルシネーションを制御された条件下で分析するため、以下のアプローチを採用しました。

• 制御データセット「Biography-Reasoning」の構築:

  • 実世界のデータでは事前学習済み知識の判別が困難なため、合成データセットを構築しました。
  • 対象：人物（エンティティ）と、その 4 つの属性（生年、没年、専攻、大学）。これら 4 つを「知識タイプ」として定義。
  • タスク：知識 QA（直接質問）と、知識に基づく推論タスク（単一推論、比較推論、新規推論）の計 16 種類のタスクを設計。
  • 制御：訓練データにおいて、特定の知識タイプを「既知（Known）」または「未知（Unknown）」に操作し、その割合を制御して実験を行いました。

• モデルと評価:

  • 主に Qwen2.5-1.5B を使用し、Llama3.2-1B や Qwen3-8B 等でも検証。
  • 評価指標：Exact Match (EM) を用い、既知知識のテストセットでの精度低下（ハルシネーションの指標）を測定。
  • 外挿評価：実世界の ENTITYQUESTIONS データセット（Wiki 由来）を用いて、分布外（OOD）での影響も評価。

• 解釈可能性分析:

  • 学習中のアテンション（Attention）パターンを分析。特に、質問内の「キーエンティティ（人名など）」に対するモデルのアテンション強度と、ハルシネーションの相関を調査。

3. 主要な発見と結果

A. ハルシネーションの伝播と知識タイプの影響

• 同種・異種タスクへの悪影響: 未知の知識を学習すると、学習対象のタスクだけでなく、全く異なる知識タイプやタスクタイプ（QA から推論へ、あるいはその逆）でも精度が低下し、ハルシネーションが発生することが確認されました。
• 「完全な未知」の危険性: 知識タイプ内の未知知識の割合が増えるほどハルシネーションは悪化しますが、最も重要なのは**「その知識タイプが完全に未知であるか」**という点です。
  • 未知知識が 100% 含まれるタイプ（既知のサンプルが 0%）は、少量のデータであってもハルシネーションを劇的に引き起こします。
  • 既知と未知が混在するタイプよりも、完全に未知のタイプの方がモデルの性能を大きく損なうことが示されました。

B. 解釈可能性分析：アテンションの崩壊

• メカニズム: 新知覚を学習すると、モデルは質問内のキーエンティティに対するアテンションが弱まり、代わりに文脈全体や周囲のトークンに過剰に依存するようになります。これが事実的ハルシネーションの直接的な原因であることが示されました。
• 既知知識の役割: 既知の知識を学習すると、キーエンティティへのアテンションが強化され、タスクの正確性が向上します。

C. 伝播メカニズム：語彙的類似性

• ハルシネーションが他のタスクへ伝播する主要な要因は、文脈の「意味的類似性」ではなく、**「語彙的類似性（トークンの重なり）」**であることが判明しました。
• 訓練データ（未知知識を含む）とテストデータの文脈が語彙的に類似している場合、アテンションパターンの崩壊が波及し、ハルシネーションが発生しやすくなります。

D. 解決策：KnownPatch

• 提案手法: 学習の最終段階で、少量の「既知知識」を注入するトレーニング手法「KnownPatch」を提案しました。
• 効果: 未知知識の学習で乱れたアテンションパターンを、少量の既知知識の注入によって回復させ、ハルシネーションを大幅に軽減します。
  • 注入比率 5%〜20% で、OOD データセットを含む広範なタスクで性能が回復し、既知知識のみで学習したモデルに近いレベルまで復元されました。
  • これは単なる知識の再生（Replay）ではなく、アテンション構造の修復による効果であることを示唆しています。

4. 論文の貢献と意義

1. 微細な分析の提供: 知識タイプとタスクタイプを制御することで、新知覚学習がもたらすハルシネーションの具体的な現れ方（同種・異種タスクへの波及）を初めて詳細に解明しました。
2. メカニズムの解明: 単なる統計的な現象ではなく、**「キーエンティティへのアテンション低下」**という内部メカニズムを特定し、ハルシネーションの発生源を解釈可能性の観点から説明しました。
3. 実用的な解決策の提示: 大規模なデータフィルタリングや複雑なアーキテクチャ変更ではなく、学習末期の**少量の既知知識注入（KnownPatch）**というシンプルで効果的な手法を提案し、実用的なハルシネーション軽減策を示しました。
4. 伝播要因の特定: 文脈間の「語彙的類似性」がハルシネーション伝播の鍵であることを発見し、今後の安全な LLM 設計や評価基準の策定に重要な示唆を与えました。

5. 結論

本論文は、LLM が新知覚を学習する際に生じる事実的ハルシネーションが、単なる知識の混入ではなく、モデルの注意機構（アテンション）の構造的な変化によって引き起こされ、語彙的類似性を介してタスク間を伝播することを示しました。また、学習の最終段階に少量の既知知識を注入する「KnownPatch」により、この現象を効果的に抑制できることを実証しました。これらの知見は、信頼性の高い LLM の開発と、継続学習におけるハルシネーション対策の新たな指針を提供するものです。