Analyzing the Correlation Between Hallucinations and Knowledge Conflicts in Large Language Models

技術要約：大規模言語モデルにおけるハルシネーションと知識衝突の相関関係の分析

問題提起
大規模言語モデル（LLM）は、学習後の更新が不可能な固定された静的な学習データに起因して、知識集約型のタスクにおいて重大な限界に直面している。モデルが自身のパラメトリックな知識の外にある情報や、それと矛盾する情報に遭遇すると、事実とは異なる、一貫性のない、あるいは検証不可能な出力である「ハルシネーション（幻覚）」を生成することが多い。有力な仮説として、これらのハルシネーションは、モデルに蓄積されたパラメトリックな知識と入力に含まれる文脈上の手がかりが衝突する、内部的な**知識衝突（knowledge conflicts）**に起因するというものがある。しかし、知識衝突の内部表現とハルシネーション行動との間の具体的な関係については、まだ十分に解明されていない。先行研究では、知識衝突（Zhao et al.）とハルシネーション（Snyder et al.）をそれぞれ独立して検出するためのプロービング技術の開発には成功しているが、これら2つの現象が共通の内部エンコーディングを共有しているのか、あるいは一方が他方を予測できるのかについては不明である。

手法および実験設計
本研究では、知識衝突とハルシネーションの間の双方向の相関関係を調査するために、プロービングベースのフレームワークを採用している。著者らは、もしハルシネーションが知識衝突によって引き起こされるのであれば、ハルシネーションが発生した出力の内部活性化パターンは、知識衝突を識別するように訓練された分類器によって検出可能であるはずだ、という仮説を立てている。

実験設計は、以下の2つの異なる方向で構成されている。

1. 知識衝突からハルシネーションへ:

   • モデル: LLaMA-3-8B。
   • 訓練: 知識衝突プロービングモデル（$KC_{a,i}$）を、矛盾するQAペアの合成データセットであるNQ-Swapを用いて、隠れ層、アテンション層、およびMLP層の活性化における衝突信号を検出するようにロジスティック回帰を用いて訓練した。
   • 評価: これらの訓練された衝突検出器を、Mu-SHROOM、HaluEval、およびHaluBench（ハルシネーションを含むQAペアを含むデータセット）から抽出された活性化に対して適用した。目的は、衝突検出器がハルシネーションの存在を正確に予測できるかどうかを判断することである。

2. ハルシネーションから知識衝突へ:

   • モデル: Falcon-7B。
   • 訓練: ハルシネーションプロービングモデル（$H_l, H_{a,i}$）を、出力ロジットおよび中間活性化（アテンションおよびMLP）におけるハルシネーション信号を検出するために、TriviaQAデータセットを用いてフィードフォワード分類器を用いて訓練した。
   • 評価: これらのハルシネーション検出器をNQ-Swapデータセットに適用し、知識衝突の存在がハルシネーション検出器によって予測可能かどうかを判定した。

主な結果
実証的分析により、以下の知見が得られた。

• 強い相関の欠如: ハルシネーションは直接的に知識衝突に還元できるという仮説に反し、本研究では、これら2つの現象の内部表現の間に有意な相関は見られなかった。
  • 知識衝突モデルを用いてハルシネーションをプロービングした場合（LLaMA-3-8B）、精度は変動したものの低水準にとどまり（多くの場合、AUROCは0.5に近い、偶然レベルに近い）、特に知識衝突が単独で最も正確に検出される中間層（15〜25層）において性能が低下した。
  • 逆に、ハルシネーションモデルを用いて知識衝突をプロービングした場合（Falcon-7B）、検出器はすべての層において偶然レベル（精度 $\approx$ 0.5、AUROC $\approx$ 0.5）で動作した。これは、ハルシネーション検出が後半の層で向上したとするSnyderらの参照研究とは対照的であり、ここでは傾向がほとんど見られなかった。
• 活性化の特異性: 本研究では、LLaMA-3-8Bにおいて、隠れ層の活性化はアテンションまたはMLPの活性化よりも衝突検出に対する情報量が少ないことが観察された。Falcon-7Bでは、この特定のクロス・タスクの文脈において、先行文献とは逆の傾向が見られ、アテンションの活性化がMLPを上回る場合があった。
• 言語間の堅牢性: 両現象の間の相関関係は認められなかったものの、プロービングの手法自体は堅牢であることが証明された。多言語対応のMu-SHROOMデータセット（14言語をカバー）に適用した際、プロービングモデルは異なる言語間でも安定した性能を維持しており、この手法が特定の言語構造に強く偏っていないことを示している。

意義および貢献
本論文は、ハルシネーションと知識衝突は内部表現のレベルにおいて強く一致していないという体系的な実証的証拠を提供することで、LLMの解釈可能性に関する広範な理解に貢献している。

• 現象のデカップリング（分離）: 本研究の結果は、ハルシネーションが主に内部的な知識衝突によって引き起こされるという直感的な仮定に疑問を投げかけている。これは、ハルシネーションが、知識衝突の検出信号だけでは捉えきれない、より複雑で直交するメカニズムから生じている可能性を示唆している。
• 手法の妥当性確認: 相関の仮説は支持されなかったものの、本研究は、異なる活性化タイプ（隠れ層、アテンション、MLP）および言語にわたって、内部モデルの挙動を分析するための堅牢なツールとしてのプロービングの有用性を検証した。
• 今後の方向性: 著者らは、ターゲットを絞った緩和策を開発するために、将来の研究においてこれらの現象を切り離す必要があると強調している。また、これらのプロービング手法をデジタルヘルス、教育、人事管理などの高リスク領域へと拡張することを提案すると同時に、多言語および機密性の高い文脈におけるバイアスやプロービング結果の誤解釈に関する倫理的配慮の重要性についても述べている。

これらの実験の再現のためのソースコードは公開されており、LLMの内部メカニズムのさらなる調査を容易にしている。