技術的概要：内部アテンションの発散シグナルによる大規模言語モデルにおける幻覚の検出

1. 問題定義

大規模言語モデル（LLM）は、流暢だが事実と異なる内容を頻繁に生成する「幻覚」と呼ばれる現象を示します。これは医療や法務など、高リスクな分野において重大なリスクをもたらします。この課題に対処する際の主要な難点は、自己回帰型の LLM が、流暢な続きの生成のために訓練されており、較正された確信度の推定を行うように設計されていないことです。その結果、標準的な出力ベースの不確実性シグナル（例えば、ペルプレキシティ、対数尤度、またはトークン確率）は、自信過剰な誤りと信頼できる知識を区別することがしばしば失敗します。なぜなら、幻覚的な記述であっても、モデル分布の下では高い尤度を得る可能性があるからです。

既存の不確実性定量化手法は、反復サンプリング（例えば、セマンティックエントロピー）や外部検証モデルに依存することが多く、これらは多大な計算オーバーヘッドをもたらします。さらに、隠れ状態のプローブに依存するアプローチは、タスクに特化した相関を捉える傾向があり、タスクを超えて一般化することに苦しみ、グローバルな確信度シグナルを捉えることが困難です。外部モデルや複数回の生成を必要とせず、モデルの内部機構から直接不確実性シグナルを抽出する、軽量で単一パスの手法が必要とされています。

2. 手法

提案手法は、アテンションの発散に基づく単一パスの不確実性定量化技術を導入します。中心的な仮説は、幻覚は内部計算の失敗、具体的にはモデルが信頼できる知識を欠いている際に生じる、誤って割り当てられたまたは拡散したアテンションパターンによって特徴づけられるというものです。

2.1 アテンション発散シグナル

この手法は、特定のアテンションヘッドの分布と一様参照分布との乖離を測定するために、カルバック・ライブラー（KL）発散を利用します。

• 参照分布 ($U$): コンテキストトークン全体にわたる一様分布であり、モデルがすべての位置に均等にアテンションを向ける、最大の不確実性の状態を表します。
• アテンション分布 ($P$): 特定の生成ステップにおいて、特定のアテンションヘッドによって生成される、トークン位置上の離散確率分布です。
• 指標: KL 発散は $D_{KL}(P \parallel U) = \log T - H(P)$ として計算されます。ここで、$T$ はコンテキストウィンドウ内のトークン数、$H(P)$ はアテンション分布のエントロピーです。

直感的には、情報量の多いトークンへのアテンションの高密度化（低エントロピー）は高い KL 発散をもたらし、確信度を示唆します。逆に、拡散したアテンション（高エントロピー）は低い発散をもたらし、不確実性を示唆します。著者らは、幻覚が誤って較正された確信度（誤ったトークンにおける高い発散）として現れる可能性、あるいはプローブの集約の文脈においては、発散パターンの集約シグナルが正しさと相関することを指摘しています。

2.2 特徴量抽出とプローブ

1. 特徴量構築: 生成された各回答について、すべての生成ステップにわたるすべてのアテンションヘッドの平均 KL 発散を計算します。これらの値は特徴ベクトル $x_i \in \mathbb{R}^{L \times H}$ を形成します。ここで、$L$ は層の数、$H$ はヘッドの数です。
2. プローブの訓練: 正解/不正解（$y=1$ が正解、$y=0$ が不正解）をこれらの発散特徴量に基づいて予測するために、Lasso（L1）正則化を備えた軽量なロジスティック回帰プローブを訓練します。L1 正則化は、最も予測力のあるアテンションヘッドのスパースな部分集合を選択し、モデルのどの部分がシグナルを符号化しているかに関する解釈可能性を提供します。
3. 評価: 性能は AUROC（受動操作特性曲線下面積）、期待較正誤差（ECE）、および精度を用いて測定されます。

3. 主要な貢献

• 単一パス不確実性推定: この手法は単一のフォワードパスで動作し、反復サンプリングや外部モデルを必要とすることなく、アテンション行列から直接不確実性シグナルを抽出します。
• 解釈可能性: アテンション分布の KL 発散を分析することで、この手法は「白箱」シグナルを提供します。著者らは、このシグナルがランダムではなく、特定のアーキテクチャ構成要素に集中していることを実証しています。
• 一般化性: このアプローチは、複数のモデルファミリー（Llama-3.2、Qwen3、Mistral）および多様なタスクタイプ（事実ベースの QA、マルチホップ推論、数学的推論）で検証されています。

4. 実験結果

4.1 データセット横断の性能

この手法は、4 つのデータセットで評価されました：TruthfulQA（多肢選択式事実 QA）、TriviaQA（オープンドメイン事実 QA）、HotpotQA（マルチホップ推論）、およびGSM8K（数学的推論）。

• 事実 QA: この手法は TruthfulQA（すべてのモデルで AUROC > 0.89）および TriviaQA（AUROC > 0.83）で強力な性能を達成しました。
• 推論タスク: HotpotQA における性能は 0.77 から 0.80 の AUROC でした。GSM8K ではモデルによって結果が異なり、Qwen3-4B は 0.945 の AUROC を達成しましたが、Llama と Mistral は偶然以上の中程度ながら有意な結果を示しました。
• ベースラインとの比較: HotpotQA において、この手法（AUROC 0.78）は、サンプリングベースの手法（例えば、セマンティックエントロピー、SelfCheckGPT）および他の単一パスベースライン（例えば、ペルプレキシティ、TOHA）を上回りました。また、TruthfulQA と TriviaQA において、隠れ状態プローブ手法と比較しても競争力のある、あるいは優れた性能を示しました。

4.2 除去実験と分析

• 層とヘッドの局在化: シグナルは均一に分布していません。除去実験により、中間層を除去することが最も顕著な性能低下を引き起こすことが明らかになり、シグナルがそこに集中していることが示されました。さらに、シグナルは単一の「幻覚ヘッド」に局在するのではなく、複数の相関するヘッドに分散しています。
• トークンの特異性: 発散シグナルは事実トークン（固有名詞と数値）で最も顕著です。ストップワードや句読点は低い発散を示しました。極端な尾部（99 パーセンタイル）の分析により、高発散単語の約 73% が固有名詞であることが示されました。
• プロンプトの影響: 生成が始まる前（プロンプトトークンのみで計算）であっても、不確実性シグナルの一部が存在します。これは、ある程度の不確実性がモデルの知識の欠如（認識的不確実性）だけでなく、プロンプトの曖昧さに起因するもの（偶発的不確実性）であることを示唆しています。
• 健全性チェック: 正解ラベルを順列し、長さや句読点などの単純な出力特性に対してテストしたところ、このシグナルがデータ漏洩や表面的な出力特性のアーティファクトではないことが確認されました。

5. 意義と主張

本論文は、内部アテンションのダイナミクスが、モデルの不確実性と幻覚を検出するための効率的かつ解釈可能なシグナルを提供すると主張しています。主な意義は、以下の点が実証されたことにあります：

1. 幻覚は内部状態を通じて検出可能である: 信頼できる知識の検索失敗は、モデルが生み出す流暢だが誤った出力とは異なる、アテンション発散における特定のパターンとして現れます。
2. 効率性: この手法は、サンプリングベースの不確実性推定に対する計算的に安価な代替手段を提供し、遅延が重要なリアルタイムアプリケーションにおいて実用的です。
3. アーキテクチャ的洞察: 発見事項は、不確実性が中間層と事実的なアンカーに符号化されていることを示唆しており、幻覚が単なるデコーディングエラーではなく、内部計算における構造的な失敗であるという見方を支持しています。

6. 限界

著者らは明示的にいくつかの限界を指摘しています：

• 相関と因果: この研究は、アテンション発散と正しさの間の予測的な相関を確立していますが、因果関係を証明するものではありません。
• プローブへの依存: この手法は、シグナルを集約するためにロジスティック回帰プローブに依存しています。選択されるヘッドの特定の部分集合は、データセットやモデルファミリーによって異なり、プローブが特定すぎる可能性を示唆しており、不確実性に対する普遍的でプローブ不要なルールはまだ特定されていません。
• 白箱要件: この手法は内部アテンション重みへのアクセスを必要とするため、生成されたテキストまたは出力確率のみを提供するブラックボックスモデルには適用できません。
• 解釈可能性: プローブは情報量の多いヘッドを特定しますが、得られるモデルは、不確実性がどのように表現されているかについての完全な説明としては解釈が難しく、完全な機械論的説明というよりは、シグナル抽出ツールとして機能します。