技術的サマリー：ハルシネーションをコミットメント失敗として捉える

問題定義

大規模言語モデル（LLM）は、流暢だが事実と異なる出力（ハルシネーション）を頻繁に生成します。この分野における支配的な仮説は、ハルシネーションは知識の欠如に直接起因するというものです。つまり、モデルは生成時の分布から正解が欠落している場合のみハルシネーションを起こすとされます。最近の研究では、エントロピーが急上昇する「クリティカルトークン」または「フォークトークン」が特定され、ハルシネーションは生成経路の特定のステップで決定される可能性が示唆されています。しかし、既存の不確実性ベースの検出手法（例えば、セマンティックエントロピー）は、正しい知識を保有しているにもかかわらず高い確信度で誤った回答を出力する「確信あるハルシネーション」を特定できないことが多いです。

本論文は、「ハルシネーションは知識の欠如を意味する」という仮説に挑戦します。問いは以下の通りです：モデルが回答にコミットする瞬間、誤ったトークンを出力していたとしても、その確率分布内に正しい概念が存在しているのでしょうか？

手法

概念とセマンティック確率質量（$P_{mass}$）

著者は、回答の可用性に関するセマンティックな概念を導入します。個々のトークンを分析するのではなく、同じ回答を指すトークン完成形の同値類を「概念」$c$ として定義します（例："Saint Basil's Cathedral"、"St. Basil's"、"Cathedral of..."）。
彼らはステップごとのセマンティック確率質量を以下のように定義します：
$$P_{mass}(t; c) = \sum_{v \in S_c} P_\theta(v \mid Q, y_{<t})$$
ここで、$S_c$ は概念 $c$ の表面形式に対応する最初のトークン ID の集合です。この指標は、特定の生成ステップにおいて、正解のすべての有効な別名に割り当てられた確率質量を集約します。

実験設定

• モデル: 本研究では、Qwen（0.8B から 72B）および Llama（1B から 70B）ファミリーに属する 18 種類のモデルを網羅し、Instruct（指示微調整済み）とBase（ベース）の両方のバリエーションを含みます。
• データセット: 短文 QA（TriviaQA、NQ-Open）および多肢選択 QA（MMLU、ARC-Challenge）。
• コミットメントステップ（$t_c$）: 指示微調整済みの短文 QA において、コミットメントステップは $t=1$（最初の生成トークン）に固定されます。長文生成の場合、$t_c$ は回答実体が出力されるステップとして特定されます。
• コミットメント失敗の定義: ハルシネーションサンプルがコミットメント失敗に分類されるのは、$P_{mass}(t_c; c^*) \geq 0.2$ である場合です。ここで $c^*$ は正解の概念です。これは、モデルが正解の概念に実質的な確率質量を割り当てていたにもかかわらず、誤った最終回答を出力したことを示します。

分析次元

1. コミットメント失敗率（CF%）: ハルシネーションのうちコミットメント失敗であるものの割合。
2. 分解: 失敗を最初のトークン選択失敗（貪欲トークン $\notin S_{c^*}$）とマルチトークン分岐（貪欲トークン $\in S_{c^*}$ だが後続トークンが分岐する）に分離。
3. 分布分析: コミットメント失敗の確率分布を、一致する正解サンプル（類似の $P_{mass}$ を持つが出力は正しいサンプル）と比較。
4. 指示微調整と規模: Instruct モデルと Base モデルを比較することで、モデルの規模と指示微調整の効果を分離。

主要な結果

1. コミットメント失敗の普遍性と規模依存性

すべての指示微調整済みモデルにおいて、ハルシネーションの16% から 47%がコミットメント失敗です。重要なのは、この率がモデルの規模とともに単調に増加することです。

• Qwen Instruct: CF% は 0.8B で 16% から 72B で 41% に増加。
• Llama Instruct: CF% は 1B で 16% から 70B で 47% に増加。
  この発見は、大規模モデルは単に「より多くのことを知っている」ためハルシネーションが少ないという直感に反します。むしろ、大規模モデルは分布内に正しい概念を保有しているにもかかわらず、ハルシネーションをより頻繁に起こします。

2. 機構：指示微調整による鋭化

本論文は、規模単独ではなく指示微調整がこの現象の主要な駆動力であると特定します。

• Base モデル: 規模全体にわたって誤ったトークンの確率が平坦（約 0.30）であり、コミットメント失敗率は低い。
• Instruct モデル: 単調な鋭化を示す。選択失敗における誤った貪欲トークンの確率は規模とともに増加する（例：Qwen Instruct: 0.8B で 0.31 $\to$ 72B で 0.57）。
• 分布のシフト: コミットメント失敗において、正解の概念の質量はしばしば複数の別名トークン（例："Saint"、"St"、"C"）に断片化されており、競合する概念の支配的なトークンに対して argmax を勝ち取る単一の別名が存在しない。大規模な Instruct モデルでは、この断片化が崩壊し（質量が一つの別名に集中する）、しかし誤った概念のトークンがさらに鋭くなるため、「誤ったアトラクター」による失敗が生じます。

3. マルチトークンと隠れ状態の証拠

• マルチトークン分岐: 大規模な Instruct モデル（70B 以上）では、最初のトークンが正しい別名と一致する場合、2 番目のトークンのエントロピー（$H_{t=2}$）はほぼゼロ（0.05–0.10）まで低下します。モデルは、そのフレーズが誤った実体（例："George Washington" ではなく "George Washington Carver"）につながる場合でも、直ちに特定のマルチトークンフレーズにコミットします。
• 隠れ状態: $t=1$ における生成前の隠れ状態には、正誤に関する予測情報が含まれています。Instruct モデルは Base モデルと比較して隠れ状態プローブにおいて高い AUROC を示し、このシグナルは「フロントローディング」されており（$t=1$ で強い）、出力語彙への投影中に指示微調整がシグナルを増幅していることを示唆しています。

4. コミットメント失敗の二つの側面

本論文は、2 つの構造的失敗モードを区別します：

1. 断片化駆動型: （小規模/Base モデルで一般的）正解の質量が別名に分割され、単一のトークンが勝利しない。
2. 誤ったアトラクター駆動型: （大規模 Instruct モデルで一般的）正解の質量は単一の別名に崩壊しているが、誤った概念のトークンの方がさらに鋭く（$P_{greedy} > P_{mass}(c^*)$）、勝利する。

意義と主張

本論文は、確信あるハルシネーションを、一時的な失態や知識の欠如ではなく、コミットメントステップにおいて確率質量がどのように形成されるかという構造的帰結として再定義します。

• 統合された機構: 確信ある正答（コミットされた概念が正しい場合）を生み出す同じ指示微調整による鋭化が、確信ある誤選択（コミットされた概念が誤っている場合）も生み出します。
• アライメント税: この現象は、より広範な「アライメント税」の一面として位置づけられます。アライメント（指示微調整）は有用性と流暢さを向上させますが、較正を劣化させモードの崩壊を引き起こし、過信した誤りを生じさせます。
• 不確実性検出の限界: 結果は、標準的な不確実性指標（トークンエントロピーやセマンティックエントロピーなど）が確信あるハルシネーションを警告できない理由を説明します。モデルは正しい概念を有している（高い $P_{mass}$）が、分布の形状により誤ったトークンが argmax を勝ち取るからです。
• 分析的プローブ: 著者は、モデルの挙動を理解するための分析的プローブとして $P_{mass}$ を提案します。これは（正解の別名が必要であるため）展開可能な検出器ではありませんが、「回答を知っていること」と「回答を出力すること」が生成プロセスにおいて別々の事象であることを明らかにします。

本論文は、大規模モデルは単により多くのことを知っているだけでなく、知っていることについてより頻繁に誤射すると結論づけます。これは、モデルを正しくも誤ってもコミットする際に決定的にする鋭化の傾向に駆動されています。