Anchored Confabulation: Partial Evidence Non-Monotonically Amplifies Confident Hallucination in LLMs

論文「Anchored Confabulation: Partial Evidence Non-Monotonically Amplifies Confident Hallucination in LLMs（アンカー付き虚構：部分的証拠が LLM における自信過剰な幻覚を非単調に増幅する）」の詳細な技術的サマリーを以下に示す。

1. 問題定義

検索拡張生成（RAG）システムは、安価で標準的なベクトル検索（VanillaRAG）を使用するか、高価で構造化されたグラフベースの検索（GraphRAG）を使用するかを決定するという、重要なルーティング課題に直面している。

• 現状: 既存のルーティング手法（例：Adaptive-RAG）は生成前に動作し、クエリの特徴（例：複雑さ、実体数）のみに基づいて意思決定を行う。これらは、生成された回答への自信の低さが、より良い検索の必要性を示す信号であると仮定している。
• 核心的な課題: 著者らは、大規模言語モデル（LLM）において以前は知られていなかった較正失敗、すなわち**Anchored Confabulation（アンカー付き虚構）を特定した。多段推論タスクにおいて、部分的な中間事実（「アンカー」）を提供することは、完全な証拠によって誤りが排除される前に、誤った回答に対するモデルの自信を逆説的に**増大させる。
• 結果: 標準的な不確実性ベースのルーティング（低自信時にエスカレーション）は、これらのクエリにおいて壊滅的に失敗する。モデルは誤っているときにより自信を持つようになり、生成前のルーターでは検出できない「自信過剰な幻覚」を引き起こす。

2. 主要な現象：パラメトリック幻覚自信（PHC）

本論文は、モデルの自信に基づいて「オラクルによるエスカレーション（GraphRAG が必要であること）」を予測する際の AUC が0.5 を超える指標として**パラメトリック幻覚自信（PHC）**を定義する。

• 信号の反転: 標準的なシナリオでは、高自信は正解性と相関する。しかし、PHC シナリオ（特に 3 ホップのブリッジクエリ）では、高自信は不正解性と相関する。
• メカニズム: LLM が多段チェーンにおいて 1 つの確定された中間事実（「ゴールドアンカー」）を受け取ると、パラメトリックメモリを用いて、残りの欠落したステップを流暢かつ自信を持って「埋める」。この部分的なアンカーは、モデルを特定の、自信に満ちたが潜在的に捏造された完了へと拘束する。

3. 手法と理論的枠組み

A. 因果介入と証拠

著者らは、MuSiQue データセット（3 ホップクエリ、N=160）に対する制御された因果介入を含む 6 つの証拠ラインを通じて PHC を確立した。

1. 因果注入: オラクルラベルを固定したまま、ゴールド中間事実をプロンプトに注入した。
   • k=0（ヒントなし）: PHC = 0.613（顕著な反転）。
   • k=1（1 つの事実）: PHC が0.656に急上昇（最大増幅）。モデルは誤った回答に対してより自信を持つようになる。
   • k=3（オラクルに近い）: PHC は 0.536 に低下（顕著な反転なし）。完全な証拠が幻覚を抑制する。
2. アンカー閾値法則: 著者らは予測法則 $k^*(n) = \lfloor n/3 \rfloor$ を導出した。
   • 3 ホップチェーンの場合、閾値は $k=1$（チェーンの 33%）である。これは、1 つの事実がモデルを十分にアンカーし、残りを自信を持って捏造させる「スイートスポット」である。
   • 2 ホップチェーンの場合、$k^*=0$ であり、チェーンが短すぎて完全な証拠なしで自信を持って捏造し続けることができないため、増幅の急上昇は発生しない。
   • 4 ホップチェーンの場合、急上昇は弱く（$k^*=1$ だが、25% のカバレッジでは不十分）。
3. 能力スケーリング: PHC はモデルの能力に比例して増大する。強力なモデル（例：Claude Opus, Sonnet）は、弱いモデル（例：Haiku, Llama-3-8B）よりも高い PHC（より自信過剰な幻覚）を示す。

B. 理論的証明

• 定理 1（生成後の優位性）: データ処理不等式（DPI）を用いて、著者らは、生成後の信号 $U(Q, A)$ が、いかなる生成前の分類器 $g(Q)$ よりもエスカレーションの必要性についてより多くの情報を含むことを証明した。生成前のルーターは、この反転がモデルが回答の生成を試みる後にのみ現れるため、「ブリッジ信号の反転」にアクセスできない。
• 定理 2（再生成ゲート付きルーティング）: ルーティングの利益は、再生成ステップの質によって制限される。エスカレーション後の再生成が不適切な場合、ルーティングの改善は逓減する。

C. 提案される解決策：LR+DirectGR

著者らは、PHC を活用するための 2 部構成システムを提案する。

1. LearnedRouter: わずかN=200の例で訓練された生成後の分類器。特徴相互作用項**conf × hop**を使用し、高ホップクエリにおいては高自信がエスカレーションをトリガーすべきであることを学習する（標準的な論理を反転させる）。
2. DirectGR（Direct GraphRAG）: 文脈を失うサブクエリの抽出を行う代わりに、システムは元の完全な質問を直接 GraphRAG パイプラインにエスカレーションする。これにより、主要なボトルネックとして特定された「サブクエリ抽出の損失」を回避する。

4. 主要な結果

性能指標

• オラクルギャップの解消: LR+DirectGRシステムは、4 つのベンチマーク（HotpotQA, MuSiQue, NQ, 2Wiki）において、オラクルギャップの**81.1%**を解消する（Macro F1 = 0.426）。
• ベースラインとの比較:
  • 最良の生成前ルーティングベースライン（HybridRouter）を、オラクルギャップ解消において**+35.9 ポイント**上回る。
  • 50 倍少ないトレーニングラベル（10,000 対 200）でこれを達成し、**強化学習（RL）**や微調整を必要としない。
  • コストを一致させた場合（エスカレーション率 32%）、LR+DirectGR は Macro F1 0.324を達成し、HybridRouter の0.295を上回る。

具体的な知見

• ホップ深度の特异性: 反転効果は厳密に非単調である。3 ホップクエリでピークに達する。2 ホップクエリでは顕著な反転は見られず、4 ホップでは効果が弱い。
• 緩和策: 「認識論的謙虚さ」のプロンプト（モデルに事実が欠落していることを伝える）は、PHC の急上昇を $\Delta = -0.118$ 減少させることに成功し、この現象がメタ認知的に抑制可能であることを証明した。
• 反復 RAG の脆弱性: 本論文は、反復 RAG システム（IRCoT など）が、3 ホップクエリにおいて最初の検索ステップで体系的に「増幅ゾーン」に陥り、自信過剰な誤った中間推論を引き起こし、後続のステップを汚染することを示している。

5. 意義と貢献

1. アンカー付き虚構の発見: 本論文は、部分的な証拠が自信過剰な幻覚を増大させる LLM における根本的で非単調な較正失敗を特定した。これは「より多くの証拠は常に不確実性を減少させる」という仮定に挑戦するものである。
2. 予測法則: アンカー閾値法則（$k^* = \lfloor n/3 \rfloor$）は、チェーンの長さと証拠密度に基づいて LLM がいつ自信を持って幻覚を起こすかを予測するための定量的枠組みを提供する。
3. 生成後ルーティングの優位性: 生成された回答を信号として使用する生成後ルーティングが、特に「自信過剰な誤り」の状態を検出できるため、多段タスクにおいて生成前ルーティングを厳密に凌駕することを、理論的に証明し、実証的に検証した。
4. 効率的でトレーニング不要な展開: 提案されたLR+DirectGRシステムは、微調整や RL を行わず、最小限のラベル付き例を使用して、最先端のルーティング性能を達成する。モデルの能力とクエリの複雑さに動的に適応する堅牢な RAG システムを展開するための実用的な青写真を提供する。
5. 反復システムへの示唆: 本知見は、現在の反復 RAG パイプライン（IRCoT, FLARE）が、意図せずアンカー増幅メカニズムをトリガーするため、3 ホップクエリに対して構造的に欠陥がある可能性を示唆している。

要約すると、本論文は、RAG ルーティングの問題を、クエリ複雑性の分類タスクから、LLM が最も誤っているときに最も自信を持つという新たに発見された現象を利用する較正を考慮した生成後検出タスクへと再定義する。