技術的概要：大規模言語モデルにおける偽の固定点

1. 問題定義

大規模言語モデル（LLM）における高信頼度の誤り（ハルシネーション）は、しばしば「脆い」失敗として解釈され、入力または内部状態のわずかな摂動によって誤った答えが容易に崩れることを示唆する。本論文は、**偽の固定点（False Fixed Points）**の存在を提案することでこの仮説に挑戦する。偽の固定点とは、モデルが局所的に安定し、内部的に整合性があり、かつ自信を持って誤っている状態を指す。

扱われる核心的な問題は、局所的安定性（摂動に対する頑健性）と真理追跡性（判断の正しさ）の間の乖離である。著者らは、モデルが失敗する理由が推論の脆弱性にあるのではなく、誤った判断が安定した内部ダイナミクスによって「ロックイン」されているためであると主張する。この現象は**安定した誤較正（stable miscalibration）**と称される。

2. 手法

理論的枠組み：カント的フィードバックと制御理論

本論文は、以下の 2 つの視点を通じて問題を枠組み化する。

1. カント的自己制限：カントの『純粋理性批判』に着想を得て、「批判」を規制的なフィードバックゲートとして扱う。モデルが答えを確定する前に、正当な判断の条件が満たされているか（例えば、質問は回答可能か？答えは概念的に整合しているか？）をポリシーが確認するべきである。これにより、コミットメントの安定性と、そのコミットメントの真実性を分離する。
2. 線形ガウス状態空間モデル：安定性と真実性の分離を形式化するために、著者らは最小限の線形制御モデルを使用する。閉ループ誤差演算子 $\Phi = A - KH$ を定義する。数学的に、システムが有界かつ安定な誤差ダイナミクス（$\rho(\Phi) < 1$）を持ちながら、誤った状態に収束しうることを示す。これは「偽の固定点」の理論的アナロジーとして機能する。

メトリクスとプローブ

本論文は、これらの概念を定量化するための特定のメトリクスを導入する。

• $H_{Risk}$（抽象インデックス）：不安定性マージン、条件付け、統合感度、イノベーション増幅の 4 つの記述子で構成される、線形時不変（LTI）システム向けの理論的インデックス。
• $H_{proxy}$（LLM 監査プロキシ）：事後のドメイン監査のための運用上のラベル認識スコア。以下の要素を組み合わせる。
  • ポリシー変動（$V_i$）：異なるポリシー条件（強制回答、慎重な棄権、自己批判）における自己報告された信頼度の標準偏差。
  • 過信誤り質量（$O_i$）：強制回答ベースラインが高信頼度（$\ge 0.8$）の誤った答えを生成したかどうかを示すバイナリフラグ。
• 内部感度プローブ：「脆さ」仮説を検証するために、入力埋め込みへの小さなガウス摂動に対する隠れ状態の移動量（$S_\ell$）を測定する。**自信を持って正しい（CC）アイテムと過信して誤っている（OCW）**アイテムを比較する。

実験設定

• モデル：3 つのオープンウェイト指示微調整モデル：Llama-3.1-8B、DeepSeek-R1-Distill-Llama-8B、Qwen2.5-7B。
• データ：11 のトピックドメインにわたる 532 の短い単一ターン二値事実アイテム。
• ポリシー：
  • C0：強制回答ベースライン（Yes/No を必ず言う）。
  • C1：慎重な判断（不十分な質問の場合のみ棄権を許可）。
  • C2：自己批判的判断（単一ショットのリスク認識ポリシー）。
  • C3-R：事前宣言された「正当化ブロック（warrant blockers）」（曖昧なデータ、利用不可能な情報など）とコミットメントのための固定閾値を備えた、より厳格な事後明示的フィードバックゲート。

3. 主要な結果

A. 安定性は脆さを意味しない（偽の固定点）

中心的な実証的発見は、「誤り＝脆い」という仮説に反する。

• 感度分析：CC グループと OCW グループ間の隠れ状態感度（$S_\ell$）を比較したところ、差は無視できるほど小さかった。
  • Llama-3.1：OCW は CC よりわずか +2.2% 感度が高かった。
  • Qwen2.5：OCW はわずか +0.4% 感度が高かった。
  • DeepSeek-R1：+6.1%（$\pm 10\%$の範囲内で決定的ではない）。
• 結論：過信して誤っている答えは、自信を持って正しい答えよりも系統的に局所的に脆弱ではない。「誤った」答えは、しばしば「正しい」答えと同様に局所的に不活性であり、安定した誤較正の存在を支持する。

B. 棄権のトレードオフ

棄権認識ポリシー（C1、C2）を導入することは、過信した誤ったコミットメントを減少させるが、カバレッジの代償を伴う。

• OC-誤りの減少：C1 は高信頼度の誤りを C0 の 21.1% から 2.8% に減少させた。C2 は 6.4% に減少させた。
• カバレッジコスト：この減少は、回答率の大幅な低下を伴った（C1：42.7%、C2：57.1% 対 C0：100%）。
• ドメイン依存性：自己批判の有用性はドメインによって異なった。医療疫学と社会統計では最大の利益をもたらしたが、技術標準や文学/メディアでは利益をもたらさなかった（あるいは負の有用性があった）。

C. $H_{proxy}$ 監査スコア

提案された $H_{proxy}$ スコアは、ポリシーレベルの信頼度変動が過信誤りと一致するドメインを成功裏に特定した。

• ベースライン（C0）に対する自己批判ポリシー（C2）の性能向上との強い正のランク相関（$\rho = 0.71$）を示した。
• 直接ラベル認識メトリクス（C0 誤り率など）は純粋なランキングでは優れていたが、$H_{proxy}$ は監査をポリシーの移動と誤り質量に分解するため、介入を適用すべき場所に関する解釈価値を提供するという点で独自である。

D. 明示的フィードバックゲート（C3-R）

コミットメント前に厳格な「正当化ブロック」を強制する C3-R パイロットは、過信した誤ったコミットメントを成功裏に抑制した（1.5% まで低下）。しかし、これはカバレッジに深刻なコストを伴った（ユーティリティ選択閾値では 13.4% まで低下）し、より単純な C2 プロンプトに対して明確な損失優位性を示さなかった。これは、カント的フィードバックゲートは安全性を隔離できるが、単独では性能向上ポリシーではないことを示唆する。

E. モデル固有の認識プロファイル

本論文は、モデルアーキテクチャにおける明確な挙動の違いを観察する。

• Qwen2.5：大きなスペクトルノルムと活性化の大きさを持ちながら、非常に低い局所感度を示す。著者らは、これが高 SNR 慣性によるものだと仮説を立てている。すなわち、RMSNorm によって正規化された大きな内部状態が摂動の相対的影響を圧縮し、軌道を「慣性」的にしているというものである。
• DeepSeek-R1：より高い局所感度とより控えめな活性化ノルムを示し、より「反応的」な内部レジームを暗示している。

4. 主張と意義

本論文は、証拠の強さが異なる 3 つの主要な主張を行っている。

1. 概念的枠組み（強い）：安定性と真理追跡性は、異なる認識論的次元である。モデルは局所的に安定しており、かつ自信を持って誤りうる。これは線形制御モデルとカント的フィードバックのアナロジーによって支持される。
2. 否定的脆性結果（強い）：テストされたレジームにおいて、過信して誤っているアイテムは、自信を持って正しいアイテムよりも系統的に局所的に脆弱ではない。高信頼度ハルシネーションに対する「脆い計算」という説明は、隠れ状態感度プローブによって支持されない。
3. 監査とメカニズム（中程度/探索的）：
   • $H_{proxy}$ は、棄権ポリシーが最も関連するドメインを特定するための有用な事後監査ツールである。
   • 安定した誤較正は、監査のための有用なカテゴリであり、高 SNR 慣性（摂動圧縮）や表現圧縮（真理に関連する区別が低ランク意味領域に崩壊すること）などのメカニズムによって駆動される可能性がある。

意義：
本論文は、頑健性（安定性）を真実性と混同すべきではないと主張する。現在の信頼性メトリクスは、答えが一貫しているか不確実かどうかに焦点を当てることが多いが、この研究は、モデルが自信を持ってかつ安定して誤る可能性があることを浮き彫りにする。著者らは、将来の安全性研究において、認識論的安定性（摂動に対する頑健性）と真理追跡性の測定を分離する必要があると提案し、「偽の固定点」は単純な自己修正や摂動テストでは検出されない可能性のある、特定の安定した失敗モードを表すと述べている。

論文が認める限界：

• 線形ガウスモデルは、トランスフォーマーダイナミクスの機械的還元ではなく、最小限の抽象化である。
• LLM 研究は、小規模な二値事実監査セットと特定のオープンウェイトモデルに限定されている。
• $H_{proxy}$ は事後監査スコアであり、展開時の不確実性推定器ではない。
• 表現圧縮と高 SNR 慣性は、実証的に確立するためにさらに幾何学的診断（有効ランク、異方性など）を必要とする提案メカニズムである。