技術要約：キャリブレーション・フロア（The Calibration Floor）

1. 問題提起

本論文は、大規模言語モデル（LLM）における**内在的な自己修正（intrinsic self-correction）**の評価における決定的な混同要因（confound）に対処している。標準的な自己修正の指標は、初期回答（$a_0$）と、モデルが自身の推論を批判した後に生成された修正回答（$a_f$）の間の精度の変化量（$\Delta_{total}$）を測定するものである。

著者らは、$\Delta_{total}$ がしばしば推論内容の変化（モデルが実際に間違いを修正していること）として誤解されていると主張する。しかし、自由形式のテキスト生成において、精度は抽出可能性（extractability）、すなわちモデルの出力に、回答抽出器が解析可能な文字列が含まれているかどうかに依存する。もし $a_0$ と $a_f$ の間で抽出成功率が異なる場合、観測される精度の差分は、真の推論の変化ではなく、**フォーマットのアーティファクト（形式上の副産物）**によって汚染されていることになる。

本論文は以下のことを提言している：

1. 見かけ上の自己修正による利得や損失は、モデルが実際に考えを変えたかどうかではなく、解析可能な文字列を正常に出力できたかどうかに完全に基づいている可能性がある。
2. この混同は、真の「コンテンツ・マージン（内容の差分）」（実際の推論の改善または劣化）を隠蔽してしまう。
3. 既存の文献は、自己修正の有効性を過大評価しているか、あるいは失敗や成功の原因を誤って帰属させている可能性がある。

2. メソドロジー

2.1 マージンの分解（The Margin Decomposition）

核心となる手法上の貢献は、全精度の変化量を正確かつ加法的に分解することである：
$$\Delta_{total} = \Delta_{content} + \Delta_{format\_recover} + \Delta_{format\_loss}$$

• $\Delta_{content}$ (コンテンツ・マージン): $a_0$ と $a_f$ の両方が解析可能であったサンプルに限定した精度の変化。これが真の推論の変化に帰せられる唯一のマージンである。
• $\Delta_{format\_recover}$: $a_0$ は解析不能（不正解扱い）であったが、$a_f$ は解析可能（正解扱い）となったケース。これは抽出のための「セカンドチャンス」であり、必ずしも推論の修正を意味しない。
• $\Delta_{format\_loss}$: $a_0$ は解析可能（正解扱い）であったが、$a_f$ が解析不能（不正解扱い）になったケース。これはフォーマットの問題による、機能していた回答の喪失である。
• Dead: 両方が解析不能なケース（デルタへの寄与は0）。

2.2 キャリブレーション・フロア（The Calibration Floor）

著者らは、「選択的修正（selective revision）が利益を生むために必要な最小限の信号品質」という「キャリブレーション・フロア」の基準を精緻化し、それをコンテンツ・マージンのみに適用するように定義した。彼らは利益の閾値 $\delta$（0.01に固定）を定義し、ゲーティング信号がこのフロアをクリアするために必要な最小限の AUROC ($AUROC^*$) を算出する。利用可能な最良の信号が $AUROC^*$ を超えられない場合、そのセルは「スクイーズ（圧迫）された」状態（実行可能なゲーティング・ニッチが存在しない状態）とみなされる。

2.3 実験設計

• モデル: Qwen3.5 (0.8B, 2B, 4B, 9B) および Gemma-4-12B にわたる29の主要なセル。
• フロンティア・チェック: Tencent Hy3 および Nvidia Nemotron-3-Ultra-550B（有効パラメータ数 約55B）を用いたAPIベースのテスト。
• タスク: GSM8K, MATH, MMLU, ARC-Challenge, HumanEval, MBPP, TriviaQA など。
• プロトコル: モデルが初期回答を生成し、それを批判し、修正回答を生成するという「凍結軌跡（frozen-trajectory）」アプローチ。ゲーティングの決定は、内在的な信号（トークンの対数確率、言語化された自信など）に基づいてオフラインで行われる。

2.4 因果的コントロール（Causal Controls）

観察的な相関関係を超えて、論文では以下の手法を用いている：

1. 強制継続プローブ（Forced-Continuation Probe）: モデルに、初期生成の直後に最終回答を出力させるよう強制し（修正ステップをバイパス）、その「回答」が既に存在していたが抽出されていなかっただけなのかを確認する。
2. 制約付きデコーディングによる因果的コントロール（Constrained-Decoding Causal Control）: すでに生成された自由形式のテキストから、文法制約付きデコーディングを用いて回答を再抽出する（解析可能性を保証する）。これにより、フォーマットのノイズを取り除いたときに $\Delta_{total}$ がどの程度縮小するかをテストし、真のコンテンツ効果を分離する。
   3 プロンプト・レジームの符号反転（Prompt Regime Sign Reversal）: 「切断されやすい（truncation-prone）」プロンプト（高い抽出失敗率）と「修復された（repaired）」プロンプトを比較し、抽出の成功によって $\Delta_{total}$ の符号がどのように反転するかを示し、$\Delta_{content}$ が安定していることを示す。

3. 主な貢献

1. 正確な分解: 全体の自己修正精度変化を、コンテンツ・マージンとフォーマット・マージンに分離する代数的な恒等式。これは、常に修正が行われる軌跡に適用可能である。
2. 因果的証拠: 解析チャネルが有効なセル（$a_0$-bad $\ge 8\%$）において、制約付きデコーディングによるコントロールが、標準的な全効果とコンテンツ・マージンの推定値との間のギャップを、中央値で 71%（範囲 55–100%）閉じた。一部のセルでは完全に一致し、他のセルでは正直な残差も報告されている。
3. スケール依存のスクイーズ（Scale-Dependent Squeeze）: 以下の実証的証拠：
   • フロア・スケール・モデル (0.8B–2B): 真のコンテンツレベルの変化（しばしば有害な変化）を示すが、キャリブレーション・フロアをクリアするための十分な信号品質を欠いている。
   • 有能なスケールのモデル (4B–12B+): 信頼できる信号を持っているにもかかわらず、コンテンツレベルの変化がほぼゼロ（慣性）であり、ゲーティングが活用できる「ヘッドルーム（余地）」が存在しない。
4. プロトコルの再現失敗: 引用された信頼度ゲーティング・プロトコル（IoE）を新しいモデルファミリーに対してそのまま再現したところ、元の利得を再現できず、代わりに上述の通り、ゼロに近いコンテンツ・マージンとフォーマット主導の効果を示した。
5. 再現性: オフラインの軌跡ライブラリ、抽出ゲート、および分析コードを公開。

4. 主な結果

4.1 フォーマット・アーティファクトの支配（主張 C1）

• 有意味な解析不能率を持つ12のセルにおいて、フォーマット効果の大きさ（$|\Delta_{format}|$）は、コンテンツ効果（$|\Delta_{content}|$）を大幅に上回った（Wilcoxon $p=1.7\times 10^{-3}$）。
• 符号の反転: いくつかのセル（例：0.8B ARC）では、プロンプト・レジームを切断傾向のあるものから修復されたものに変更すると、全効果の符号が反転した（見かけ上の「害」から見かけ上の「利得」へ）。一方で、コンテンツ・マージンは小さく安定していた。
• 因果的閉鎖: 既存の推論に対して解析可能な再抽出を行った際、全効果はコンテンツ・マージンへと収束した。解析チャネルが有効なセル（$a_0$-bad $\ge 8\%$）では、中央値の閉鎖率は71%（範囲 55–100%）であった。例えば、9B MMLUでは、+0.145の見かけ上の利得が+0.053に低下し、0.8B MMLUでは、+0.020から-0.017へと反転した。2つのセル（2B/4B ARC）は正確に収束したが、4B/9B MMLUはゼロに近いコンテンツ推定値に対して残差を保持した。

4.2 スケールによる対比：慣性と不安定性（主張 C2）

• 有能なスケール (4B–13B): コンテンツ・マージンは事実上ゼロである。13個の有能なスケールのセルのうち11個において、コンテンツ変化率は $\le 0.05$ であり、$\Delta_{content}$ は $\pm 0.03$ の範囲内であった。これらのモデルは、解析可能な回答をめったに変えない。
• フロア・スケール (0.8B–2B): コンテンツ・マージンは活性化しており、しばしば有害である。フロア・スケールのモデルは、有意に高いコンテンツ変化率（有能なモデルの0.5%に対し、中央値11.5%）と、純粋に有害なコンテンツ効果を示す。GEEモデルによるクラスター分析では、フロア・スケールの行は、有能なスケールの行と比較して、コンテンツレベルの変化および害が生じるオッズが 16〜21倍高い と推定された。

4.3 スクイズ（主張 C3）

• コンテンツ・マージンに対してキャリブレーション・フロアの基準を適用すると、「実行可能なゲーティング領域」（モデルが真のコンテンツ変化を持ち、かつそれを検出するための強力な信号を持っている領域）はほぼ空の状態となる。
• フロア・スケール・セル: 真のコンテンツ変化（ヘッドルーム）はあるが、信号のフロアに失敗している（信号不足）。
• 有能なスケール・セル: 信頼できる信号を持っているが、コンテンツのヘッドルームがほとんどない（慣性）。
• 結果: わずか1つのセル（9B TriviaQA）が、かろうじて実行可能なクアドラントに位置しているが、そこでも利得は小さく（+0.020）、シールドされたポリシーの下では堅牢ではない。

4.4 フロンティアおよびクロスファミリー・チェック

• Gemma-4-12B: Qwenと同様のパターンを再現した。フォーマットによって駆動される大きな全効果を示すが、コンテンツ・マージンはゼロである。
• フロンティア・モデル (Hy3, Nemotron-550B): スケールが大きくなっても、このパターンは強まる。全効果はHy3 MMLUで最大+0.275に達したが、5つのフロンティア・セルすべてにおいて $\Delta_{content}$ は正確に 0.000 であった。フォーマット・マージンが測定された効果のすべてを説明している。

5. 意義と主張

本論文は、「コンテンツ」こそが、研究分野で「自己修正」として測定されているもののうち、ごく一部に過ぎないと主張している。

• 測定の修正: 自己修正後のベンチマーク・スコアは、2つの結合されたシステム（推論 ＋ 抽出）の出力である。標準的な精度変化は、これらのシステムを崩壊させてしまう。本論文は、マージンを分解しなければ、観測された利得は単なる「回答フォーマットの改善」であることが多いと論じている。
• 文献の整合性: 本研究は、相反する文献（例：自己修正を有害とするHuangらと、有用とするLiら）を統合する。著者らは、両者が正しい可能性があると示唆している。つまり、「害」は小規模モデルにおける真のコンテンツ劣化であり、「助け」は大規模モデルにおけるフォーマットの回復であり、有能なモデルにおける真のコンテンツ効果は無視できるほど小さいのである。
• 実用的な標準: 論文は、自己修正研究のための新しい標準を提案している：
  1. 初期出力と修正出力の解析率（parseability rates）を報告すること。
  2. 全精度の変化を、コンテンツ・マージンとフォーマット・マージンに分解すること。
  3. 抽出チャネルが有効な場合に、因果的にその分解をテストすること（例：制約付きデコーディング）。
  4. 全精度とともに、シールドされたポリシー（sealed policy）による利得を報告すること。

本論文は、これらの手順が踏まれない限り、自己修正に帰せられる改善は、単に回答フォーマットの改善に過ぎない可能性があると結論づけている。「キャリブレーション・フロア」をコンテンツ・マージンに適用することで、小規模モデルも大規模モデルも、自信に基づいたゲーティングによる自己修正の、堅牢でスケーラブルなニッチを提供できていないという「スクイーズ（圧迫）」の状態が明らかになった。