技術要約：内在的自己修正はいつ効果を発揮するのか？ タスクに敏感な分析

問題提起

内在的自己修正（SC）とは、外部からのフィードバック（例：人間による入力、検索ツール、実行環境）を受けることなく、大規模言語モデル（LLM）が自身の初期出力を再検討、批判、および修正する手法である。先行研究ではSCが性能を向上させることが示唆されているが、近年の研究では、モデルが自身の誤りを認識できなかったり、あるいは「負の修正（negative revision）」によって正解を劣化させてしまったりすることに触れ、その信頼性に疑問を投げかけている。

既存の文献では、SCを成功か失敗かの二値的な指標として扱うことが多い。本論文は、そのような一般的な見解は不十分であると主張する。むしろ、内在的自己修正の有効性は、実行されるタスクの具体的な構造や性質に強く依存すると断定している。本研究が取り組む中心的な問題は、自己修正を普遍的に適用可能な改善戦略と仮定することではなく、いつ、そしてなぜ内在的自己修正が性能向上をもたらすのかを特定することである。

手法

著者らは、5つの多様なLLM（Mistral Large, Claude Haiku, DeepSeek V3.1, Gemini 3.1 Flash Lite, Gemini Pro）を用いて、6つのベンチマークにおけるタスクに敏感な分析を行った。本研究は、内在的修正が作用する可能性のある3つの異なるメカニズムに焦点を当てている：

1. 検証可能なタスク（Verifiable Tasks）： 明示的な制約や一貫性の要件に対して回答をチェックできるシナリオ（例：ブール充足可能性問題）。
2. 推論集中的なタスク（Reasoning-Intensive Tasks）： 複雑な論理的軌跡を必要とし、二度目のパスによって推論プロセスを再検討できるシナリオ。
3. ワードゲーム・タスク（Word-Game Tasks）： 修正がバイナリ的な誤り検出としてではなく、競合する選択肢に対する戦略的な「セカンドオピニオン」として機能するシナリオ（例：Wordle, Hangman, Codenames）。

実験プロトコル：

• 検証可能/推論タスク (SAT, BBEH, HLE):
  • SAT (ブール充足可能性): 二段階プロトコル（生成 $\to$ 検証/修正）。
  • BBEH (Big-Bench Extra Hard) & HLE (Humanity's Last Exam): 三段階プロトコル（生成 $\to$ 明示的な批判 $\to$ 修正）。この分離により、モデルは修正を試みる前に推論のギャップを表面化させることができる。
• ワードゲーム・タスク (TextArena): モデルが初期の手を生成し、その後、ルールやフィードバックに照らしてその手を維持するか変更するかを検討する二段階プロトコル。
• 評価： すべての実験において、決定論的な推論軌跡を確保するために、貪欲デコーディング（temperature = 0）を使用した。性能は精度またはタスク固有のスコアによって測定され、統計的有意性はMcNemarテストおよび対応のあるt検定を用いて検証された。

「なぜ」性能の変動が生じるのかを分析するため、著者らはBBEHベンチマークにおいてサブタスク分析を行った。彼らはLLMジャッジ（GPT-5.5およびOpus 4.6）を用い、各サブタスクを**推論強度（Reasoning Intensity）と検証可能性（Verifiability）**の2つの次元でスコアリングした。

主な貢献

1. タスクに敏感なフレームワーク： 本論文は、議論を「SCは機能するか？」から「どのようなタスク条件下でSCは機能するか？」へと転換させた。SCは一様に信頼できる手法ではなく、タスク依存の推論時戦略であることを特定している。
2. メカニズムの分化： 研究は、SCの3つの動作モードを区別している：
   • 検証に基づく修復： 明示的な制約のチェック（SATにおいて非常に効果的）。
   • 推論の再検討： 複雑な論理経路の再評価。
   • 戦略的なセカンドオピニオン： オープンエンドな、あるいはゲームのようなシナリオにおける代替案の比較。
3. 経験的な相関関係： 著者らは、SCの有効性が、基礎となるサブタスクの検証可能性および推論強度と有意に相関していることを実証した。
4. 失敗モードの特定： 強力なベースライン能力を持たないモデルや、明確な正誤基準がないタスク（例：Codenames）において、モデルが不必要に正解を置き換えてしまう「過剰修正（over-revision）」などの特定のリスクを浮き彫りにした。

結果

全般的な有効性

モデル全体を集計すると、内在的自己修正はすべてのベンチマークにおいてゼロショット・ベースラインを大幅に上回った。

• SAT： 最も劇的な改善を示し、SCはベースラインのエラーを平均で**65.66%**排除した。ここでのメカニズムは、主に検証に基づく修復である。
• BBEH & HLE： 一貫して、しかしより緩やかな改善を示した。
• ワードゲーム： 結果はモデルやゲームのメカニズムによって変動した。

モデル固有のダイナミクス

• 強いモデル vs 弱いモデル： 強力なモデル（例：Gemini Pro）は、初期回答がすでに非常に正確であったため、収穫逓減が見られた。逆に、非常に弱いモデル（例：WordleにおけるMistral）は、効果的に修正するための基礎的な能力に欠けていることがあり、顕著な改善は見られなかった。
• 過剰修正のリスク： Codenamesベンチマークにおいて、Claude Haiku 4.5は98.7%の修正率を示し、初期の手が有効であった場合でも頻繁に手がかりを変更していた。これは性能低下を招いており、強力な修正傾向が正しい初期回答を破壊してしまうというトレードオフを物語っている。

サブタスク分析 (BBEH)

タスクの特性とSCによる利得（$\Delta$）の間の相関分析により、以下が明らかになった：

• 検証可能性： SCの利得と強く相関していた（Spearman's $\rho = 0.65, p < 0.001$）。検証可能性が高いタスク（例：SAT、Zebra Puzzles）は、最大の改善を見せた。
• 推論強度： これも有意に相関していた（Spearman's $\rho = 0.54, p = 0.007$）。
• 低利得シナリオ： 両方の次元でスコアが低かったサブタスク（例：映画の推薦）は、自己修正による利得が無視できるか、あるいは負であった。

安定性指標

論文の表2には、遷移率（誤りから正解へ、正解から誤りへ、など）が詳述されている。

• SATでは、正解を誤りに変える率（C2W）は極めて低かった（最大2.1%）。これは、タスクの検証可能性が単純明快であることに起因する。
• BBEHおよびHLEでは、C2W率はより高く（最大13.25%）、明確な検証シグナルがない場合、モデルは修正中に正解を「壊してしまう」傾向があることを示している。

意義と主張

本論文は、内在的自己修正はタスク依存の推論時戦略として理解されるべきであると主張している。その有用性はモデル単体にあるのではなく、モデルの修正能力と、タスク固有のアフォーダンス（例：制約を検証する能力）との相互作用から生じるものである。

著者らは次のように結論付けている：

1. SCは、モデルが自身の作業を客観的にチェックできる検証可能性の高いタスクにおいて最も信頼できる。
2. 推論集中的なタスクにおいては、SCはより入念な推論の軌跡の再評価を強制することで機能する。
3. 戦略的またはオープンエンドなタスクにおいては、SCはセカンドオピニオンのメカニズムとして機能するが、これはモデルが明確なグラウンドトゥルースなしに、実行可能な選択肢と実行不可能な選択肢を区別できる場合にのみ有効である。
4. このアプローチは普遍的な解決策ではない。明確な正誤基準を欠くタスクや、基礎的な能力が不足しているモデル、あるいは「過剰修正」の傾向を持つモデルに適用した場合、有害となる可能性がある。

本研究は、SCの将来的な評価においては、タスクの構造を考慮する必要があると強調している。なぜなら、「修正段階」が、明示的な検証を可能にするのか、深い推論を必要とするのか、あるいは戦略的な探索を伴うのかによって、全く異なる役割を果たすからである。