技術要約：構造化によるLLMの有効な自己エラー局所化

問題定義

大規模言語モデル（LLM）における自己修正（モデルが自身の出力を反復的に洗練させ、改善された推論へと収束させること）という理想は、実際には実現が困難であることが証明されている。観察される性能向上は、意図的な自己修正によるものではなく、多くの場合、力まかせの再サンプリングに起因している。主要なボトルネックは「検証」の失敗である。モデルは自身の推論を確実に検証することが難しく、その結果、エラーの特定と修正の能力を分離できないという、混乱を招く結果となっている。さらに、先行研究では、オラクル（神託）が正確なエラー箇所を提供できればモデルはエラーを修正できるものの、非構造化された推論トレース内では、モデルは効果的にエラーを「自己局所化（self-localize）」できないことが示唆されている。

現在のChain-of-Thought（CoT）推論は連続的なトークンストリームを生成するため、それを個別の、意味的に一貫したステップへと遡及的にパース（解析）することが困難である。この構造の欠如が、モデルが推論プロセスがどこで逸脱したのかを正確に特定することを妨げ、効果的なバックトラッキング（後退）やターゲットを絞った再サンプリングを阻害している。

手法：Thought-ICS と Thought-MDP

これらの限界に対処するため、著者らは、推論を離散的で意味的に一貫したステップとして構造化するように設計されたフレームワークである Thought-ICS（Iterative Correction Sampling of Thoughts）を導入する。このアプローチは、人間の脳が個々のニューロンの活性化や行動シーケンス全体ではなく、離散的な決定ポイント（例：前帯状皮質）においてエラーを監視しているという観察に基づいている。

1. Thought-MDP (Thought-by-Thought Generation)

核心となるアーキテクチャの変化は、LLMの推論をトークンレベルのプロセスではなく、Thought Markov Decision Process (Thought-MDP) としてモデル化することである。

• 状態空間 ($S$): コンテキストと、以前に生成された思考のシーケンスを表す。
• 行動空間 ($A'$): 行動はもはや単一のトークンではなく、完全で意味的に一貫した「思考」または推論ステップを表すトークンシーケンスである。
• 遷移: モデルは一度に一つの思考を生成し、ステップ間に自然な境界を作り出す。
• 終了: プロセスは、モデルが最終回答（例：\boxed{} でマークされたもの）を生成するか、最大深度に達したときに終了する。

この構造により、推論は離散的な思考の連鎖として生成され、遡及的なパースを必要とせずに、精密なエラー局所化を促進する原理的な境界が提供される。

2. Thought-ICS フレームワーク

Thought-ICSは、以下の3つの主要コンポーネントからなる反復ループとして機能する。

1. 生成 (Generation): モデルは、現在のプレフィックス（状態）に基づき、方策 $\pi_{thought}$ を用いて次の思考をサンプリングする。
2. 検証 (Verification): ゲーティング関数が最終回答が正しいかどうかを判断する。これは、オラクル検証（外部の正解またはプロキシを使用）または自己検証（モデルが自身の出力を判断する）のいずれかである。
3. 局所化と再サンプリング (Localization and Resampling):
   • 回答が誤っている場合、モデルはシーケンス内の最初のエラーとなった思考を局所化するように促される。
   • エラーを特定すると、システムは誤った思考の直前の状態（最後に検証済みで正しいとされたプレフィックス）までバックトラックする。
   • モデルはこのクリーンなプレフィックスから新しい思考のシーケンスを再サンプリングし、実質的に誤ったパスを破棄して代替案を探索する。

このループは、回答が正しいと検証されるか、モデルがエラーを見つけられない（V/L 不一致）、または最大反復回数に達するまで繰り返される。

主な貢献

1. 自己局所化のための構造化された推論: 本論文は、推論を Thought-MDP としてフレーム化することで、精密な自己局所化が可能になることを示している。非構造化 CoT とは異なり、思考レベルの生成による離散的な境界により、モデルは推論が失敗した正確なステップを特定できる。より強力なモデルは、この構造において高い精度を達成し、効果的なバックトラッキングに不可欠な「クリーンなプレフィックス」をもたらす。
2. オラクル検証による大幅なリフト: オラクル検証器（既知の誤った解法をフィルタリングするもの）を備えた場合、Thought-ICS は標準的な Chain-of-Thought ベースラインに対して 20–40% の自己修正リフトを達成する。これは、構造そのものが改善を駆動しており、単なる再サンプリングの分散によるものではないことを裏付けている。
3. 自律的な自己修正: 著者らは、Thought-ICS が完全な自律設定（外部検証なし）でも機能することを示している。「特異性の崩壊（specificity collapse）」（モデルが正しい回答を誤ってエラーとフラグ立てしてしまう現象）を軽減するための信頼性セーフガードを導入することで、システムは純増の修正リフトを実現し、Self-Refine や CoVe といった現代的なベースラインを凌駕する。

実験結果

本フレームワークは、8つのモデル（3B から 120B パラメータまで）および6つの推論ベンチマーク（数学コンテスト、科学、常識推論を含む）にわたって評価された。

• オラクル検証設定:

  • 局所化精度: Thought-ICS（構造化）を使用するモデルは、Token-ICS（非構造化 CoT）を使用するモデルよりも、エラーを大幅に正確に局所化した。大規模なモデルでは、「クリーンなプレフィックス」（自己局所化されたエラーがオラクルのエラーと一致するか、あるいはそれに先行するもの）を生成する割合は、非構造化 CoT の 30–45% に対し、Thought-ICS では 60–80% であった。
  • 修正効率: クリーンなプレフィックスから再サンプリングすることは、誤ったプレフィックスから再サンプリングする場合と比較して、正しい応答を生成する確率を 2–4倍 向上させた。
  • モデルスケール: 構造化された推論と非構造化された推論の間の局所化精度の差は、モデルのスケールとともに拡大し、大規模なモデルほど、ゼロを中心とした局所化偏差の分布がタイトになる傾向が見られた。

• 自律設定 (自己検証):

  • ボトルネック: 自己検証は困難であることが判明した。モデルは、再現率（エラーを捉えること）を高めると特異性（正しい回答を壊してしまうこと）が崩壊するというトレードオフを示した。標準的な自己修正ループは、しばしば「直すよりも壊してしまう」傾向があった。
  • 解決策: 著者らは、信頼性のセーフガードを備えた Thought-ICS-A を導入した。具体的には、「V/L 不一致」（検証器はエラーをフラグ立てしたが、局所化ではエラーが見つからない）または「MaxIter」（反復制限に達した）によってループが終了した場合、初期の応答にリセットする。これらの条件は高いブレート（それぞれ 51% および 77%）を示していたためである。
  • 結果: これらのセーフガードを用いることで、Thought-ICS-A はほぼすべての反復において純増のリフトを達成し、ほとんどのモデルサイズにおいて Self-Refine や CoVe を上回る性能を示した。

意義と主張

本論文は、構造こそが LLM における効果的な自己修正の鍵となるエンブラー（実現要因）であると主張している。脳が離散的な決定ポイントを監視する能力を模倣することで、Thought-MDP フレームワークは、モデルが全体的な、しばしば信頼性の低い批判に頼るのではなく、明示的にエラーを局所化することを可能にする。

著者らは、自らの結果がグラウンドトゥルース（正解）のアノテーションではなく、フロンティアモデルのコンセンサスによって定義された「局所化オラクル」に依存していることを控えめに述べており、これは指標が構造化された推論と非構造化された推論の間の相対的な比較であることを意味している。また、現在の自律システムは自己検証の難しさによって制限されていることも認めており、今後の研究は自己検証に特化したモデルのトレーニングに焦点を当てるべきであると示唆している。

結局のところ、本研究は、自己修正がこれまで困難であったのは事実だが、推論プロセスが局所化、バックトラッキング、および再サンプリングをサポートするように明示的に構造化されていれば、それは達成可能であることを提示している。このアプローチは、自己修正を力まかせの再サンプリング戦略から、意図的で標的を絞った介入メカニズムへと変貌させるものである。