🤖 AI

Policy of Thoughts: Scaling Test-Time Training for LLM Reasoning via Online Policy Evolution

本論文は、テスト時の実行を、フィードバックを内面化しモデルの推論戦略を進化させるために、Group Relative Policy Optimizationを通じて一時的なLoRAアダプターを動的に更新するオンライン最適化プロセスとして扱うことで、LLMの推論能力を強化するフレームワークであるPolicy of Thoughts (PoT) を導入しており、これにより4Bモデルが複雑なコーディングベンチマークにおいて、はるかに大規模な最先端モデルを大幅に上回る性能を発揮することを可能にしている。

原著者： Zhengbo Jiao, Hongyu Xian, Qinglong Wang, Yunpu Ma, Zhebo Wang, Zifan Zhang, Dezhang Kong, Meng Han

公開日 2026-07-16

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Zhengbo Jiao, Hongyu Xian, Qinglong Wang, Yunpu Ma, Zhebo Wang, Zifan Zhang, Dezhang Kong, Meng Han

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、非常にトリッキーなパズル、例えば複雑なコーディング・チャレンジや、長い思考の連鎖を必要とする数学の問題を解こうとしていると想像してください。あなたには、多くの事実を知っているものの、時としてループに陥り、同じ間違いを何度も繰り返してしまう超スマートなアシスタント（大規模言語モデル）がいます。AIの世界では、このアシスタントは通常、「凍結された」脳を持って働いています。つまり、一度思考を開始すると、その途中で根本的な戦略を変更することができないのです。もし間違った方向に進んでしまったら、運良く正解に辿り着くか、あるいは多くの異なる経路を同時に試すことを期待して、ただその間違った道を歩み続けることになります。これは、壁にぶつかった時にそこから学ぶのではなく、壁にぶつかるまであらゆる廊下を盲目的に走り回って迷路から抜け出そうとするようなものです。

長い間、これらの難しい問題を解決する最善の方法は、単にコンピューターに何百万もの推測を試させるために、より多くの時間と計算能力を与えることでした。しかし、この論文はよりスマートな方法を提案しています。それは、コンピューターにただ「一生懸命やらせる」のではなく、「試行しながら学習させる」という方法です。これは、ビデオゲームのキャラクターが、単にリスポーンして再び挑戦するのではなく、直前に自分を倒した特定の罠から実際に学び、次の試行に向けて即座に戦略を調整するようなものです。この研究の背後にいる研究者たちは、こう問いかけています。「もし私たちのAIが、直前の推測が失敗したか成功したかに基づいて、リアルタイムで自身の推論ルールを更新できるとしたらどうだろうか？」これは、スクリプトに従うだけのロボットと、直面するあらゆる新しい課題に対して自らの脳を適応させ、進化させるロボットの違いです。

「思考のポリシー（Policy of Thoughts）」：プレイしながら学ぶことをAIに教える

PoT（Policy of Thoughts）をご紹介しましょう。これは、問題解決を一度限りの推測としてではなく、AIと問題そのものとの間の、ライブで進化し続ける対話として扱う新しいフレームワークです。浙江大学やLMUミュンヘンなどの大学の研究チームである著者らは、AIの戦略が探索中に固定されたまま動かないという従来の方法が、私たちの足を引っ張っていると主張しています。彼らは、AIがテストの「最中」に、自身の失敗から学ぶ「セカンドチャンス」を得る、つまり、その場で自己学習を行うシステムを提案しています。

ポパー的パズル：推測、検証、そして進化

核心となるアイデアは、科学は「推測と反駁（はんばく）」を通じて進歩すると信じた有名な哲学者、カール・ポパーに触発されています。平易な言葉で言えば、これは、ある推測を行い、それを現実に対してテストし、もし失敗したならば、次に改善された推測ができるよう、なぜ失敗したのかを正確に学ぶ、ということを意味します。

PoTはこの哲学をAIに具現化させます。サイクルの仕組みは以下の通りです：

推測（Conjecture/The Guess）： AIは問題を見て、いくつかの異なる可能な解決策を生成します（地図上に3つの異なるルートをスケッチするように）。
反駁（Refutation/The Reality Check）： システムは、これらの解決策を実際の環境（コードコンパイラなど）で実行します。もしコードがクラッシュしたり誤った答えを出したりした場合、それが「反駁」となります。
進化（Evolution/The Learning）： ここが魔法の部分です。失敗した推測を単に捨て去るのではなく、PoTはその失敗を利用して、AIの内部的な「ポリシー（思考の戦略）」を更新します。AIの考え方に、この問題に特化した微細かつ即時的な調整を加えます。
反復（The Repeat）： AIは、今行った特定のミスを回避するための準備を整えた、新しく更新された脳を持って、再び挑戦します。

「一時的な脳」のトリック

あなたはこう思うかもしれません。「もしAIがすべての問題から学ぶとしたら、混乱したり、以前知っていたことを忘れてしまったりしないだろうか？」著者らは賢明な解決策を用意しています。彼らは、LoRA（Low-Rank Adaptation）と呼ばれる手法を使用していますが、これはAIに、軽量で取り外し可能な「思考の帽子」を与えるようなものです。

AIには、膨大な知識の永久的なライブラリ（ベースモデル）があると想像してください。困難な問題に直面したとき、AIは特別な軽量の「思考の帽子」（LoRAアダプター）を被ります。この帽子により、AIはこの特定のパズルのために、戦略を迅速に学習し適応させることができます。パズルが解決された（あるいは時間が終了した）とき、帽子は脱がされ、捨てられます。永久的なライブラリには影響を与えず、混乱もさせません。これは、AIが一般的な知識を損なうことなく、あらゆる新しい問題に対して適応の達人になれることを意味します。

結果：小さな脳、大きな勝利

研究者たちは、精密なステップ・バイ・ステップの論理を必要とするため、極めて難しいとされるコーディング・チャレンジでこのアイデアをテストしました。彼らは比較的小さなAIモデル（わずか40億パラメータ）を使用し、そこにPoTフレームワークを適用しました。

結果は驚くべきものでした。この小さなモデルは、PoTを用いることで、LiveCodeBench V6と呼ばれる難度の高いベンチマークにおいて、**49.71%**の問題を解決しました。これを比較対象として捉えると：

この同じ特定のベンチマークにおいて、29.71%を記録した巨大な商用モデルであるGPT-4oを打ち破りました。
他の大型モデルのベースライン性能を大幅に上回り、動的な学習を備えた小さなモデルが、より大規模なシステムの静的な推論を凌駕できることを証明しました。
Gemini-2.5-Flash（総合60.91%）やClaude-Opus-4（総合55.22%）のようなモデルは、より広範で混合されたベンチマークで高いスコアを獲得していますが、PoTによって強化された4Bモデルの49.71%という数値は、厳格なLiveCodeBench V6において、50倍以上小さいモデルがこれほどの成果を出したことを示しており、適応的な推論が巨大なモデルとの差を埋められることを証明しています。

最も印象的なことは、PoTで強化されたモデルは、競合する巨大なモデルよりも50倍以上小さいということです。このモデルは、より大きな脳を持っていたから勝ったのではなく、持っている脳のよりスマートな使い方を知っていたから勝ったのです。

なぜこれが重要なのか

この論文は、AIの推論の未来は、単にモデルを大きく大きくしていくことではないと示唆しています。それは、モデルに「即座に考える（think on its feet）」能力を与えることです。テスト時のプロセスをトレーニングセッションに変えることで、AIは失敗した経路にエネルギーを浪費することをやめ、そのエネルギーを即座に戦略を改善するために使い始めることができます。

著者らは、この手法は明確なフィードバック（コードが実行されるか、あるいはクラッシュするか）がある場合に最も効果的であることを発見しました。フィードバックが曖昧な場合、恩恵は小さくなりますが、それでもプラスの効果は見られました。また、このアプローチは、最初に使用したモデルだけでなく、異なる種類のモデルでも機能することも示されました。

要約すると、PoTは、難しい問題を解くための最善の方法は、単に「より一生懸命やること」ではなく、「より速く学ぶこと」であることを示唆しています。AIに、個々の挑戦に対して自らの推論戦略を進化させることを許容することで、私たちはより小さく、より効率的なコンピュータから、超スマートな結果を得ることができるのです。これは、「正しい答えを探す」ことから、「正しい答えの見つけ方を学ぶ」ことへの転換なのです。

技術要約：Policy of Thoughts (PoT)

1. 問題提起

大規模言語モデル（LLM）は、複雑で長期的な推論タスクに取り組む際、重大な不安定性に直面します。現在の最先端のアプローチは、推論中にモデルのパラメータが静止したままとなる**凍結ポリシー仮定（frozen-policy assumption）**に依存しています。Chain-of-Thought (CoT) やテスト時スケーリング（例：Best-of-N, Tree of Thoughts）といった手法は、解空間を探索するために推論計算量を増やしますが、これらは実行フィードバックを単なるフィルタリングや軌跡の書き換えのための外部信号として扱っています。これらは、失敗を推論戦略自体の改善へと内面化する仕組みを持っていません。その結果、モデルは一度の初期のミスが推論の連鎖を不可逆的に脱線させてしまう「欺瞞的な軌跡（deceptive trajectories）」に対して、計算リソースを浪費してしまうことがよくあります。

既存のテスト時トレーニング（TTT）手法は勾配ベースの更新を探索してきましたが、それらは通常、クロスインスタンスの適応や長期的な科学的発見を対象としており、特定の複雑な問題を解決するために必要な**インスタンス単位（per-instance）**の推論設定を対象としていません。

2. 手法：Policy of Thoughts (PoT)

著者らは、テスト時の推論をインスタンス内オンライン最適化プロセスとして再定義するフレームワークである**Policy of Thoughts (PoT)**を提案します。カール・ポパーの「推測と反駁（conjectures and refutations）」という認識論的原理に触発されたPoTは、探索と適応のクローズドループを通じて、モデルが推論ポリシーを反復的に進化させることを可能にします。

コアアーキテクチャ

PoTは、凍結されたベースモデルに**一時的な低ランク適応（LoRA）**アダプターを付加した上で動作します。推論プロセスは $P1 \to TT \to EE \to P2$ のサイクルに従います。

探索的推測（Exploratory Conjecture, $TT$）： モデルは**モンテカルロ木探索（MCTS）**を用いた構造化された探索を実行します。PUCT（Predictor Upper Confidence Bound）目的関数に基づいてノードを拡張することで、多様な候補軌跡（思考）のアンサンブルを生成します。
実行と反駁（Execution and Refutation, $EE$）： 候補となる解は環境（例：コードエグゼキュータ）内で実行されます。ユニットテストの結果を通じてフィードバックが得られ、これが反駁の客観的な尺度として機能します。
ポリシーの内面化（Policy Internalization, $P2$ ）： 失敗した試行を単に破棄するのではなく、PoTは**Group Relative Policy Optimization (GRPO)**を使用して、一時的なLoRAアダプターを更新します。
- 一連の軌跡をサンプリングし、それらの相対的な報酬を計算してアドバンテージ信号を推定します。
- GRPO損失を最小化してアダプターのパラメータを更新し、実行フィードバックを用いてその特定のインスタンスに対してモデルを「訓練」します。
- これにより、後続の探索ステップに向けたポリシーの事前分布が更新され、高品質な領域へと探索が絞り込まれます。
リセット（Reset）： 問題が解決されるか予算が尽きると、一時的なアダプターは破棄され、ベースモデルには影響を与えません。これにより、破滅的忘却やクロスインスタンスの干渉を防ぎます。

主要な技術コンポーネント

状態空間（State Space）： 問題の説明と、生成された思考および実行フィードバックの履歴として定義されます。
報酬関数（Reward Function）： ユニットテストの実行から導出されます（全パスで1.0、部分パスで部分的なクレジット、それ以外は0）。
適応メカニメント（Adaptation Mechanism）： 事前学習済みのバックボーンを変更することなく、推論中に重みを効率的に更新するためにLoRA ( $\Delta W = BA$ ) を使用します。
最適化（Optimization）： GRPOが採用されており、グループ内での報酬を正規化することで、個別のバリューネットワークを必要とせずに、候補間の相対的なパフォーマンスの違いからモデルが学習することを可能にします。

3. 主な貢献

ポリシー進化としてのテスト時トレーニング： 本論文は、テスト時の推論をオンライン最適化プロセスとして定式化し、パラダイムを「静的な軌跡選択」から「動的なポリシー適応」へと転換しました。これにより、LLMは実行フィードバックを内面化し、リアルタイムで推論戦略を形成することが可能になります。
PoTフレームワーク： 構造化された探索（MCTS）とパラメータ効率の良い内面化（GRPO + 一時的LoRA）を組み合わせた統一されたシステムです。インスタンスごとのアダプター設計により、モデルが将来のタスクに干渉することなく、現在の問題の特定のロジックに適応することを保証します。
優れた実証的性能： 広範な実験により、PoTは検索ベースの手法、反復的な洗練技術、および商用大規模モデルを含む既存のベースラインを、はるかに少ないパラメータ数でありながら大幅に上回ることが示されました。

4. 実験結果

著者らは、5つのコード推論ベンチマーク（HumanEval, MBPP, LiveCodeBench (v5 & v6), ICPC）でPoTを評価しました。

小型モデルにおける性能： PoTによって強化された4Bパラメータモデル（Qwen3-4B-Instruct）は、**64.02%**の総合精度を達成しました。
- これは、GPT-4o（49.35%）、Claude-Opus-4（55.22%）、Gemini-2.5-Flash（60.91%）を凌駕しています。
- また、強力なテスト時スケーリング・ベースライン（例：RethinkMCTSの57.08%、TTT-Discoverの58.79%）を大幅に上回っています。
- LiveCodeBench V6において、この4Bモデルは49.71%を達成し、パラメータ数が50倍以上小さいにもかかわらず、12のテスト時スケーリング・ベースラインおよび商用モデルを上回りました。
汎用性： PoTは、異なるモデルファミリー（Phi-4, Qwen）およびスケール（1.7Bから30B）にわたって一貫した向上を示しました。また、「思考型（thinking）」モデルを補完し、LiveCodeBench V6においてQwen3-4B-Thinkingの性能を55.20%から63.70%へと引き上げました。
アブレーション研究：
- 適応の重要性： LoRA更新を除去した場合（純粋なMCTS探索）、性能は49.71%から37.14%に低下し、ポリシーの進化が成功の主要な原動力であることを浮き彫りにしました。
- 分岐係数（Branching Factor）： 分岐係数 $k=3$ が、探索の多様性と計算効率の最適なバランスを提供しました。
- 一時的 vs 永続的： アダプターを各インスタンス終了後に破棄する（インスタンスごとのリセット）方が、インスタンス間で保持する場合よりも5.41ポイント高い性能を示し、インスタンス固有の戦略は信頼性高く転移できないことを裏付けました。

5. 意義と主張

本論文は、困難な推論問題に対しては、探索単体よりもテスト時の学習の方が優れた戦略であることを主張しています。追加の計算資源を、無駄な探索ではなく直接的なポリシー改善へと変換することで、PoTは小型モデルが巨大で静的なモデルを凌駕することを可能にします。

著者らは、PoTが「凍結ポリシー」の仮定からの根本的な転換を提示しており、インスタンスごとの一時的な適応こそが推論タスクにおける正しいレジームであることを示していると主張しています。このフレームワークは、「推測と反駁」のサイクルを、失敗が単にフィルタリングされるだけでなく、タスクの期間中、モデルの内部的な推論事前分布を洗練するために使用される計算プロセスへと効果的に変換します。

限界： 著者らは、学習済み報酬モデルへの依存（非実行可能なドメインにおいて）が主観性を導入する可能性があること、およびモデルベースの信号と決定論的な環境フィードバックの有効性の違いが未解決の領域であることを認めています。しかし、ネイティブなフィードバックが存在するドメイン（コードなど）において、この手法は堅牢で最先端の結果を達成しています。