技術要約：Test-time Recursive Thinking (TRT)

問題提起

大規模言語モデル（LLM）は、検証可能な報酬を用いた強化学習（RL）によって、推論能力において急速な向上を示してきたが、これらのパラダイムは通常、外部の監督やコストのかかる重みの更新に依存している。重要な未解決の問いが残されている：LLMは、正解の報酬や外部からのフィードバックにアクセスすることなく、テスト時に推論を自己改善できるか？

既存のアプローチには、主に2つの制限がある：

1. メタRL手法は、複雑な報酬キャリブレーションと高価な重みの更新を必要とする。
2. 推論時自己改善手法は、学習した改善を複数の試行間で再帰的に前方に運ぶメカニズムを欠いていることが多く、冗長な探索や停滞を招く。

著者らは、正解なしでテスト時の自己改善を試みるシステムにおける2つの核心的な課題を特定している：

• 効率的な生成： 既知の失敗を繰り返すことなく、多様で高品質な候補解を生成すること。
• 信頼できる選択： 正解の監督がない状況で、正しい答えを正確に選択すること。

手法：Test-time Recursive Thinking (TRT)

本論文では、単一の問題インスタンスに対して $T$ ラウンドにわたって動作する反復的な自己改善フレームワークである Test-time Recursive Thinking (TRT) を提案する。TRTは、ロールアウト固有の戦略、蓄積された知識、および自己生成された検証信号の3つの要素に基づいて生成を条件付ける。

このフレームワークは、各ラウンドにおいて以下の3つの明確なステージで動作する：

1. 生成 (戦略的探索)

問題 $P$ が与えられると、モデルは $K$ 個のロールアウト ($r_k$) を生成する。極めて重要な点は、これらが独立したサンプルではないことである。各ロールアウトは以下を条件としている：

• 蓄積された知識 ($K_t$): 前のラウンドから抽出された洞察のリスト。主に「負の制約」（例：「やってはいけないこと」、「失敗モード」、「バグのパターン」）に焦点を当て、探索空間を制限する。
• ロールアウト固有の戦略 ($s_k$): 相補的な探索を確実にするために、モデル自身によって生成された独自のプロンプト。戦略はドメイン（例：コードにおける動的計画法や貪欲法といったアルゴリズム・パラダイム、数学における証明技法）に基づいて変化する。

2. 選択 (自己誘導型検証)

モデルは、正解なしで $K$ 個のロールアウトを評価し、最良の解 ($r^*$) を特定する。選択メカニズムはドメイン固有である：

• 数学的推論： 相互排他性 (Mutual Exclusivity) を活用する。整数解が唯一であるため、モデルは自己拒絶された回答を追跡する。正しい推論者は同じ答えに収束するが、誤ったものは分散する。
• コード生成： 実行ベースの自己検証 (Execution-Based Self-Verification) を採用する。モデルは問題仕様に基づいたユニットテストを生成する。候補はこれらのテストに対して実行され、より多くのテストに合格したものが高くランク付けされる。複数の候補が合格した場合、二次的な基準（ロジックの清潔さ、エッジケースの処理など）が適用される。

3. 反省 (知識の蒸留)

モデルは、選択されなかったロールアウトと最良の解 ($r^*$) を比較するペアワイズ分析を行う。

• モデルは、実行可能な失敗の洞察（例：特定の論理エラー、見落とされたエッジケース）を抽出する。
• これらの洞察は、次のラウンドのための 知識リスト ($K_{t+1}$) へと蒸留される。
• モデルは、以前の失敗したアプローチを回避し、新しい方向性を探るための新しい戦略を合成する。

コンテキストウィンドウの制限を管理するため、システムは古い知識のエントリを削除（プルーニング）し、知識リストがコンパクト（多くの場合、コンテキストウィンドウの1.5%未満）であることを保証する。

主な貢献

1. フレームワーク設計： 戦略的探索（知識条件付き戦略による）と自己誘導型検証を明示的に分離し、探索と選択の両面における課題に対処したTRTの導入。
2. 自己検証メカニズム： 数学における相互排他性や、コードにおける自己生成テストの実行を含む、ドメイン固有の選択戦略の開発。これにより、外部ラベルなしでの効果的な候補選択を可能にした。
3. 知識蓄積戦略： 冗長な解の軌跡ではなく、高レベルに蒸留された「負の制約」（何をすべきでないか）の保存に焦点を当てることで、多くのラウンドにわたる持続可能なスケーラビリティを実現した。

実験結果

著者らは、数学的推論（AIME-25/24）およびコード生成（LiveCodeBench v6）においてTRTを評価した。

数学的推論 (AIME-25/24)

• モデル： オープンソースモデル (gpt-oss-120b, Qwen3-235B)。
• 結果： TRTは、両方のモデルにおいて全30問に対して 100%の精度 を達成した。
• 比較： 64個の独立したトレースを用いた多数決（majority voting）のベースラインを上回った。性能はラウンドが進むにつれて単調に向上し、100%付近で安定した。

コード生成 (LiveCodeBench v6)

• モデル： クローズドソースモデル (o4-mini-High, o3-High)。
• 結果：
  • o4-mini-High: 8ラウンド後に、63.5%（ベースライン）から 73.9%（+10.4 pp）へと向上。
  • o3-High: 8ラウンド後に、57.1%（ベースライン）から 71.9%（+14.8 pp）へと向上。
• 比較： 両モデルとも、候補集団を反復的に洗練させる強力なベースラインであるRecursive Self-Aggregation (RSA) を上回った。
• アブレーション研究：
  • 深さ vs 幅： ラウンド数 ($T$) を増やすことは、ラウンド内の並列ロールアウト数 ($K$) を増やすことよりも高い結果をもたらし、反復的な洗練が並列サンプリングの幅よりも効果的であることを裏付けた。
  • コンポーネント分析： 戦略的プランニングは約3.0 ppの改善に寄与し、自己生成テストの実行は約7.4 ppの改善に寄与した。これは、探索と検証の両方の重要性を強調している。

意義と主張

本論文は、LLMは外部からのフィードバックに頼ることなく、自身の試行から再帰的に学習することで、テスト時に自己改善できると主張している。

• 効率性： TRTは、戦略的プランニングと知識蓄積を用いることで、並列サンプリング手法と同等の計算予算で、より高い解の質に到達できることを示している。
• 汎用性： TRTは、多数決が失敗するオープンエンドなコード生成と、数学的推論の間のギャップを埋め、選択メカニズムをドメインの構造的特性に適応させることに成功した。
• スケーラビリティ： 知識をコンパクトで高レベルな制約へと蒸留することで、TRTはコンテキストの枯渇を回避し、長期的な推論タスクを可能にしている。

著者らは、効率的な探索（蓄積された知識による誘導）と効果的な自己誘導型選択（ドメイン固有の検証による）の組み合わせが、テスト時の自己改善を可能にする鍵であると結論づけている。彼らは、コード実行環境への依存や、ラウンド数に伴う計算オーバーヘッドの線形的な増加といった限界も指摘しているが、TRTを、自律的でフィードバック不要な推論への重要な一歩として位置づけている。