技術要約：再帰的エージェント推論（Recursive Agentic Reasoning）

問題提起

大規模言語モデル（LLM）のテスト時推論における最近の進展は、反復的な洗練（iterative refinement）、問題の分解（problem decomposition）、および繰り返しのサンプリング（repeated sampling）といった、個別の研究プログラムへと拡散している。しかし、これらの手法は通常、異なるベンチマーク、ベースモデル、回答抽出ロジック、および採点コードを用いて、それぞれ孤立して研究されている。この断片化により、公平な比較を行うことが困難になっている。すなわち、固定された推論予算に対してどの手法が最良の精度をもたらすのか、性能が特定のモデルやタスクに依存するのか、あるいは報告された利得が比較可能なものなのかが不明確である。さらに、既存の評価は、方法論的なハザード（例：異なる失敗率によって異なるアイテムのサブセットを比較してしまう「非ペアリング評価」、およびタイムアウトなどのインフラストラクチャの失敗をモデルのエラーと誤分類すること）に苦しんでいる。後者は、より多くのAPIコールを行う手法に対して不当に不利に働く。

手法

著者らは、これらの多様な推論戦略を、単一の統一された実験用ハーネス内で評価される、エージェントの推論トレースに対する3つの異なる**再帰オペレータ（recursion operators）**として再定義した。

1. オペレータ

すべてのオペレータは、オプションのコンテキストを伴うモデルコールを発行する共有の解決プリミティブである solve(x, c) に基づいて構築されている。極めて重要なことに、このプリミティブには**切り捨て回復メカニズム（truncation recovery mechanism）**が含まれている。これは、モデルが隠れた思考ストリーム中にトークン予算を使い果たした場合（空のコンテンツを返す場合）、システムがその切断された推論を用いてモデルに再プロンプトを送り、最終的な回答を強制的に出力させるものであり、アイテムを失敗として破棄することはない。

3つのオペレータは以下のように定義される：

• GROW (加算的再帰): 単一の推論パスを深化させる。前回の試行をコンテキストに含めて問題を再解決する。抽出された回答が安定したとき（2回連続のラウンドで正規化された回答が同一になったとき）、または最大3ラウンドに達したときに停止する。
• PRUNE (削減的再帰): 複雑な問題を、順序付けられたサブ質問のリストへと分解する。各サブ質問は、前のサブ質問への回答をコンテキストに含めて解決され、最終的なコールがそれらの回答を合成する。モデルが1つのサブ質問のみを提案した場合、オーバーヘッドを避けるために単一の直接解決へと退行する。
• BRANCH (探索型再帰): 温度パラメータ0.7で $N=5$ の独立した解をサンプリングする。抽出された回答を正規化し、多数決のキー（plurality key）を返す。空の完了を返したサンプルは、すべてのサンプルが空でない限り勝利することができないため、構造的に破棄される。

2. 実験設定

• モデル: 3つのフロンティア推論モデル：DeepSeek-V4-Pro、MiniMax-M3、および Qwen3.6-plus。
• ベンチマーク: マルチホップ推論（MuSiQue）、専門家レベルのアカデミックな質問（HLE）、一般的推論（BBEH）、大学院レベルの知識（SuperGPQA）、およびオリンピアード数学（Omni-MATH）をカバーする5つの多様なベンチマーク。
• プロトコル: **ペアリング評価プロトコル（paired evaluation protocol）*が厳格に適用される。各モデル $\times$ ベンチマークのセル内において、精度はすべての*オペレータによって正常に解決されたアイテムの積集合に対してのみ算出される。回復不可能な転送失敗（タイムアウト、レート制限）は、高コストなオペレータを罰することを防ぐため、誤りとしてスコア化されるのではなく除外される。
• 規模: 本研究は、14のモデル $\times$ ベンチマークのセル、49,327の採点対象アイテム、および151,876のモデルコールを対象としている。

主な貢献

1. 統一されたオペレータ定式化: 本論文は、加算的、削減的、および探索ベースのテスト時再帰を、共有プリミティブ上のオペレータとして定式化し、制御された「リンゴとリンゴの（公平な）」比較を可能にした。
2. 制御された比較研究: 14のセルにわたる大規模なペアリング評価を提供し、BRANCH（投票を伴う繰り返しのサンプリング）が14セル中12セルにおいて厳密な最良のオペレータであり、すべての14セルで精度を向上させていることを示した。
3. メカニズム的洞察 (切り捨て回復): 本論文は、サンプリングによる利得の主な要因が推論パスの周辺化（marginalizing over reasoning paths）であるという標準的な説明に異議を唱える。代わりに、BRANCHの利得の大部分が**切り捨て回復（truncation recovery）**によるものであることを示している。利得は、ベースラインの空の出力（予算切れによる出力）の発生率と強い相関（$r=0.72$）がある。BRANCHは、モデルがトークン不足により生成を中断したために一度も出力されなかった回答を効果的に回収している。
4. ルーティングに関する負の結果: データは、「適応的なルーターがタスクに応じて異なるオペレータを選択すべきである」という「ルーティング仮説」を支持していない。BRANCHがほぼあらゆる場所で支配的であるため、学習されたルーターはほぼ一定のポリシーを学習することになる。
5. 方法論的警告: 著者らは、非ペアリング評価やインフラストラクチャの失敗をモデルのエラーとして扱うことが、結論を逆転させ得る（例：存在しない退行を示す）ことを文書化し、標準的な慣行としてペアリング評価を採用することを推奨している。

結果

• パフォーマンス: BRANCHは14のセルすべてで精度を向上させ、平均利得は +5.98 ポイント（中央値 +6.47）であった。12のセルにおいて最良のオペレータであった。
• 他手法の不整合性: GROWは平均 +2.18 ポイントであるが、2つのセル（MuSiQue および BBEH における DeepSeek）ではマイナスとなった。PRUNE は平均 +0.94 ポイントであり、範囲は -2.17 から +4.00 までと、一貫性がなく、しばしば無視できる程度の利得しか示さなかった。
• 効率 vs 精度: GROWはコールあたりのトークン効率は高いが（追加コール1回につき +1.77 ポイントに対し、BRANCHは +1.55 ポイント）、BRANCHは最も高い絶対的な精度の天井を達成している。PRUNE は両方の軸において劣っている。
• 切り捨てのダイナミクス: ベースラインが頻繁にトークン制限に達するベンチマーク（例：DeepSeek を用いた HLE）では、BRANCHの下で空の出力率が大幅に低下し（例：51.2% から 32.2% へ）、これが精度向上を直接駆動している。一度も切り捨てが発生しなかったモデル（Qwen3.6-plus）は、BRANCHによる利得が最も小さかった。

意義と主張

本論文は、個別の研究プログラムに焦点を当てることは、テスト時計算における現在の状況下での最も堅牢な戦略がサンプリングと投票（BRANCH）であるという経験的事実を覆い隠していると主張している。その意義は、アルゴリズムの新規性（これらは Self-Consistency, Self-Refine, および Least-to-Most の変種である）ではなく、以下のことを明らかにした制御された比較にある：

1. サンプリングの支配性: これらのオペレータの粒度において、一つの手法（BRANCH）がほぼあらゆる場所で支配的であり、適応的なルーティングは不要であることを示している。
2. 予算枯渇の役割: 長い推論を行うモデルにおける、これまで十分に定量化されてこなかった主要なエラー源の一つは、隠れた思考中のトークン予算の枯渇である。繰り返しのサンプリングは、単なるパスの周辺化技術としてではなく、この特定の失敗モードに対する回復メカニズムとして機能している。
3. 評価の厳密性: 本研究は、インフラストラクチャの失敗と非ペアリング評価が、結論を逆転させるほど大きな偽の結果を生み出す可能性があることを強調し、コミュニティに対してペアリングプロトコルと、インフラエラーとモデルエラーの明示的な分離を採用することを促している。

著者らは、"サンプルを増やす"ことは有効なヒューリスティックであるが、予算枯渇からの回復という具体的なメカニズムは、一部の領域において、完全な繰り返しのサンプリングよりも、切り捨てられた生成に対するターゲットを絞った最終化パスの方が安価な代替案になり得ることを示唆している。