技術的サマリー：TMAS – マルチエージェントの相乗効果による推論時計算のスケーリング

1. 問題定義

推論時スケーリング（TTS）は、推論中に追加の計算リソースを割り当てることで大規模言語モデル（LLM）の推論能力を強化するパラダイムとして登場した。初期のアプローチは、単一の生成軌道の拡張（例：Chain-of-Thought）や、並列な独立した解決策の集約（例：Self-Consistency）に焦点を当てていたが、最近の構造化された手法は、複数の軌道と洗練ラウンドにわたる推論を組織化しようとする。

しかし、既存の構造化された TTS 手法は、探索（多様な解決経路の試行）と活用（有望な方向性の洗練）のバランスにおいて重大な限界に直面している：

• 協調の弱さ: 軌道集約手法は、何を保持するかを明示的にフィルタリングしないまま、ノイズの多い履歴情報に依存することが多く、結果として最適でない信号の再利用につながる。
• 不十分な協働: 検証 - 洗練システムは明示的なフィードバックを導入するが、異なる軌道間の結合が弱く、試行間で再利用可能な中間発見や局所的フィードバックを共有できていない。
• メモリの粒度: 現在の手法は、低レベルの信頼性の高い中間結論（局所信号）と高レベルの戦略的洞察（グローバルパターン）を区別できず、効果的な情報共有を制限している。

核心的な課題は、マルチエージェントの協働を明示的に調整し、局所的経験とグローバル戦略を分離するために階層的メモリを管理し、モデルを最適でないパターンに陥ることなくこの構造を効果的に活用できるように調整するフレームワークを設計することである。

2. 手法：TMAS フレームワーク

著者は、推論を専門エージェント間の協働プロセスとして組織化するフレームワークTMAS（Test-time compute via Multi-Agent Synergy）を提案する。このシステムは、並列的な探索と逐次的な活用のバランスを取りながら反復的に動作する。

2.1. マルチエージェントアーキテクチャ

TMAS は、推論パイプラインを管理するために 5 つの専門エージェントを採用する：

1. Solution Agent（$A_{sol}$）: $N$ 個の候補解決軌道を並列に生成する。$\epsilon$-greedy 戦略を使用する：確率 $1-\epsilon$ で蓄積された経験と以前のロールアウトを活用し、確率 $\epsilon$ で高レベルのガイドラインに導かれて冗長性を避ける探索を行う。
2. Verification Agent（$A_{ver}$）: 各候補に対して $M$ 回の独立した検証パスを実行し、分析的フィードバックとスカラースコア（正解、部分的正解、または誤り）を提供する。
3. Summary Agent（$A_{sum}$）: 検証結果を簡潔なロールアウトレベルの要約に集約し、検証されたステップと論理的欠陥を強調する。
4. Experience Agent（$A_{exp}$）: 現在のロールアウトから低レベルの再利用可能信号を抽出し、Experience Bankを更新する。これには、検証された中間結論、具体的なスキル、特定の誤り回避ヒューリスティックが含まれる。
5. Guideline Agent（$A_{guide}$）: 並列ロールアウトから高レベルの戦略的アプローチを抽象化し、Guideline Bankを更新する。これは、後続のエージェントが以前に試行され（失敗した）パターンから逸脱できるよう、グローバルな解決方向と構造的洞察を記録する。

2.2. 階層的メモリ管理

TMAS は、構造化された情報フローを促進するために 2 つの異なるメモリバンクを導入する：

• Experience Bank: 具体的な軌道固有の推論信号（例：「検証済みアンカー $T(2)=3$」）を保存する。これらは局所的推論の洗練と特定の誤りの繰り返しの回避に再利用される。
• Guideline Bank: 高レベルの戦略ログ（例：「分割論法を用いた帰納法の試行」）を保存する。これらは多様性を強制するために使用され、新しいロールアウトが以前に探索された戦略的枠組みを単に繰り返さないようにする。

2.3. ハイブリッド報酬強化学習

モデルを TMAS の協働プロセスに整合させるため、著者は GRPO（Group Relative Policy Optimization）に基づくハイブリッド報酬システムを設計する。最終的な正解のみを最適化する標準的な RL と異なり、このシステムは 3 つの相補的な目的を含む：

1. 標準的な正解報酬: 基本的な推論能力を維持する（正解で +1、そうでなければ -1）。
2. 経験活用報酬: モデルが Experience Bank を効果的に利用することを奨励する。もし問題がバンクなしでは解決困難だが、バンクがあれば解決可能であれば、モデルはバンクなしでの問題の難易度に比例したボーナスを受け取る。これにより、バンクが受動的なコンテキストとして扱われることを防ぐ。
3. 新規戦略探索報酬: 新しい高レベルの解決戦略の発見を奨励する。既存のバンクでカバーされていないガイドラインに従うロールアウトにはより高い報酬が与えられ、既知の戦略を繰り返すものは正解であっても罰せられる。

3. 主要な貢献

1. TMAS フレームワーク: エージェント、軌道、反復にわたる情報フローを明示的に組織化する新しいマルチエージェントシステム。専門的なExperienceエージェントとGuidelineエージェントを通じて、独立した推論試行を調整された反復プロセスに変換する。
2. 階層的メモリ機構: 低レベルの経験（再利用可能な局所信号）と高レベルのガイドライン（戦略的回避）を別々のバンクに格納することで、信頼性の高い発見の活用と多様な経路の探索のバランスを取る。
3. ハイブリッド報酬 RL 方式: 基本的な推論能力、効果的な経験活用、新規戦略探索を同時に最適化する TMAS に特化した訓練目的。反復推論における探索と活用のトレードオフに対処する。

4. 実験結果

著者は、Qwen3-30B と Qwen3-4B をベースモデルとして使用し、困難な推論ベンチマークであるIMO-AnswerBench-50とHLE-Math-100で TMAS を評価した。

• 反復スケーリング: TMAS は既存のベースライン（Self-Refine, Verify-Refine, PaCoRe, RSE）よりも強力な反復スケーリングを示した。他の手法は後続の反復で頭打ちになったり劣化したりする中、TMAS は改善を続け、最終段階で最高の性能を達成した（例：Qwen3-30B を使用した IMO-AnswerBench-50 で、19 反復目に 40.50%）。
• ハイブリッド RL の影響: ハイブリッド報酬システムによる訓練は、スケーリング効果を著しく増幅した。Qwen3-4B モデルにおいて、TMAS+Hybrid-RL はより高いピーク精度を達成するだけでなく、後続の反復で見られた Vanilla-RL（正解報酬のみで訓練）の性能劣化を緩和した。
• モデル効率: ハイブリッド RL 訓練により、4B と 30B モデル間の性能差が大幅に縮小した。IMO-AnswerBench-50 では、差が 23.44 ポイントから 9.62 ポイントに減少し、効果的な反復推論時計算により、より小さなモデルがはるかに大きなモデルの性能に近づける可能性を示唆している。
• アブレーション研究:
  • Experience または Guideline モジュールのいずれかを除去すると性能が低下し、両方を同時に除去すると最も深刻な低下を招いた。
  • 中間的な探索係数（$\epsilon=0.2$）が最適な結果をもたらしたことは、発見と活用のバランスの必要性を確認する。
  • 過剰な検証回数（例：16）や並列解決策（例：12）は単調な改善をもたらさず、逓減収益とノイズの導入を示唆している。

5. 意義と限界

本論文は、単純な軌道集約や検証を超えて、推論時計算を組織化する上で TMAS が重要な前進であると主張する。情報フローを明示的に構造化し、メモリを階層的レベルに分離することで、TMAS は推論軌道間のより効果的な協働を可能にする。ハイブリッド報酬方式は、モデルにこの複雑な構造を活用させるための重要な促進要因として提示されている。

限界:

• 検証のボトルネック: 著者は「共有能力の境界」を特定しており、最も困難な問題において、同じモデルファミリーからインスタンス化された検証エージェントは、もっともらしいが欠陥のある解決策と正しい解決策を区別するのに苦労する可能性がある。これは、洗練ループに対する信頼性の低いフィードバック信号につながる。
• 計算制約: コストと API の制約により、評価は最先端モデル（例：GPT-5.5）では行われなかった。
• データ構築: 現在の RL パイプラインは、コールドスタート軌道とメモリベースの訓練データを事前に構築するために外部のティーチャーモデルを必要とする。著者は、将来の研究では前回の反復からの軌道を動的に取り込んでデータソースを拡大できることを提案している。

結論として、TMAS はマルチエージェントの相乗効果と階層的メモリを通じて探索と活用のバランスを効果的に取る、推論時計算のスケーリングに対する構造化されたアプローチを提供し、適切に組織化されれば追加の計算が改善された推論性能に変換され得ることを実証している。