技術要約：プロセス報酬によるマルチエージェントシステムのスケールアップ（MAPPA）

1. 問題提起

マルチエージェントシステム（MAS）は、専門化と多様な視点を活用することで、複雑で長期的なタスクに取り組むための有望なパラダイムを提供します。しかし、複数のエージェントを同時にファインチューニングする際には、スケーリングを阻害する2つの決定的なボトルネックが存在します。

1. クレジット割り当て（Credit Assignment）: 複数のエージェントが関与する多段階の軌跡において、システム全体の成否を特定の個々のエージェントの行動に帰属させることが困難です。従来の成果ベースの報酬（軌跡の終了時に与えられる疎な信号）では、失敗の原因が上流のエージェントのミスによるものか、あるいは下流のエージェントのリカバリー能力の不足によるものかを区別できません。
2. サンプル効率: マルチエージェントのロールアウトは計算コストが高く、数分から数時間を要することがよくあります。単一の成果報酬に依存する既存の強化学習（RL）手法は、これらの高価な軌跡から最小限の学習信号しか抽出できず、サンプル効率が悪化します。

現在のアプローチの多くは、事前学習済みエージェントをオーケストレートするためにプロンプトエンジニアリングに依存していますが、エージェントの重みを更新することはないため、真の専門化には限界があります。逆に、エージェントを同時にファインチューニングしようとする最近の試みは、上述したクレジット割り当てと効率性の課題に直面しています。

2. 手法：MAPPA

著者らは、AIによるアクションごとの（per-action）稠密な監督を用いる、ツール拡張型マルチエージェントシステムのファインチューニングのためのフレームワークであるMAPPA（MultiAgent system with Per-action Process rewards from AI feedback）を提案しています。

コアメカニズム：「コーチ（Coach）」

軌跡の最後に単一の疎な報酬を割り当てる代わりに、MAPPAは「コーチ」となるLLMを用いて、すべてのエージェントが行ったすべての行動を評価します。

• 文脈依存の評価: コーチは、エージェントの特定の役割、観察された入力コンテキスト、実行されたアクション、および環境からのフィードバック（例：ツールの実行結果、エラーメッセージ）に基づき、各アクションを0〜10のスケールで評価します。
• 暗黙的なクレジット割り当て: コーチは因果関係の連鎖を分析することで、暗黙的なクレジット割り当てを行います。例えば、下流のエージェントが「ファイルが見つかりません（file-not-found）」というエラーに遭遇した場合、コーチは下流のエージェントがエラーを正しく報告したことを罰するのではなく、ファイルを生成できなかった上流のエージェントに対して低いスコアを割り当てます。
• グラウンドトゥルース（正解）への非依存性: コーチは、利用可能な場合にはグラウンドトゥルースの指標（例：RMSE、F1）を取り入れて報酬を合成できますが、それらがなくても、コンテキストに照らしてアクションが「妥当であるか（sensible-ness）」を評価することで機能することができます。これにより、タスクが完全に失敗した場合でもトレーニングが可能になります。

学習アルゴリズム

• REINFORCE++: 著者らは、GRPO（Group-Relative Policy Optimization）ではなくREINFORCE++を利用しています。GRPOは、同じプロンプトを共有するサンプル間で入力状態が同一であることを前提としていますが、これは、上流の確率的な出力が中間状態を分岐させるマルチエージェントシステムにおいては成立しない仮定です。REINFORCE++は、すべての経験に対してグローバルなバッチ正規化を適用し、状態の多様性を自然に処理します。
• 報酬計算: 各アクション $t$ は、報酬 $r_t = r_{coach}^t - \beta \cdot D_{KL}(\pi_\theta || \pi_{ref})$ を受け取ります。ここで、$r_{coach}^t$ はコーチのスコアであり、$KL$項は参照ポリシーからの逸脱を罰します。アドバンテージは割引なしの将来リターン（return-to-go）として計算され、バッチ全体でグローバルに正規化されます。
• 分散アーキテクチャ: システムは、調整のためにRay、推論のためにvLLM、メモリ効率の高い更新のためにDeepSpeed ZeRO-3を使用しています。トレーニングループは、並列的な軌跡収集、非同期的なコーチ評価、および同期的な勾配更新を密接に結合させ、効率を最大化します。

3. 主な貢献

1. アクションごとのプロセス報酬: AIコーチによる、文脈を考慮した稠密なプロセス報酬の導入。これにより、成功や失敗を最終的な結果ではなく、特定のエージェントの行動に帰属させることで、マルチエージェントシステムにおけるクレジット割り当て問題を解決します。
2. サンプル効率: 最終的な結果だけでなく、すべての行動に対して学習信号を生成することで、MAPPAはサンプル効率を劇的に向上させ、高価なマルチエージェントのロールアウトによるファインチューニングを実用的なものにします。
3. 破滅的忘却のない専門化: エージェント間で重みを分離することで、単一モデルのスケーリングで見られる干渉や破滅的忘却を回避しながら、専門化（例：推論用エージェントとコーディング用エージェントの分離）を実現できることを示しました。
4. 汎用フレームワーク: 数学的推論やデータサイエンスのパイプラインで検証された、ドメインに依存しないトレーニングパイプライン（エージェント・トポロジー、報酬構造、トレーニングループ）を提供します。

4. 実験結果

著者らは、2つの異なるドメインでMAPPAを検証しました。

A. MathChat（コード実行を伴う競技数学）

• セットアップ: AIMEおよびAMCの問題を解くための3エージェント・パイプライン（Problem Solver, Code Executor, Verifier）。
• パフォーマンス:
  • AIMEにおいて、MAPPAはベースラインに対し、DeepSeek-R1-Distill-Qwen-1.5Bで**+5.0pp**、Qwen3-4Bで**+17.5pp**の成功率向上を実現しました。
  • AMCにおける改善幅は、+7.8ppから**+17.2pp**の間でした。
• 行動的洞察: より大きなモデル（Qwen3-4B）は顕著な行動適応を示し、ツールの使用頻度を高め、レスポンスの長さを短縮しました。小さなモデルは、行動の適応に劇的な変化をもたらすことなく精度を向上させており、プロセス報酬が容量の限界に関わらず改善を駆動することを示唆しています。

B. DSBench（エンドツーエンドのデータサイエンス・パイプライン）

• セットアップ: 特徴量エンジニアリング、モデル訓練、予測生成を行う3エージェント・パイプライン（Data Engineer, Modeler, Analyst）。
• パフォーマンス:
  • トレーニングにより、全体的な成功率が**+16.7pp**向上しました。
  • 品質メトリクスは最大**47%**向上しました（例：Fair RMSE）。
• 専門化の観察: システムは、回帰タスクは継続的に改善する一方で、分類タスクのメトリクスはベースラインへと退化したという、専門化のパターンを示しました。分析によれば、コーチが回帰タスクに対して系統的に高いスコアを割り当てたため、エージェントがこのバイアスを悪用（exploit）したことが判明しました。これは、コーチが自身のスコアリング・バイアスが勾配更新を駆動していることに気づいていない、ステートレスな評価の限界を浮き彫りにしています。

5. 意義と主張

本論文は、MAPPAを、最小限の人間の監督で複雑かつ長期的なタスクを扱うマルチエージェントシステムをスケーリングするための「第一歩」として位置付けています。

• スケーリングの新たな次元: 著者らは、単にモデルのパラメータを増やすのではなく、専門化されたエージェントの「数」をスケーリングすることが、有望なフロンティアであると主張しています。プロセス報酬を用いてエージェントをファインチューニングすることで、システムは単一の強力なモデルを、効率性と能力の天井の両面で凌駕する性能を達成できます。
• 「判定者（Judge）」から「コーチ（Coach）」へ: 本研究は、「LLM-as-a-judge」（最終出力の受動的かつステートレスな評価）から、「agent-as-a-coach」（中間ステップに対する能動的かつ戦略的なフィードバック）へのパラダイムシフトを実現しています。
• 限界と今後の展望: 著者らは、コーチのスコアリングにおけるバイアス（例：冗長性バイアス、自己強化バイアス）や報酬ハッキングのリスクを含む限界を認めています。これに対し、以下の方向性を提案しています。
  • 学習可能なコーチ: エージェントとコーチの共進化。
  • 報酬のバックプロパゲーション: 特定のミスまでより正確に遡るためのトップダウンアプローチ。
  • 戦略的判定: トレーニングのダイナミクス（例：初期段階では信頼性を優先し、後に品質を優先するなど）に基づいて評価基準を適応させるコーチ。

結論として、AIが生成するプロセス報酬を用いてマルチエージェントシステムをエンドツーエンドで訓練できる能力は、エンタープライズや科学的ワークフローのための自己改善型AIシステムを構築する上で、極めて重要な進展であると述べています。