技術要約: SHARP – マルチエージェントシステムのためのShapley値に基づくクレジットベースの最適化

1. 問題提起

大規模言語モデル（LLM）を外部ツールとマルチエージェントシステム（MAS）を介して統合することは、複雑な推論および計画タスクを解決するための有望なパラダイムを提供します。しかし、これらのシステムの学習は、クレジット割り当て（credit assignment）の課題によって阻害されています。協調的なMASアーキテクチャ（通常、プランナーと特化したワーカーエージェントで構成される）において、どの特定のエージェントが決定の軌跡（trajectory）の成功または失敗に責任があるのかを明らかにすることは困難です。

既存の手法は、マルチエージェント・チームを単一のモノリス（一体的な存在）として扱う、疎でグローバルにブロードキャストされる報酬に主に依存しています。このアプローチは個々の貢献を捉えることができず、高品質な個別の行動が高レベルなチーム全体のパフォーマンスによって隠されてしまうため、非効率な強化学習（RL）の更新を招きます。さらに、現在の価値フリーな最適化手法（DPOやGRPOなど）や特化したMARLフレームワークは、結合アクション空間内における個々のエージェントの限界的な貢献を分離することに苦慮することがよくあります。

2. 手法: SHARPフレームワーク

これらの制限に対処するため、著者らは、精密で微細なクレジット帰属を通じてマルチエージェント学習を安定させるために設計されたフレームワークであるSHARP (Shapley-based Hierarchical Attribution for Reinforcement Policy) を提案します。

2.1. システムアーキテクチャ

SHARPは、共有ポリシー $\pi_\theta$ を用いた自己対戦型マルチエージェントモデリングパラダイムを採用しています。

• 役割（Roles）: 単一のモデルが、役割固有のシステムプロンプトを介して、異種混合の役割（プランナーとワーカー）をインスタンス化します。
• 実行（Execution）: プランナーは高レベルのサブタスククエリを生成し、それがワーカーエージェントによる外部ツール（例：検索、計算機、コードインタープリタ）との相互作用をトリガーします。
• 最適化（Optimization）: プロセス全体は、共有ポリシーの下で単一の軌跡としてエンドツーエンドで最適化され、統一されたパラメータ更新を可能にします。

2.2. 三部構成の分解報酬メカニズム

SHARPの核心となる革新は、モノリスなブロードキャスト信号を超えた報酬分解原理です。軌跡 $i$ におけるエージェント $m$ の総サロゲート報酬 $\bar{R}_{i,m}$ は、以下の3つのコンポーネントの加重結合です。

1. グローバル・ブロードキャスト精度報酬 ($R^b$): 最終的なレスポンスがグラウンドトゥルース（正解）と一致しているかを示すバイナリの終端信号（0または1）です。これはグローバルなタスクへの整合性を保証し、軌跡内のすべてのエージェントにブロードキャストされます。
2. Shapley値に基づく限界的クレジット報酬 ($R^{mc}$): このコンポーネントは、協力ゲーム理論のShapley値を用いて、各エージェントの具体的な貢献を定量化します。
   • 反事実的マスキング（Counterfactual Masking）: システムは、環境と他のエージェントを維持したまま、決定の軌跡からそのエージェントをアブレーション（除去/マスク）した際のパフォーマンスの差分（$\Delta$）を測定することで、そのエージェントの因果的影響を分離します。
   • プランナーのクレジット: プランナーのクレジットは、ワーカープールの正の限界貢献の平均として定義され、プランナーの目的を集合的な効用に適合させます。
   • ワーカーのクレジット: 全体の軌跡と、特定のワーカーを除去した後の軌跡との間のタスク成功率の差として計算されます。
3. ツール・プロセス報酬 ($R^{tool}$): ツール呼び出しの妥当性と実行可能性を評価するプロセスレベルの信号であり、エージェントが単にツールの使用をハルシネーション（幻覚）するのではなく、正しく実行することを保証します。

2.3. 最適化戦略

SHARPは、改良された**グループ相対方策最適化（GRPO）**アプローチを利用しています。

• アドバンテージ正規化: エージェント固有のアドバンテージは、その特定の役割に対する報酬の平均を減算し、標準偏差で除算することによって、軌跡グループ間で正規化されます。
• クリップされたサロゲート目的関数: フレームワークは、協調学習プロセスを不安定にする可能性のある大きな偏差を防ぐために、クリップされた目的関数を採用し、安定した方策更新を保証します。

3. 主な貢献

本論文は、主に3つの貢献を述べています。

1. SHARPフレームワーク: エージェント固有のアドバンテージを正規化し、精密なクレジット帰属を提供することで、マルチエージェント学習を安定させる新しいRLフレームワークであり、異種混合エージェントを整列させるための統一されたソリューションを提供します。
2. 柔軟な報酬分解: 様々なLLMのサイズやマルチエージェント構造（逐次的なチェーン、通信グラフ、階層的なプランナー・ワーカー・パラダイム）に適用可能な、三部構成の報酬メカニズムの導入。
3. 実証的検証: SHARPが、シングルエージェントRLや既存のマルチエージェントフレームワークを含む最先端のベースラインを大幅に上回ることを示す広範な実験。

4. 実験結果

著者らは、MuSiQue, GAIA-text, WebWalkerQA, FRAMES, DocMath-Eval という5つの実世界のベンチマークを用いてSHARPを評価しました。

• 性能向上: Qwen3-8Bをバックボーンとして使用した場合、SHARPはシングルエージェントのアプローチに対して平均23.66%、既存のマルチエージェント・ベースラインに対して**14.05%**のマッチ精度の向上を達成しました。
• アブレーション研究: Shapley値に基づくクレジット割り当てを除去すると、大幅な性能低下が見られました。これは、限界的クレジットのモデリングが、アーキテクチャの複雑さ以上に成功の主要な要因であることを裏付けています。
• スケーラビリティ: SHARPは強力なスケーリング則を示し、8Bのバックボーンにおいてシングルエージェントのベースラインに対して14.41ポイントの改善を達成しました。モデルサイズが大きくなるにつれて、性能向上は拡大しました。
• 安定性: 変動を示したベースラインとは異なり、SHARPは180ステップの最適化において精度の単調な向上を示し、報酬の分散が減少していることを示しました。
• コーディネーション分析: SHARPは、有用なサブエージェントの割合を増やし、「有害な」サブエージェントの呼び出しを5.48%から4.40%へ減少させることで、エージェント間の相互作用を再形成しました。

5. 意義と主張

本論文は、SHARPが協調的なマルチエージェントシステムにおけるクレジット割り当てのボトルネックに対処するための、数学的に根拠のある基礎を提供すると主張しています。個別の因果的影響を集計された結果から明示的に分離することで、SHARPは以下を可能にします。

• 安定した共同最適化: 異種混合エージェント間の首尾一貫した調整を促進します。
• 解釈可能性: どのエージェントがタスクに対してプラスまたはマイナスの貢献をしているかについての洞察を提供します。
• 汎用性: 多様なタスク分布およびモデルスケールにわたって堅牢な性能を実証します。

著者らは、SHARPを単なる性能向上策ではなく、階層的MASにおけるスケーラブルで解釈可能な調整のための原則に基づいたアプローチとして位置づけており、精密なクレジット帰属がツール拡張型マルチエージェントシステムの効果的な学習に不可欠であることを示唆しています。