技術要約: MARFT: マルチエージェント強化学習による微調整（Multi-Agent Reinforcement Fine-Tuning）

問題提起

大規模言語モデル（LLM）ベースのマルチエージェントシステム（LaMAS）は、多面的な推論と協調を必要とする複雑なエージェント的タスクを解決する上で、大きな可能性を示しています。しかし、これらのシステムを最適化することは依然として困難です。強化学習（RL）は、単一エージェントのLLMに対しては強化学習による微調整（RFT）を通じて効果的であることが証明されていますが、従来のマルチエージェント強化学習（MARL）をLaMASに直接適用しようとすると、大きな摩擦が生じます。

核心となる問題は、伝統的なMARLの仮定と、LaMAS特有の性質との間のミスマッチにあります。伝統的なMARLは、多くの場合、同期的なエージェントの実行、均質なエージェント構造、および静的なシステム構成を想定しています。対照的に、LaMASは以下のように動作します：

• 非同期的な相互作用: エージェントはしばしば逐次的に行動したり、他者の出力に依存したりします。
• 異質性: エージェントは、異なるベースモデル、語彙、外部ツール、および入出力形式を持つ場合があります。
• プロファイル認識設計: エージェントには、役割を定義するための特定のシステムプロンプト（プロファイル）が必要であり、これらは標準的なMARLベンチマークには存在しません。
• 動的な組織化: タスクの分解とエージェントの調整は、問題のコンテキストに基づいて動的に変化する可能性があります。

単一エージェントのRFTや標準的なMARL（例：Independent PPO）をこれらの設定に素朴に適用すると、学習の不安定化、エージェントの不活性化、および非効率な通信を招きます。RFTの原則をマルチエージェントLLMの特定のダイナミクスに統合する統一されたフレームワークが不足しています。

手法

1. 理論的定式化: Flex-MG

これらの相違に対処するため、著者らは Flex-MG (Flexible Markov Game) と呼ばれる、$\langle V, N, S, A, T, R, \gamma, D \rangle$ で表される新しいゲーム理論的定式化を提案しています。

• 依存関数 ($D$): 新しいコンポーネントである $D: A \times A \rightarrow \{0, 1\}$ は、エージェント間の依存関係を明示的にモデル化します。もし $D(a_i, a_j) = 1$ であれば、エージェント $j$ の決定はエージェント $i$ の行動に条件付きで依存します。これにより、フレームワークはLaMASワークフローの非同期的かつ逐次的な性質を捉えることができます。
• 状態空間と行動空間: このフレームワークは、行動空間や観測空間がエージェント間で異なる異質なエージェントを許容し、エージェントのプロファイルを観測ベクトルに組み込みます。

2. MARFT フレームワーク

本論文は、RFTのパラダイムをマルチエージェント領域に適応させる マルチエージェント強化学習による微調整（MARFT） を導入しています。主な手法的コンポーネントは以下の通りです：

• 逐次的意思決定への再定式化: マルチエージェント・アドバンテージ分解定理を活用し、MARFTはマルチエージェントの問題を逐次的な意思決定プロセスへと再構成します。エージェントは特定の順序（または置換）で行動を生成し、先行者の行動（$a_{1:m-1}$）に条件付けられます。
• エージェントごとの更新: 単調な改善と安定性を確保するために、MARFTは、エージェントを同時にではなく、一つずつ順番に更新する逐次的更新スキームを採用しています。これにより、同時更新に伴う非定常性の問題を軽減します。
• 行動およびトークンの正規化: LLMが生成する出力の長さの変動（例：思考の連鎖（CoT）対 直接回答）を扱うため、フレームワークは、結合確率をトークンまたは単語の長さで割る正規化技術を導入し、短い、あるいは長いシーケンスへのバイアスを防ぎます。
• 2つのインスタンス化:
  • アクションレベル: 完全なエージェントの行動（トークンのシーケンス）のレベルで方策を最適化します。
  • トークンレベル: すべてのトークンを個別の行動として扱います。これは最適化の複雑さを $O(|V|^L)$ から $O(|V| \times L)$ に減少させますが、報酬の疎性（スパース性）をもたらします。著者らは、遅延報酬信号を扱うために、このトークンレベルのMGに対する特定のベルマン・バックアップを導出しています。
• 実装戦略: フレームワークは、効率的な微調整のために LoRA (Low-Rank Adaptation) を利用しており、これによりエージェントは特定の役割のための個別のアダプターを維持しながら、ベースモデルを共有することを可能にします。また、グローバルな価値推定のために集中型クリティック（centralized critic）を用いつつ、分散型の実行を維持します。

主な貢献

1. MARFTの概念化: 本論文は、LaMASの固有の制約（非同期性、異質性、およびプロファイル依存性）を強調することで、単一エージェントのRFTおよび伝統的なMARLの両方と区別し、マルチエージェント強化学習による微調整を正式に定義しました。
2. Flex-MGの定式化: 相互のエージェント依存関係を明示的にモデル化するFlexible Markov Gameの導入により、静的なMARL環境と動的なLaMASワークフローの間の溝を埋める数学的基礎を提供しました。
3. アルゴリズムのフレームワーク: 逐次的アドバンテージ分解、エージェントごとの更新、およびトークンレベルの適応を統合した、スケーラブルでモジュール式のアルゴリズム（Algorithm 3）を提示しています。
4. オープンソースの実装: MARFTフレームワークの採用とさらなる研究を促進するために、完全なオープンソース実装が提供されています。

実験結果

著者らは、Qwen2.5ベースモデルを用い、数学的推論（DeepScaler, AIME2024, MATH500など）およびコーディングタスク（DeepCoder, LiveCodeBench, CodeForces）においてMARFTを評価しました。

• Independent PPO (MAPoRL) との比較: MARFTは、様々なベンチマークにおいて、Independent PPO（マルチエージェントLLMの標準的なベースライン）を一貫して上回りました。性能差は、エージェント数が増加するにつれて（DuoからQuad構成へ）拡大しており、これはMARFTがシステムの複雑性に対してより良くスケールすることを示唆しています。
• 学習の安定性: 学習曲線は、MARFTが単調な改善を達成し、学習中にIndependent PPOで見られる「クラッシュ」や不安定性を回避することを示しました。
• 役割指定のアブレーション研究: 事前に構成された役割記述（例：「プランナー」、「ソルバー」）と匿名エージェントを比較しました。驚くべきことに、匿名設定（エージェントにシステムプロンプトを通じて明示的な役割が割り当てられていない設定）は、学習の初期および中期段階において、事前構成された設定よりも優れた性能を示しました。これは、微調整プロセスにおいては、硬直的な人間定義の役割よりも、エージェントが役割分担を自己進化させることを許容する方が効果的である可能性を示唆しています。
• スケーリングの観察: 同質なエージェントの数を増やしても、（収穫逓減と冗長な推論パスのため）比例した性能向上は見られませんでしたが、MARFTはあらゆるスケールにおいてシステムの絶対的な能力を一貫して向上させました。

意義と主張

本論文は、MARFTをエージェント的システムにおける必然的な進化として位置付けています。その意義は以下の点にあります：

• 理論と実践の架け橋: 同期的な均質なMARLの仮定の限界を超え、複雑で現実世界のダイナミクスを持つマルチエージェントLLMに強化学習による微調整を適用するための、原理的なアプローチを提供します。
• 回復力のある協調の実現: 事前学習されたLLMの基礎的な言語能力を保持しながら、彼らの協調的な推論能力を強化することで、MARFTは堅牢で適応性が高く、人間と整合したシステムを作ることを目指しています。
• 将来の研究へのロードマップ: 著者らは、動的な学習環境の欠如、低いサンプル効率、統一された通信プロトコルの不在、および標準化されたフレームワークの必要性を含む、重要な未解決課題を特定しています。彼らは、複雑なオープンワールドの問題に取り組むことができる、スケーラブルで協調的なAGIシステムを実現するための基礎的なステップとしてMARFTを提案しています。

本研究は、多くの課題が残っているものの、MARFTのパラダイムが、特に分散的な推論と動的な調整を必要とする領域において、LLMベースのマルチエージェントシステムの集合知を進展させるための強力なメカニズムを提供すると結論付けています。