技術概要：マルチエージェント協調のための閉ループ視覚言語計画（COMPASS）

問題定義

協調型マルチエージェント強化学習（MARL）は、サンプル効率、解釈性、および汎化において、特に複雑で部分的に観測可能な環境において、重大な課題に直面しています。大規模言語モデル（LLM）は強力な計画能力を示してきましたが、そのマルチエージェントシステムへの応用は、主に以下の 2 つの要因によって制限されています：

1. テキストのみの入力：既存の LLM ベースのエージェントは、多くの場合、テキスト観測のみに依存しており、リアルタイムの戦術的意思決定に不可欠なマルチモーダル（視覚）情報を活用できていません。
2. オープンループの限界：多くのアプローチは、エージェントが確率的環境や不完全な情報に対して動的に適応しなければならない、非マルコフ的かつ部分的に観測可能なマルチエージェントタスクの性質を十分に処理できない、オープンループ計画を利用しています。

さらに、従来の MARL 手法は、通信オーバーヘッドにより中央制御が非現実的である場合にスケーラビリティに苦しむ傾向があり、分散型アプローチは局所観測とグローバル状態の不一致に悩まされています。

手法：COMPASS フレームワーク

著者らは、視覚言語モデル（VLM）を統合して堅牢なマルチエージェント協調を可能にする、分散型かつ閉ループのフレームワークであるCOMPASSを提案します。このアーキテクチャは、相乗効果を持つ 3 つのコンポーネントから構成されます：

1. VLM ベースの閉ループプランナー

認知アーキテクチャに着想を得たプランナーは、4 つの専門的な VLM モジュールを用いて、反復的に知覚、推論、振り返り、および行動を行います：

• 知覚：マルチモーダル入力（視覚スクリーンショットとテキスト記述）を処理し、包括的な環境理解を構築します。これは、直接観測の処理と、通信プロトコルを介した協調的な情報統合の 2 つのレベルで動作します。
• タスク推論：現在の環境フィードバックとチームの目標に基づき、高レベルの目標（例：「敵ユニットをすべて撃破する」）を具体的で実行可能なサブタスクに分解します。
• 自己振り返り：実行されたスキルとタスク完了の品質を継続的に評価し、将来の意思決定を洗練させるための言語フィードバックを生成します。
• アクター：提案されたサブタスクと振り返りフィードバックに基づき、動的なスキルライブラリから最も適切なスキルを選択して実行します。

2. 適応的スキル合成

COMPASS は、戦術的行動を表す実行可能な Python コードを含む動的なスキルライブラリを利用します。このライブラリは、以下の 2 つのメカニズムを通じて進化します：

• デモンストレーションのブートストラッピング：ゼロからの非効率的な探索を回避するため、システムは専門家によるデモンストレーション動画（MAPPO により収集）を分析してスキルライブラリを初期化します。VLM は戦略的パターンを抽出し、それらを文書化された Python 関数に変換します。
• インクリメンタル合成：タスク実行中、既存のスキルが提案されたサブタスクに対して不十分な場合、VLM は新しい Python スクリプトを生成します。これらのスクリプトは、動的な優先順位付けのための score_target(unit) と、行動の調整のための control_logic() を備えた構造化されたインターフェースに従います。システムは、自己振り返りと実行結果に基づき、これらのスキルを継続的に洗練させます。

3. 構造化された通信プロトコル

制約のない自然言語通信に共通する幻覚を誘発することなく部分的観測性に対処するため、COMPASS は構造化されたエンティティベースのプロトコルを実装します：

• マルチホップ伝播：エージェントは、グローバルメモリを通じてエンティティ（味方および敵）の局所観測を共有します。情報は中間の味方（マルチホップ）を介して伝播し、エージェントが直接の視野範囲外のエンティティの状況と位置を推論することを可能にします。
• グローバルメモリ：すべてのエージェントがアクセス可能な共有リポジトリであり、分散実行にもかかわらず、環境の一貫した全体像の構築を可能にします。

主要な貢献

1. 分散型閉ループ計画：中央集権的な計画やオープンループ実行に依存することが多い従来の LLM ベースのマルチエージェント研究とは異なり、COMPASS は、VLM がリアルタイムの視覚およびテキストフィードバックに基づいて戦略を継続的に適応させる、完全な分散型閉ループシステムを実装します。
2. コードとしてのポリシーと動的ライブラリ：このフレームワークは、固定されたプリミティブなアクションを超えて、実行可能な Python コード（スキル）をオンザフライで生成・洗練させます。このアプローチは解釈性を高め、再利用可能な戦術的知識の蓄積を可能にします。
3. 構造化されたエンティティベースの通信：本論文は、意味のない雑談や幻覚のリスクを軽減する通信プロトコルを提案します。これは、エンティティ情報の構造化されたマルチホップ伝播に焦点を当てることで、部分的観測性の課題を効果的に解決します。
4. 専門家データからのブートストラッピング：この手法は、オフラインの専門家デモンストレーションから複雑なスキルライブラリを初期化する方法を実証し、実行可能な戦略を発見するために必要なサンプル複雑性を大幅に削減します。

実験結果

このフレームワークは、元の SMAC に比べて複雑性と部分的観測性が増したSMACv2（StarCraft Multi-Agent Challenge v2）ベンチマークで評価されました。

• 性能：COMPASS は、対称的なプロトス 5 対 5 シナリオにおいて、QMIX、MAPPO、HAPPO、HASAC、MAT を含む最先端の MARL ベンチマークを大幅に上回り、QMIX の 27% に対して57% の勝利率を達成しました（30 ポイントの優位性）。
• 堅牢性：システムはテランシナリオで中程度の性能を維持し、非対称（5 対 6）の設定を効果的に処理しました。これは、数的不利を補うためのスキルライブラリと通信プロトコルの有用性を示しています。
• 限界：性能はゼルグシナリオ（勝利率 16%）に限られており、特にバンリングやゼルグリングなどのスウォームユニットに対する戦術において顕著でした。著者らは、これを VLM のクエリ頻度（10〜20 ステップごと）と、近接戦のスウォーム協調に必要な 1 秒未満の戦術的ウィンドウとのミスマッチに起因すると指摘しています。
• アブレーション研究：
  • 通信：マルチホップ通信を除去すると、勝利率が劇的に低下しました（57% から 6%）。これは、部分的観測性におけるその決定的な役割を浮き彫りにしています。
  • 視覚入力：画像入力を省略すると、性能が 10% 低下しました。これは、空間理解のための視覚的グラウンディングの必要性を確認するものです。
  • 自己振り返り：自己振り返りモジュールを除去すると、性能が 10% 低下しました。
  • ブートストラッピング：初期化されたスキルライブラリのみを使用（インクリメンタル合成なし）すると、無視できない性能が得られましたが、完全な COMPASS システムよりも大幅に低く、動的なスキル進化の必要性を検証しました。

意義と主張

本論文は、部分的観測性下での協調型マルチエージェント制御のために、解釈可能な戦術的行動を生成する手段として視覚言語モデル（VLM）を使用する viability（実現可能性）を COMPASS が実証していると主張しています。構造化された通信と閉ループフィードバックと統合された場合、VLM はコードベースの戦略を効果的に合成・洗練できることを確立しています。

ただし、著者らはこれらの知見の範囲については控えめです。VLM の推論遅延により、現在の手法はゼルグのスウォームメカニクスなど、迅速かつ連続的な反応制御を必要とするドメインには不適切であることを明確に認めています。論文は、VLM ベースの計画が、戦略的協調が支配的であり、行動が複数のステップにわたって有効であるシナリオで最も有利であると仮定しています。今後の研究としては、推論遅延の削減、または高頻度の決定を学習した反応的ポリシーに委譲しつつ、戦略的監督のために VLM を留保するハイブリッドアーキテクチャの開発に焦点を当てるべきであると提案されています。