技術要約: CRAFT – 基盤モデルを用いたマルチロボット協調タスクのための自律的コーチング強化学習

1. 問題の定式化

本論文は、実世界のマルチロボット協調タスクにマルチエージェント強化学習（MARL）を適用する際の課題に取り組んでいる。MARLは分散型の意思決定フレームワークを提供するものであるが、ロボティクスへの適用においては以下の点によって阻害されている：

• 高次元の連続的な結合アクション空間。
• 希薄かつ複雑な報酬設計： 個々の行動と必要なチーム協調の両方を捉える報酬を定義することは困難である。
• 非定常性： エージェントが並行して学習することで、互いにとって変化し続ける環境を作り出してしまう。
• 長期ホライゾン・タスク： 複数の段階にわたる接触を伴う行動を必要とするタスクでは、初期の相互作用における小さなエラーが後の成功を妨げるため、失敗することが多い。

著者らは、人間が「コーチング」を通じて複雑な協調を学習することを提唱している。コーチングとは、カリキュラム設計（タスクのサブタスクへの分解）、学習シグナルの提供（報酬）、および進捗の評価を含むプロセスである。彼らは、基盤モデル（大規模言語モデル - LLM および ビジョン言語モデル - VLM）が、タスクの分解、報酬の生成、および視覚的・定量的フィードバックに基づく報酬の洗練を行うことで、このコーチングの役割を自動化できると主張している。

2. メソドロジー：CRAFT フレームワーク

CRAFT (Coaching Reinforcement learning Autonomously using Foundation models for learning coordination Tasks) は、以下の4つの主要モジュールからなる自動化されたコーチングループとして機能する：

2.1 カリキュラム生成モジュール

Curriculum LLM が、長期ホライゾンの目標タスク ($M_{target}$) を一連の $K$ 個のサブタスク ($M_1, \dots, M_K$) に分解する。

• プロセス： LLMはタスクと環境の自然言語による記述を受け取る。LLMの出力の確率性を軽減するため、システムは複数の候補カリキュラムを生成し、それらを単一の整合性のあるカリキュラムへと洗練させるようLLMに促す。
• グラウンディング： 精密な報酬設計を確実にするため、サブタスクは曖昧な自然言語ではなく、特定の環境状態変数（例：「ハンドルへのユークリッド距離を最小化する」）を用いて記述される。

2.2 報酬関数生成モジュール

各サブタスク $M_k$ に対して、Reward Generation LLM が自然言語による記述を、実行可能なPython報酬関数 ($R_k$) へと翻訳する。

• コンテキスト： LLMには、環境の説明、高次元の状態を処理するためのヘルパー関数、および破滅的な忘却を防ぐための前回のサブタスクからの報酬関数が提供される。
• 構造： 報酬は、後の分析を容易にするために、解釈可能なコンポーネント（例：lift_reward、balance_reward）に分解される。
• トレーニング： 分散型ポリシー $\pi_k$ は、中央集中型学習・分散実行（CTDE）アルゴリズム（具体的にはMAPPO）を用いて訓練される。

2.3 ポリシー評価モジュール

次のサブタスクに進む前に、Evaluation VLM が訓練されたポリシー $\pi_k$ を評価する。

• 入力： VLMはロールアウト画像（視覚的なスナップショット）と状態変数の軌跡を分析する。
• 決定： VLMは、ポリシーがサブタスクを正常に完了したかどうかを判断する。
  • 成功： カリキュラムは $M_{k+1}$ へと進行する。
  • 失敗： VLMは失敗の理由を提示し、洗練ループをトリガーする。

2.4 報酬洗練モジュール

ポリシーが失敗した場合、システムは洗練ループ（通常 $J=3$ 回のイテレーション）に入る：

1. アドバイス生成： Advice VLM は、失敗の理由、現在の報酬コード、および報酬コンポーネントの学習曲線（特定の報酬項が訓練中にどのように進化したかを示すプロット）を分析する。そして、報酬をどのように修正すべきかに関する自由形式のアドバイス（例：「リフト項の重みを増やす」「高度の二乗項を削除する」など）を生成する。
2. 報酬の洗練： Refine LLM は、失敗した報酬コードとVLMのアドバイスを受け取り、新しい、洗練された報酬関数 ($R^{j+1}_k$) を生成する。
3. 再訓練： ポリシーは新しい報酬を用いて再訓練される。すべての試行が失敗した場合、イテレーションにおける最良のポリシーが選択され、カリキュラムは次のサブタスクへと進む。

ウォームスタート（Warm-Starting）： 新しいサブタスクに移行する際、ポリシーの重みは前のサブタスクの成功したポリシーから初期化される。「可塑性の喪失」（局所最適解への収束）を防ぐため、システムはアクターの重みを保持しつつ、探索パラメータ（ポリシーの標準偏差）と価値ネットワークの重みをリセットする。

3. 主な貢献

1. CRAFT フレームワーク： 基盤モデルの推論能力を活用して、長期ホライゾンの協調タスクを通じてマルチロボットチームを自律的にコーチングする新しいフレームワーク。
2. 自動化されたカリキュラムおよび報酬設計： タスク分解のためのLLMと、視覚的評価および報酬洗練のためのVLMを統合することで、人間によるカリキュラム設計や報酬関数の設計の必要性を低減させた。
3. 実証的検証： 標準的なMARLやベースラインのLLM手法が失敗する複雑なマルチロボットタスク（マルチクアッドペデ・ナビゲーションおよびバイマニュアル操作）において、CRAFTの有効性を実証した。
4. 実世界への転移： 学習されたポリシーを、ファインチューニングなしでシミュレーションから物理ハードウェア（Unitree Go1 および Go2 クアッドペデ）へゼロショット転移することに成功した。

4. 実験結果

著者らは、CRAFTを3つの環境、Quadruped Gate（狭いゲートの通過）、Quadruped Seesaw（バランスと登攀）、Two-Arm Lift（協力的なポットのリフト）で評価した。

• ベースラインとの性能比較：
  • CRAFT は、Seesaw（59.33%）とLift（94.67%）において最高の成功率を達成し、Gate（78.33%）においても競争力のある結果を示した。
  • ベースライン： 「Env Reward」（人間が設計したもの）および「Example Reward」は、成功率がほぼゼロまたは極めて低い結果となった。「From Scratch」（カリキュラムなしのCRAFT報酬）は、CRAFTよりも大幅に性能が悪く、カリキュラムの必要性を浮き彫りにした。
  • LLM ベースライン： Eureka（カリキュラムなしのLLM報酬探索）および CurricuLLM（VLMによる洗練なしのLLMカリキュラム）と比較して、CRAFTは両者を上回った。Eurekaはしばしば、物理的に不自然な関節構成を持つポリシーを学習したが、CurricuLLMは報酬の洗練を欠いているため、信頼性が低いという課題があった。
• 報酬洗練の有効性： VLMによるガイド付きの洗練ループは、CurricuLLMと比較して、「カリキュラム成功率」（成功したポリシーに至った試行の割合）および「最大成功率」を有意に向上させた。
• VLMの信頼性： VLMのポリシー評価モジュールは、グラウンドトゥルースに対して85.71%の精度を達成した。エラーは保守的な偽陰性（成功したポリシーを拒絶すること）であり、これはさらなる洗練をトリガーするだけなので許容可能である。
• ハードウェア転移： Quadruped Gateタスクにおいて、シミュレーションで訓練されたポリシーは、ファインチューニングなしで、実機ロボットによる20回の試行において65%の成功率を達成し、堅牢なSim-to-Real転移を実証した。

5. 意義と主張

本論文は、CRAFTが基盤モデルをマルチロボットシステムの自律的なコーチとして利用する実行可能性を示していると主張している。その意義は以下の点にある：

• 人間の介入の削減： 複雑な協調タスクのためのカリキュラムや報酬関数の設計という、退屈なプロセスを自動化する。
• 複雑な協調の実現： 直接的な訓練や静的な報酬設計では獲得が困難な行動（特に長期ホライゾンで接触を伴うシナリオにおける、安定した把握の前に安定した動作を行うといった挙動）の学習に成功した。
• 物理的な妥当性： 段階的なカリキュラムアプローチは、エージェントを（Eurekaのような直接的な最適化手法で見られるような）終端の成功のみを目的とした不自然な動きではなく、物理的に実現可能な行動（例：持ち上げる前の安定した把握）へと導く。

認められた限界事項：

• 確率性： 基盤モデルへの依存は変動性を導入する。カリキュラムや報酬生成の不備により一部の試行が失敗する場合があるが、シミュレーションにおいて複数回の試行を行うことで対処可能である。
• VLMへの依存： 評価モジュールは、純粋に視覚的な情報よりも数値的な状態軌跡に大きく依存しており、視覚的に根ざした失敗（例：空間的な協調の欠如）の検出を制限する可能性がある。
• スケーラビリティ： 現在のアプローチは、サブタスクごとに複数のLLM/VLMクエリを必要とするため、計算コストが高くなる可能性がある。ただし、著者らはテストされたタスクには十分であると述べている。

著者らは、基盤モデルは確率性を導入するものの、タスクを分解し報酬を自律的に洗練する能力は、実世界の環境におけるスケーラブルで信頼性の高いマルチロボット協調への有望な道筋を提供すると結論付けている。