技術要約: CrazyMARL

問題提起

ケーブルで吊り下げられたペイロードの、UAV（無人航空機）チームによる協調的な搬送は、ペイロード容量の増加や不規則な荷重への適応において大きな可能性を秘めています。しかし、このようなシステムの制御は、複雑な振り子力学、張力の結合、および「弛み（slack）」と「張り（taut）」のケーブルモード間の遷移により、困難を伴います。既存の制御戦略には以下の具体的な限界があります：

• モデルベースのアプローチは、多くの場合、ケーブルに対して剛体棒の仮定に依存しており、これはハイブリッド力学（弛み・張りの遷移）を捉えることができず、機敏性を制限します。中央集権的な手法はスケーラビリティのボトルネックと単一障害点の問題を抱え、分散型のモデルベースコントローラは性能保証に欠けるか、反復的な通信に苦慮する場合があります。
• 強化学習（RL）アプローチは、単一エージェントのシナリオや一部のマルチエージェント・タスクにおいて有望であることを示していますが、マルチUAVによるペイロード搬送に関する先行研究の多くは、剛体リンクの仮定に基づいているか、通信オーバーヘッドを必要とする中央集権的学習・分散実行（CTDE）アーキテクチャに依存しています。
• ハードウェアの制約： 既存の手法の多くは、リソース制約のあるオンボードマイクロコントローラ（例：Crazyflie 2.1）上で動作する複数のロボットの制御、特に低推力重量比によってモーター飽和に近い状態での運用が一般的となる状況に対処していません。

手法

著者らは、現実的なケーブル力学を備えた協調的な空中搬送のために設計された、分散型マルチエージェント強化学習（MARL）フレームワークであるCrazyMARLを提案しています。

1. フレームワークとアーキテクチャ

• アルゴリズム： システムは、パラメータ共有を用いた**独立型近接方策最適化（IPPO）**を利用しています。これは完全に分散型の実行レジメンに従っており、各エージェントはロボット間の通信なしに、ローカルな観測に基づいて行動するため、スケーラビリティのボトルネックを回避できます。
• 学習パイプライン： 学習は、GPU上のJAXおよびMuJoCo MJXを用いてエンドツーエンドで行われ、数千の並列環境を可能にします。この高スループットなセットアップにより、短時間での広範なドメインランダム化（DR）が可能になります（70分間で20億ステップ）。
• 観測空間： 各エージェント $i$ は、以下の内容を含むローカルな観測 $o^i_t$ を受け取ります：
  • ペイロードのエラー ($e^P_t$) および速度 ($v^P_t$)。
  • エージェントの相対位置 ($\delta^i_t$)、方位 ($\vec{R}^i_t$)、および速度 ($v^i_t, \omega^i_t$)。
  • エージェントの前回の行動 ($a^i_{t-1}$)。
  • 協調のためのチームメイトの相対位置 ($\{\delta^j_t\}_{j \neq i}$)。
• 行動空間： エージェントは、250 Hzでの**パルス幅変調（PWM）**デューティサイクルに直接マッピングされる正規化されたモーターコマンドを出力します。この方策は、低レベルの階層型コントローラ（PIDやスラストミキシングなど）をバイパスし、物理的限界付近で効果的に動作するために、モーター駆動へ直接マッピングされます。

2. シミュレーションと力学

• ハイブリッドケーブルモデル： 剛体棒を使用する先行研究とは異なり、本シミュレーションではMujocoのテンドン（tendon）を用いて、張っている時のみ張力を及ぼし、弛んでいる時はゼロの力を及ぼすケーブルをモデル化しています。これにより、機敏な操縦に不可欠なハイブリッドな弛み・張りの遷移を捉えることができます。
• ドメインランダム化（DR）： シム・トゥ・リアル（Sim-to-Real）転送を確実にするため、学習には以下のランダム化を組み込んでいます：
  • 初期状態（グラウンドスタートや弛んだケーブルを含む）。
  • アクチュエータパラメータ（推力上限、時定数、モーターオフセット）。
  • 観測ノイズおよび確率的な外部摂動（風、押し出し）。
  • 目標位置。

3. 報酬設計

モジュール化された複合報酬関数 $r = r_{track} \cdot r_{stable} + r_{safe}$ が使用されます：

• トラッキング ($r_{track}$): ペイロードのエラーを最小化し、ペイロードの速度を目標に合わせます。
• 安定性 ($r_{stable}$): 過度な揺れ、傾き、および速度にペナルティを課し、ケーブルが張っている状態を促進します。
• 安全性 ($r_{safe}$): 滑らかな動作、バランスの取れたモーター推力、および衝突回避を促進します。
  報酬項は勾配を滑らかにし、エージェントがエピソードを早期終了させる学習をすることを防ぐために [0, 1] に制限されています。

主な貢献

1. エンドツーエンドの分散制御： リソース制約のあるプラットフォーム（Crazyflie 2.1など）向けに特別に設計された、低レベルの階層構造なしに直接モーターPWMコマンドを出力する、マルチUAVによるケーブル吊り下げ搬送のための初の完全分散型MARL方策のデモンストレーション。
2. ハイブリッドケーブル力学： 本フレームワークは、ケーブルの弛みと張りのモード間の遷移を明示的にモデル化し、制御することを学習します。これは、通常は剛体リンクを想定していたマルチUAVの文脈において、これまで対処されていなかった能力です。
3. ゼロショット・シム・トゥ・リアル転送： 微調整なしに、学習された方策を実機（Crazyflie 2.1）に展開することに成功し、風、外部からの押し出し、および過酷な初期条件に対する堅牢性を実証しました。
4. 高スループット学習パイプライン： 複雑なマルチロボット方策を数分で学習させる、GPU並列化されたJAX/MJXパイプラインにより、従来のメソッドと比較してイテレーションサイクルを大幅に加速させました。

実験結果

シミュレーション

• 摂動除去: 過酷なリカバリシナリオ（ランダム化された初期状態、グラウンドスタートや弛んだケーブルを含む）において、CrazyMARL方策は80%のリカバリ率（1000試行中797回）を達成し、ベースラインのモデルベースコントローラ（成功率44%）を大幅に上回りました。
• 機敏性: 学習された方策は、ベースラインの0.27 m/sに対し、平均速度0.58 m/sを維持し、ペイロードの揺れをより速く減衰させ、より直接的な軌道を描きました。
• 汎用性: 方策はケーブル長、ペイロード質量、および観測ノイズの変化に対して良好に一般化されましたが、非常に長いケーブル（>1m）や極端なノイズスケールでは性能が低下しました。
• スケーラビリティ: システムは1台から3台のクアッドトローへ正常にスケールしました。6台のチームでは協調の限界（早期終了）が見られましたが、フレームワークは小規模なチームにおいて効果的な負荷共有とリカバリを実証しました。

ハードウェア（実世界）

• プラットフォーム: 10gのペイロードを運ぶ2台のCrazyflie 2.1 クアッドトローに展開。
• 性能: システムは自律的な離陸を実行し、平均3.5 m/sの風速下でも安定した飛行を維持しました。
• 精度: 方策は、風下での位置保持RMSEを0.077 mに維持しました（穏やかな条件下での0.064 mのRMSEからわずかな増加）。
• 堅牢性: ロボットは強い外部からの押し出しから回復し、ペイロードを伴うフィギュアエイト（8の字）軌道を維持することに成功しました。これらはベースラインのコントローラでは達成できなかった能力です。

意義と主張

本論文は、CrazyMARLが、非構造化環境における協調的な空中操作のためのスケーラブルでレジリエントなソリューションを提供することを主張しています。分散実行、直接的なモーター制御、および現実的なハイブリッドケーブル力学を組み合わせることで、本研究は、UAVチームが物理的な駆動限界付近で動作することを可能にし、摂動を排除することを実現しています。著者らは、これを、モデルの不正確さや通信オーバーヘッドのために従来のモデルベースコントローラが苦戦する、複雑なペイロードミッションを実行可能な自律的チームへの一歩として位置付けています。低推力重量比のロボットを用いたゼロショットでの実機転送の成功は、高周波のエンドツーエンドRL方策の現実世界における実用的な妥当性を強調しています。