Robust and Safe Multi-Agent Reinforcement Learning with Communication for Autonomous Vehicles: From Simulation to Hardware

技術的サマリー：自律走行車のための通信を備えた堅牢かつ安全なマルチエージェント強化学習

問題定義
深層マルチエージェント強化学習（MARL）は、シミュレーションにおける接続型自律走行に有望な成果を示しているが、シミュレーション上の性能と実世界のハードウェア展開の間には大きな隔たりが存在する。先行研究では、しばしば瞬時かつ完全に同期したエージェント間通信を前提としており、車両間（V2V）システムに内在する遅延と非同期性を考慮していない。実用的な環境では、共有される情報は測定可能な遅延と伝送の変動性にさらされる。さらに、既存のテストベッドは、形式的な安全保証を備えたエンドツーエンドのマルチエージェントフレームワークを検証するために必要な構成要素を欠くことが多く、標準的なシミュレーションから実世界への転移技術（ドメインランダム化など）は、通信遅延、センシングの不確実性、安全クリティカルな制約という特定の複合的な課題に対処できないことが多い。

手法：RSR-RSMARL
著者は、通信制約を明示的にモデル化することでシミュレーションとハードウェアの間の隔たりを埋めるために設計されたフレームワーク、RSR-RSMARL（Robust and Safe Real-Sim-Real Multi-Agent Reinforcement Learning：堅牢かつ安全な実世界 - シミュレーション - 実世界マルチエージェント強化学習）を提案する。このアーキテクチャは、以下の 3 つの中核的構成要素からなる。

1. 通信認識型 MARL 定式化:

   • 実世界からシミュレーションへの設計: 理想的な情報交換を仮定するのではなく、このフレームワークは測定された実世界の V2V 遅延統計を直接状態表現に組み込む。
   • 遅延状態モデル: エージェントは、遅延しており、非同期である可能性のある、近隣エージェント（$N_i$）からの局所観測と共有観測を受信する。共有状態には、車載センサー（LiDAR、カメラ）から導出された補完的な知覚特徴（例：障害物の有無、車線境界）が含まれる。
   • 訓練戦略: 方策は、固定遅延モデルと時間変動遅延モデルの両方の条件下で訓練される。これにより、エージェントは時間的に整合性の取れない近隣情報に曝され、同期データに依存しない堅牢な協調戦略を学習することを強制される。

2. CBF ベースの安全シールド:

   • 訓練および展開の両方の段階で形式的な安全保証を確保するため、モジュール型の安全シールドが統合される。このシールドは、二次計画（QP）を通じて強制される制御バリア関数（CBF）を利用する。
   • メカニズム: MARL 方策によって生成された高レベルの動作は、安全シールドを通過し、低レベルコントローラに到達する前に安全でないコマンドをフィルタリングする。
   • 遅延認識型安全性: CBF 制約は、通信遅延および非同期更新によって引き起こされる状態の不確実性を考慮して、保守的に拡大される。近隣車両は、遅延が有界である動的障害物としてモデル化され、近隣の状態推定値が古くなった場合でも衝突回避を保証する。
   • コントローラ非依存性: このフレームワークは、学習定式化を変更することなく、軽量実行のための PID や、滑らかで最適化ベースの軌道のためのモデル予測制御（MPC）といった、プラグ可能な低レベルコントローラをサポートする。

3. 実世界 - シミュレーション - 実世界パイプライン:

   • このシステムは、集中訓練と分散実行（CTDE）のアプローチを採用する。方策は、測定された遅延分布を使用して CARLA シミュレータで訓練され、その後、ゼロショットで物理ハードウェアへ転送される。
   • ハードウェアプラットフォーム: 検証は、LiDAR、カメラ、IMU を搭載し、Wi-Fi 経由で通信する 1/10 スケールの F1TENTH 自律走行車隊を用いて行われる。通信遅延は、テストベッドでは 10〜20 ms として経験的に測定され、訓練ではより広範な分布からサンプリングして生産環境の変動性を模倣する。

主要な貢献

1. フレームワークの提案: 通信遅延、モデルの不確実性、状態推定誤差に対処しつつ、形式的な安全保証を維持するために、遅延認識型訓練と CBF ベースの安全シールドを統合した、実世界 - シミュレーション - 実世界の方策転送に特化した堅牢な MARL フレームワーク、RSR-RSMARL の導入。
2. 遅延モデル化戦略: 確率的遅延（固定および時間変動の両方）を MARL 学習プロセスに明示的に注入する通信認識型訓練戦略の開発。これにより、理想的な通信を仮定する段階を超え、展開前に遅延に頑健な協調を可能にする。
3. 包括的な検証: CARLA および物理ハードウェアプラットフォームにおける包括的な評価。増大する通信遅延下での構造化されたアブレーション研究を含み、安全な実世界運用のためのシミュレーション訓練済み方策の成功したゼロショット転移を実証する。

実験結果
このフレームワークは、障害物密度を変化させた 3 車線のミニチュア高速道路と 2 車線の円形高速道路という 2 つのシナリオで評価された。

• 安全性とゼロショット転移: 提案された RSR-RSMARL 変種（時間変動（TV）モデルと固定遅延（F-2）モデルの両方を使用）は、ハードウェアおよびシミュレーションの両方で、すべての障害物レベルにおいて衝突ゼロを達成した。対照的に、安全シールドなしのベースライン（RSR-MARL）または通信なし（No-Comm）のベースラインは、障害物密度の増加に伴い衝突率が増加した。
• 効率性と安全性: 時間変動遅延モデルは、いくつかのベースラインと比較してわずかに長い完了時間を示したが、衝突なしの記録を維持した。時間変動モデルは、協調効率と安定性の面で常に固定遅延モデルを上回り、確率的遅延での訓練がエージェントを実世界のジッターに対してよりよく準備することを示唆している。
• コントローラ性能: このフレームワークは、PID と MPC の両方のバックエンドで正常に動作した。MPC の統合は軌道の滑らかさをさらに向上させたが、計算コストは高くなった。
• アブレーション研究: 安全シールドを除去すると、不安定な学習ダイナミクスと著しく高い衝突率につながり、遅延モデル化だけでは安全性に不十分であることを確認した。ドメインランダム化（MARL-DR）との比較では、MARL-DR はより高い衝突率と低い効率性を示し、この特定の課題に対しては、一般的なノイズ注入よりも明示的な遅延モデル化が優れていることを示した。
• 通信の影響: 実験は、V2V 通信が反応的な安全オーバーライド（CBF 介入）の必要性を大幅に減少させることを実証し、介入率を通信なしの 18.7% から通信ありの 11.4% に低下させた。

意義と主張
本論文は、RSR-RSMARL が、シミュレーションから物理システムへの MARL ベースの協調意思決定の転送のための構造化され信頼性の高い道筋を提供すると主張する。著者は、実験的に観測された遅延統計に基づいた訓練と形式的な安全制約の強制によって、「シミュレーションから実世界へ」の重要なギャップに対処していると強調している。

この研究の意義は、ハードウェアに基づいた通信モデル化が、スケーラブルで信頼性の高いマルチエージェント自律システムにとって不可欠であることを実証している点にある。遅延認識型学習と形式的な安全強制を統合することで、このフレームワークは、現実的かつ非同期で遅延のある通信制約下でも、強力な安全性と性能のトレードオフを維持したまま、実世界のプラットフォームへのゼロショット転移を支援する。著者はこれを、堅牢で通信認識型のマルチエージェント CAV 自律の実用的な展開に向けた一歩として位置づけている。