MTA-RL: Robust Urban Driving via Multi-modal Transformer-based 3D Affordances and Reinforcement Learning

技術概要：MTA-RL

問題定義
堅牢な都市型自動運転には、高密度かつ動的な相互作用下での信頼性の高い 3 次元シーン理解と安定した意思決定が不可欠である。既存のアプローチは二極化している：モジュール化されたパイプラインは解釈可能性を提供するが、脆弱なインターフェースを介した誤差の伝播に悩まされる一方、エンドツーエンドの学習モデルは解釈可能性に欠け、高次元の生観測データを処理する際のサンプル効率に苦慮する傾向がある。さらに、既存の affordance（行動可能性）学習手法は通常、単眼カメラ入力を依存しており、表現を 2 次元画像平面に制限し、幾何学的な表現力を制限することで、複雑な交通状況において不安定な方策をもたらす。加えて、純粋なエンドツーエンド強化学習（RL）は明示的な空間推論を欠くことが多く、失敗分析を困難にし、新規環境における安全性の保証を困難にする。

手法
本論文は、マルチモーダル・トランスフォーマーに基づく 3 次元 affordance と強化学習を結合することで、知覚と制御を橋渡しする統合フレームワーク「MTA-RL」を提案する。このアーキテクチャは主に 2 つの段階で構成される：

1. トランスフォーマーベースのマルチモーダル Affordance 予測：

   • 入力融合： システムは異種センサー入力を融合する。前方を向く RGB カメラ 3 台（信号機や歩行者などの意味論的手がかりを提供）と、LiDAR 点群（正確な幾何学的測定値を提供）である。
   • アーキテクチャ： トランスフォーマーベースの融合ネットワークが、これら入力を鳥瞰図（BEV）空間で処理する。RGB 画像は ResNet-34 バックボーンを介して処理され、LiDAR 点は 32m × 32m の BEV グリッド上に投影される。
   • 出力： ネットワークは構造化され幾何学的に意識された3 次元 affordanceを予測する。これらは以下のように分類される：
     • 離散 Affordance： 交通規則や安全性に関するカテゴリ予測（例：赤信号、一時停止標識、危険による停止）。
     • 連続 Affordance： 幾何学的関係に関する回帰予測（例：横方向距離、相対角度、先行車、信号機、一時停止標識、歩行者までの距離）。
   • これらの affordance は、コンパクトで意味的に構造化された潜在ベクトルを形成し、観測空間として機能する。

2. 知覚誘導型強化学習（SAC）：

   • 方策： ソフト・アクター・クリティック（SAC）エージェントは、生センサーデータではなく、予測された affordance と自車状態のみに基づいて動作する。
   • 行動空間： 操舵と縦方向コマンド（スロットル/ブレーキ）のための連続制御出力。
   • 報酬設計： 報酬関数は、車線維持、速度追従、制御の滑らかさ、経路の進捗、そして重要なのは交通規則の遵守という複数の目的を最適化するように密に設計されている。規則遵守項は、制約（信号機、標識）付近での遅延ブレーキを明示的に罰し、完全な停止を報酬することで、安全境界への厳格な順守を確保する。
   • 終了： エピソードは、安全性違反（衝突、規則違反）または進捗の欠如で終了し、これらの事象に対して特定のペナルティが定義される。

主な貢献

• 3 次元 BEV Affordance 予測： 著者は、BEV 空間で直接コンパクトかつ幾何学的に意識された affordance を予測するための、明示的な制約までの距離ヘッドを備えた最初のトランスフォーマーベースのマルチモーダルアーキテクチャを提案する。これにより、カメラのみの手法の 2 次元の限界を克服する。
• 構造化された Affordance 上での RL： このフレームワークにより、RL 方策学習が予測された運転意味論のみに基づいて動作することが可能になる。この分離により、生センサー入力に比べてサンプル効率、安定性、解釈可能性を向上させる構造化された観測空間が提供される。
• 堅牢な性能： 広範な評価により、MTA-RL が多様な都市町並みと交通密度において、affordance 予測精度と運転性能の両方で最先端のベースラインを一貫して上回ることが示された。

実験結果
評価は、CARLA シミュレーター内で、交通密度（背景車両 20〜60 台）が異なる Town01、Town02、Town03 において行われた。

• Affordance 予測： MTA-RL はベースライン（DeepDriving、CAL、Affordance-RL）と比較して優れた精度を達成した。カテゴリタスク（例：赤信号）において最も高い交差率（IoU：99.13%）を達成し、連続距離予測（例：対象車両までの距離 0.011m）において最も低い平均絶対誤差（MAE）を記録した。信号機、一時停止標識、歩行者までの距離を信頼性高く推定できた唯一の手法であった。
• 運転性能：
  • 汎化性： Town03 のみで訓練されたモデルは、Town01 および Town02 への強力なゼロショット汎化を示した。
  • 指標： 高密度交通（60 台）において、MTA-RL はすべての町で最も高い経路完了率（RC）と総走行距離（TD）を達成した。例えば、Town01 では、VLM-RL の 0.630 や Roach の 0.599 に対し、0.764 の RC を達成した。
  • 安全性： この手法は安全性指標において顕著な改善を示し、特定のシナリオではベースラインと比較して違反あたりの走行距離（DPV）で 83.7% の改善を達成した。衝突速度が低く、DPV が高い状態を維持しており、違反の頻度と重大性の両方が低いことを示している。
• アブレーション研究：
  • マルチモーダル融合： トランスフォーマーを幾何学的融合に置き換えたり、明示的な LiDAR 幾何学を除去したり（Latent TransFuser）すると、affordance 予測が劣化し、アテンションベースのマルチモーダル融合と明示的な幾何学的入力の必要性が確認された。
  • 報酬設計： 密な交通規則に基づく報酬設計を除去し、スパースな終了ペナルティのみに依存すると、収束が遅くなり、RC、TD、DPV が低下した。これは、方策の洗練における中間フィードバックの決定的な役割を浮き彫りにしている。

意義
本論文は、MTA-RL が都市型自動運転においてエンドツーエンド学習とモジュール化設計の間の原理的なバランスを提供すると主張している。マルチモーダル 3 次元 affordance を中間表現として使用することで、このフレームワークは知覚と制御の分離に成功している。このアプローチは、解釈可能性と堅牢性を高めながら、RL 方策が明示的な空間推論と交通規則を活用することを可能にする。結果は、この構造化された表現が、高度に相互作用し不確実な都市環境において、安定した、安全で、効率的な意思決定を達成するために不可欠であることを示唆しており、従来のモジュール化パイプラインと生のエンドツーエンド RL の両方の限界を克服している。