Multistep Belief Space Dynamics Learning For Risk-Aware Control

技術的概要：リスク認識制御のための多段階信念空間ダイナミクス学習

問題定義
自律走行車が制御された研究環境から実用的な実世界への展開へ移行するにつれ、特に非構造化のオフロード環境において、人間の運転行動と自律システムの性能の間に大きな隔たりが存在します。現在の計画および制御システムは、動的な不確実性に直面してしばしば苦戦し、過度に保守的な行動か、あるいは攻撃的な失敗のいずれかをもたらします。核心的な課題は、時間経過に伴う動的な不確実性の進化を予測し、過度なヒューリスティックや手動チューニングに依存することなく、この進化を考慮した計画を最適化することです。モデル予測経路積分（MPPI）制御などのサンプリングベースの既存手法は、しばしば堅牢な不確実性の伝播を欠いたり、多様な地形や条件における汎化に失敗したりします。

手法
著者らは、学習された分布ダイナミクスモデルを統合したモデル予測制御（MPC）に基づくリスク認識計画アーキテクチャを提案します。このアプローチは、既知の物理法則に基づくパラメトリックな物理方程式とニューラルネットワーク成分を組み合わせ、ハイブリッドアーキテクチャを構築します。

• 分布ダイナミクス学習: システムは、不確実性をガウス分布として表現する離散時間非線形システムとして車両ダイナミクスをモデル化します。ダイナミクスは、既知の物理（タイヤモデルや運動学など）に基づくパラメトリック関数 $\hat{f}$ に、学習された補正項 $\zeta$（ニューラルネットワーク）を付加することで近似されます。

  • 平均予測: 平均ダイナミクスは、幾何学的変換を活用し精度を向上させるため、状態空間ではなく力空間で予測されます。ハイブリッドアーキテクチャは、初期化ネットワークが履歴バッファに基づいて予測ネットワークの隠れ状態とセル状態を予測する、初期化 LSTM（I-LSTM）を使用します。
  • 不確実性の伝播: 過程ノイズ行列 $\hat{Q}$ は、構造化されたアプローチを用いて予測されます。これは、パラメトリック方程式とヤコビアンから導出される構造化成分と、上三角行列として予測される非構造化成分に分割されます。これにより、学習された不確実性が変数間の物理的関係を尊重することが保証されます。
  • クローズドループ近似: 軌道の終端で不確実性が過度に大きくなること（オープンループ予測における一般的な問題）を防ぐため、システムはランタイム中に状態ヤコビアンにフィードバックゲインを適用し、ヘウリスティックにクローズドループの不確実性低減を近似します。

• 制御アーキテクチャ（MPPI）: 計画スタックは、サンプリングベースの確率的オプティマイザであるカラー MPPI を利用します。

  • アンセンテッド変換: モンテカルロサンプリングのオーバーヘッドなしに非線形コスト関数を処理するため、システムはアンセンテッド変換（UT）を採用します。これは、ガウス信念状態からシグマ点を生成し、これらを並列にダイナミクスおよびコスト関数を通じて GPU 上で伝播させます。
  • リスク尺度: 軌道のコストは、単に平均値ではなく、条件付きバリュー・アット・リスク（CVaR）またはシグマ点の最大コストを用いて評価されます。これにより、システムは高リスクな結果を直接罰則化できます。
  • コスト関数: コスト関数には、グリッドセルベースの通行可能性コスト、物理ベースの制約（転覆リスク、サスペンション力など）、攻撃的な行動（スリップ、加速度）に対するソフトペナルティ、および地形幾何学から導出された速度制限が含まれます。

主要な貢献

1. 新規フレームワーク: パラメトリック構造とニューラルネットワーク補正を組み合わせ、一般非線形システムにおける分布ダイナミクスを学習するための計算効率的なフレームワーク。
2. 厳密なアブレーション研究: 実世界のオフロード運転データの大規模データセットにおける包括的な分析。この研究は、構造的な選択（力空間予測、ハイブリッドノイズモデリング、初期化ネットワークなど）の影響を評価し、構造化された学習が、純粋に学習されたアプローチや非構造化アプローチを大幅に上回ることを実証しています。
3. ハードウェア検証: 学習されたモデルと計画スタックをフルサイズの Polaris S4 1000 RZR 車両への展開。システムは、介入なしに多様で困難なオフロード地形を数マイルにわたって走行し成功し、文脈を認識した創発的行動を実証しました。

結果

• アブレーションの知見: 研究により、力空間でダイナミクスを予測し、過程ノイズにパラメトリックヤコビアンと学習コンポーネントを組み合わせるハイブリッド構造を使用することが、最良の性能をもたらすことが明らかになりました。また、履歴コンテキストに基づいて LSTM の隠れ状態を初期化することが平均予測精度を大幅に向上させることが判明しましたが、初期化ネットワークの具体的なサイズの影響は最小限でした。
• ハードウェア性能: 車両は、開放域では攻撃的に走行し、制約のある環境や不確実な環境では減速する、知的な速度制御を実証しました。
  • 長距離走行: システムは、密な植生、溝、斜面など多様な地形に適応しながら、約 8.7 分で 3.5km の走行を完了し、平均速度 6.2 m/s を達成しました。
  • ケーススタディ: 木々と溝の間の狭い隙間を通過するなどの特定のシナリオにおいて、不確実性を認識した計画器は、車両を減速させ、不確実性楕円が隙間を通るように調整し、従来のヒューリスティックベースのシステムで発生していた転覆を防ぎました。一方、開けた泥地では、リスクペナルティが単なる不確実性の存在ではなく、障害物との衝突に結びついているため、システムは高い速度を維持し、スライドから停止することなく回復しました。
  • リスクチューニング: 実験により、不確実性インフレーションパラメータ（$c_\sigma$）のチューニングが攻撃性に直接影響することが示されました。$c_\sigma$ を低く設定すると、トレイル上での平均速度が 9.5 m/s から 10.75 m/s に向上し、単一のパラメータに基づいてリスクと速度をトレードオフするシステムの能力を実証しました。

重要性
本論文は、提案されたアーキテクチャが、環境固有の再チューニングや明示的なモード切り替えを必要とせず、多様なオフロード運転を数マイルにわたって処理できる単一の統合されたセットアップを提供すると主張しています。制御制約に特化した方向性を持つ分布ダイナミクスを学習することにより、システムは、環境の複雑さに基づいて自然に速度を調節する、人間の運転を模倣したレベルのリスク認識行動を達成します。この研究は、原理的な近似（物理ベースの制約）と学習された不確実性を組み合わせることで、実世界のノイズや複雑さに対する堅牢な汎化が可能になることを浮き彫りにしており、災害対応、農業、および宇宙探査における自律システムの展開に向けた重要な一歩です。