技術要約: Shield-Loco

問題提起

強化学習（RL）ポリシーは、所望の接地位置から低レベルの関節コマンドへのマッピングを通じて、動的な脚式移動を実現することに成功しています。しかし、これらのポリシーには、学習時に存在しなかった環境制約（障害物など）に遭遇した際に、安全性の違反を防ぐための能動的なメカニズムが欠けています。大規模なオフラインでの安全学習は、あらゆるエッジケースをカバーするには非現実的ですが、既存の安全性フレームワークには以下のような重大な限界があります。

• 低次モデルへの依存: Control Barrier Functions (CBF) などの手法は、簡略化されたモデルに依存することが多く、全身の挙動を推論できないため、モデル化されていない接触力学の下で失敗を招きます。
• 保守的なリカバリ: Model Predictive Shielding (MPS) や Hamilton-Jacobi (HJ) reachability アプローチは、タスクのパフォーマンスを犠牲にする保守的なリカバリコントローラを採用するか、複雑なシナリオでは機能しない手作業による証明書を必要とします。
• スケーラビリティ: HJ reachability は状態次元に対して指数関数的にスケールするため、全身脚式モデルへの適用は困難です。

核心となる課題は、RLポリシーの再学習を必要とせず、かつタスクのパフォーマンスを低下させることなく、いかに介入して安全性を確保するかという点にあります。

手法

著者らは、接触条件付きRLポリシーに入力される接地位置に対して後処理として動作する予測的安全性フィルタである Shield-Loco を提案しています。鍵となる洞察は、足の接地位置が、オンライン最適化において扱いやすい形態を保ちつつ、全身の衝突回避を強制するために十分な運動学的抽象化として機能するという点です。

フレームワークの概要

各制御ステップにおいて、フィルタはハイレベルプランナーから所望の接地位置のシーケンスを受け取ります。フィルタは、フル物理シミュレータ（MuJoCo）と凍結されたRLポリシーを用いてフォワードロールアウトを実行し、将来の状態を予測します。

1. 予測: receding horizon 内に安全性の違反が予測されない場合、所望の接地位置がポリシーに渡されます。
2. 介入: 違反が予測された場合、サンプリングベースの最適化器が、安全制約を満たしながら有限ホライゾン・リターンを最大化する代替の接地シーケンスを探索します。
3. 実行: 最適化された最初の接地位置がRLポリシーに送られ、関節トルクが生成されます。このプロセスは非同期的に繰り返され、最適化器が低い周波数（3 Hz）で動作する場合でも、低レベルポリシーが高速な周波数（50 Hz）で動作できるように設計されています。

最適化定式化

介入が必要な場合、フィルタは以下の最適化問題を解きます：
$$\max_{p_{0}, \dots, p_{H-1}} \mathbb{E} \left[ \sum_{t=0}^{H-1} \gamma^t r(s_t, a_t) + \gamma^H V(s_H) \right]$$
制約条件 $g(s_t, p_t) \leq 0$（ここで $a_t = \pi(s_t, p_t)$ および $s_{t+1} = f(s_t, a_t)$）の下で。

• 報酬 ($r$): タスクのパフォーマンス（例：所望の接地追従、エネルギー効率）をエンコードします。
• 価値関数 ($V$): 学習された価値関数は、最適化器によって収集された軌跡に対してTD学習を用いてオフラインで学習され、長期ホライゾンのリターンをブートストラップします。
• 安全制約 ($g$):
  • 足の接地ペナルティ: 足と障害物の間の符号付き距離関数（SDF）に基づくソフトペナルティ。
  • 全身衝突: MuJoCoの接触データを通じて検出される、ロボットのリンクと障害物の接触に対する大きなペナルティ。

計算可能性のためのアルゴリズム構成要素

不連続な接触ランドスケープにおいて最適化を可能にするため、著者らは以下の3つのコンポーネントを導入しています。

1. 幾何学的投影: サンプリングされた接地位置は、ロールアウト評価の前に二次計画法（QP）を介して衝突フリー集合へと投影されます。これにより、候補が局所的にハード制約を満たすことが保証されますが、完全なロールアウト自体は依然として安全性評価のために実行されます。
2. 慣性増強更新: 加速近接自然勾配降下法から派生したこの更新ルールは、改善の方向に外挿することで収束を加速させ、必要な反復回数を削減します。
3. レプリカ交換（パラレルテンパリング）: 浅い局所解から脱出するために、異なる逆温度（$\lambda$）を持つ複数の最適化器レプリカが維持されます。隣接するレプリカはメトロポリス・ヘイスティングス基準に基づいて接地シーケンスを交換し、高温のレプリカには広範な探索を、低温のレプリカには有望な解の活用を許容します。

主な貢献

1. 接地位置に対する予測的安全性フィルタ: RLポリシーに入力される接地位置に対して直接作用する手法であり、基礎となるポリシーを変更することなく、全身の衝突回避を可能にします。
2. 計算可能なサンプリングベース最適化: 脚式移動の非平滑で不連続なコストランドスケープを扱うために、幾何学的投影、慣性増幅更新、およびレプリカ交換を取り入れた新しい最適化スキーム。
3. シミュレーションおよび実世界での検証: 高密度で混雑した環境におけるUnitree Go2四足歩行ロボットを用いた包括的な評価により、所望の歩容からの偏差を最小限に抑えつつ、安全性の違反を大幅に削減できることを実証しました。

結果

本手法は、MuJoCoシミュレーションおよび実機のハードウェア実験の両方において、Unitree Go2四足歩行ロボットを用いて評価されました。

• 安全性とパフォーマンスのトレードオフ: ベースライン（単輪近似を用いたCBFおよびHJ reachability）と比較して、Shield-Locoは著しく低いトラッキングコストと、より少ない実際の安全性違反を達成しました。低次モデルのベースラインは、高密度で混雑した環境では苦戦しましたが、Shield-Locoは強力な安全性とトラッキングのトレードオフを維持しました。
• 最適化器のバリアント: テストされた最適化器（MPPI、CEM、およびReplica Exchange MPPI）の中で、Replica Exchange版が最も低いトラッキングコスト（0.0086）を達成しつつ低い違反率を維持しましたが、最適化時間は高くなりました。
• アブレーション研究:
  • 慣性: 非ゼロの慣性係数（$\beta$）は一貫してトラッキングコストを改善し、$\beta=0.1$ が最適なパフォーマンスを示しました。
  • ホライゾンと反復回数: 適度な計算予算（反復回数 $N=3$、$H \in [4, 6]$）が、安全性と反応性の最良のバランスを提供しました。
  • 投影: ロールアウトサンプリング中および最終的な最適化プランの両方に幾何学的投影を適用することが、違反を最小限に抑えるために極めて重要でした。
• 実世界への展開: システムは、障害物（スマートフォン、荷物、ケーブル）や大きな静止障害物がある混雑した環境を正常にナビゲートしました。非同期設計により、最適化器がプランニングサイクル（例：$H=8$ のときの400ms）よりも長い時間を要した場合でも、低レベルポリシーが最後の既知の安全な接地ターゲットを追跡し続けることで、ロボットの安定性が維持されました。

意義と限界

本論文は、Shield-Locoを、フル物理モデルの表現力とオンライン安全性フィルタに必要な計算可能性の間のギャップを埋める、最小限の侵襲的な安全性介入として位置付けています。関節トルクではなく接地位置に対して操作を行うことで、「次元の呪い」を回避しながら、全身の衝突に関する推論能力を保持しています。

限界と今後の課題:

• 理論的保証: 本手法には、最適性や安全性に関する厳密な理論的保証が欠けています。最適化器が局所最適解に収束した場合、フィルタリングされたプランは真の安全集合から逸脱する可能性があります。
• ヒューリスティックな投影: 幾何学的投影はヒューリスティックであり、最適化器の収束特性を厳密に保存するものではありません。
• ポリシーの限界: 実験における実際の違反は、接地ターゲットが安全であっても、RLポリシーが不安全な中間スイングフェーズの構成を生成したことによって引き起こされることがありました。
• 範囲: 検証は現在、平坦な地形における四足歩行ロボットに限定されています。多地形での移動、ヒューマノイド、または能動的な胴体の捻りを必要とするシナリオへの拡張は、今後の課題です。
• 知覚: 現在のフレームワークは既知の障害物形状を前提としています。未知の環境での完全な自律展開のために、オンライン知覚パイプラインを統合することが、必要な将来の方向性として特定されています。