技術概要：人間型ロボットナビゲーションのための地形整合性のある参照誘導強化学習

問題定義

現代の人間型ロボットの歩行手法は、人間のデータや軌道最適化を強化学習（RL）の指針として活用することで、高い敏捷性と堅牢性を達成しています。しかし、これらの動作を複雑で非構造化された環境における大規模なナビゲーションスタックに展開する際には、依然として重大なボトルネックが存在します。既存の参照誘導型 RL 手法は、主に以下の 2 つの限界に直面しています：

1. 計画インターフェースの欠如：多くの手法は、完全自由度の参照軌道やライブモーションキャプチャを入力として必要とし、単純な速度コマンド（例：SE(2) 速度）を発行する標準的なナビゲーションプランナとの互換性がありません。
2. 環境条件付けの欠如：標準的な参照生成パイプラインは、地形の幾何学（例：有効な足場、階段、傾斜）を考慮していません。その結果、静的な参照で訓練された方策は、荒れた地形での軌道追跡に苦しみ、人間中心の現実世界環境への展開時に不安定化したり失敗したりします。

一部の研究は参照なしの知覚的歩行に取り組んでいますが、それらはしばしば参照誘導型手法の堅牢性に欠けます。逆に、参照誘導型手法は自律スタックへの統合や地形への適応に失敗することが多いです。本論文は、知覚的かつ参照誘導型の RL と、閉ループナビゲーション自律性の交差点を扱います。

手法

提案手法である地形整合性のある参照誘導型 RLは、RL 訓練ループ内で直接、環境と整合性のある参照軌道を合成します。このシステムは、標準的な SE(2) 速度コマンドを受け入れつつ、深度カメラデータを用いて地形に適応する方策を出力するように設計されています。

1. 環境整合性のある参照合成

核心的な革新は、地形の幾何学に合わせて変調された線形逆振り子（LIP）モデルを用いて、参照軌道を迅速に生成することです。

• 基本生成：所望の SE(2) 速度コマンド（$v_d$）を、LIP モデルの力学に基づいて所望の歩幅と重心（CoM）軌道に変換します。これにより、CoM、振り脚、および腕のための名义参照が生成されます。
• 地形投影：RL エージェントが参照を受け取る前に、システムは所望の足場位置を、地形の幾何学（多角形のグリッドとして表現）から導き出された最も近い有効な足場に投影します。
• 軌道修正：
  • 足場：所望のステップを有効な足場に投影し、その地点における地形のロールとピッチを反映させます。
  • 振り脚：振り脚の軌道は、初期姿勢から投影された姿勢（地形の向きを含む）へ接続するように修正されます。$z$ 方向の高さは、振り脚経路に沿った地形点の上側凸包の高さを加えることで調整され、クリアランスを確保します。
  • CoM：CoM の高さ軌道は、現在の立脚脚から投影されたステップ位置へ結ぶ線に基づいて調整されます。
• 効率性：この合成は訓練ループ内で高速に実行され、方策が即座の環境と物理的に整合性のある参照から学習することを可能にします。

2. 歩行方策と訓練

• アーキテクチャ：方策は、単一ステージの多層パーセプトロン（MLP）ベースのアーキテクチャを使用します。これは、固有受容感覚と単一の深度カメラ画像（26x30 解像度）を直接動作にマッピングします。
• 知覚：ロボットの胴体に取り付けられた ZED Mini 深度カメラが入力を提供します。シミュレーションでは、現実世界のノイズやアーティファクトを模倣するために、レーキャスティングを用いた積極的なダウンサンプリングによってモデル化されます。
• 報酬設計：訓練には**制御リアプノフ関数（CLF-RL）**が利用されます。追跡目標（骨盤、振り脚、関節）に対して二次リアプノフ関数が定義されます。報酬関数は以下の 2 つの項で構成されます：
  1. 参照信号の密接な追跡を促す項。
  2. リアプノフ減少条件の満足（システムが参照に向かって移動することを保証）を奨励する項。
     このアプローチは報酬信号を密化し、追跡が不完全であっても改善している場合にフィードバックを提供します。
• 非対称アクタ - クリティック：アクタはノイズのある固有受容感覚と深度データを受け取り、クリティックはノイズのない観測と特権情報（真の参照、接触状態など）を受け取ります。

3. ナビゲーション自律スタック

訓練された歩行方策は、クリーンなSE(2) 速度インターフェースを介して完全な自律スタックに統合されます。

• プランナ：モデル予測制御（MPC）プランナが、ヘディングモデルを持つ単一積分器上で動作します。これは目標姿勢と環境マップ（LiDAR および FAST-LIO2 によって生成）を入力として、衝突回避経路を計画します。
• 制御バリア関数（CBF）：MPC は、障害物回避と追跡誤差に対する堅牢性を保証するために、離散時間 CBF 制約を組み込みます。
• 実行：MPC は速度コマンドの軌道を出力し、これはフィードバック制御器によって追跡され、RL 歩行方策に渡されます。

主要な貢献

1. 環境条件付き参照合成：本論文は、訓練ループ内で縮小された LIP モデルを用いて、参照がオンラインで地形の幾何学（階段、傾斜、離散的な足場）と整合するように変調される、人間型ロボット向けの最初の参照誘導型 RL パイプラインを導入します。
2. 簡素化されたアーキテクチャ：生成された方策は、履歴バッファを必要としない単一の MLP に依存しており、複雑な蒸留や再帰的ネットワークの必要性を排除しつつ、アテンションベースのモデルと同等の性能を達成します。
3. 閉ループ自律統合：この手法は、知覚的かつ参照誘導型の RL 方策を標準的なナビゲーションスタックに成功裏に統合します。屋外環境における荒れた地形や連続した階段を含む、70 メートルを超える長期的な自律ナビゲーションを Unitree G1 上で実証し、すべてのセンシングと計算をオンボードで行っています。

結果

シミュレーション

• 追跡性能：参照を環境に基づいて条件付けることは、変更されていない（環境非依存の）参照を使用する場合と比較して、追跡性能を大幅に向上させました。階段地形において、追跡誤差は 2 分の 1 に減少しました。
• モデルの複雑さ：単純な MLP ベースの方策（「Ours」）は、平坦、傾斜、階段の各地形において、より複雑なクロスアテンションを持つアーキテクチャ（「Ours (Attn)」）と統計的に同様の追跡誤差を達成しました。ただし、MLP バージョンははるかに少ない VRAM（14GB 対 60GB）を必要とし、実装が容易です。

ハードウェア展開

• プラットフォーム：ZED Mini 深度カメラと Livox MID360 LiDAR を搭載した Unitree G1 人間型ロボット。
• 性能：システムは、人間中心の屋外環境において閉ループ自律ナビゲーションを成功裏に実行しました。
  • 階段：ロボットは 15 段の連続した階段を自律的に navigated しました。
  • 長期的：ロボットは 70 メートル以上を navigated し、樹木の根、荒れた地形、縁石、および 2 つの階段セットを通過しました。
  • 屋内/屋外遷移：ロボットは屋外の階段を登り、建物に入り、屋内の階段を登りました。
• 比較：ナビゲーションのために盲目的なモデルベース制御に依存する先行研究や、自律スタックに統合されていない知覚的 RL 手法とは異なり、この研究は、完全な自律スタックの歩行層として機能する、知覚条件付きかつ参照誘導型の方策を実証しています。

意義と主張

本論文は、高性能な参照誘導型歩行と実用的なナビゲーション自律性の間のギャップを埋めることを主張しています。訓練中に地形と整合性のある参照を合成することで、この手法は、複雑な履歴ベースのアーキテクチャを必要とすることなく、RL 方策が非構造化環境に対する堅牢な動作を学習することを可能にします。

その意義は、SE(2) 速度インターフェースにあります。これにより、歩行方策を標準的なナビゲーションプランナのためのドロップインコンポーネントとして機能させることができます。これにより、以前は環境条件付けと計画互換性の欠如によりアクセス不可能だった、階段や荒れた地形といった現実世界のシナリオにおける、敏捷で知覚的な人間型ロボットの歩行の展開が可能になります。著者らはこれを、平坦な地面や実験室で構築されたカスタム地形を超えた、人間中心環境における汎用的な人間型ロボットナビゲーションへの一歩として位置付けています。