技術サマリー: Kine2Go

問題提起

Unitree Go2のような手頃な価格のハードウェアである四足歩行ロボットの急速な進歩に伴い、強化学習（RL）や行動クローニング（behavioral cloning）といった機械学習（ML）手法を用いた歩行制御への関心が高まっています。しかし、大きなボトルネックが存在します。それは、高品質なデモンストレーションデータの取得が困難であることです。ML手法で堅牢なポリシーを訓練するには、運動学的な軌跡（kinematic trajectories）とそれに対応するモーターレベルのアクションの両方が必要となることが多いですが、このようなデータを生成するには通常、複雑なパイプラインと多大な時間を要します。

さらに、ヒューマノイド（Human3.6M、AMASSなど）や一部の動物種については大規模なモーションキャプチャ（MoCap）データセットが存在しますが、四足歩行ロボットのための同様のオープンソースのリソースは不足しています。既存の四足歩行データセットは、低レベル制御の学習に必要な状態・アクションのロールアウト（state-action rollouts）を欠いていることがよくあります。また、RLベースの制御は、報酬設計（reward shaping）が極めて困難であり、報酬ハッキング（reward hacking）を招きやすく、退屈な試行錯誤を必要とするため、滑らかで自然かつ対称的な歩容（gait）を生み出すのに苦労することがあります。現在のモーション模倣アプローチの多くは、単一の動作に対して単一のポリシーに依存しており、多様な歩容が可能な汎用的な基盤的（foundational）ポリシーを作成する能力には限界があります。

手法

著者らは、Unitree Go2ロボットのための、生のモーションデータと実行可能なRLポリシーの間の溝を埋めるために設計されたデータセットおよびパイプラインであるKine2Goを提案しています。その手法は、高性能でGPU加速されたシミュレータであるGenesis物理エンジン内で実装された、主に3つのステージで構成されています。

1. 運動学的リターゲティング（Kinematic Retargeting）:

   • パイプラインは、多様なソース形態（犬、馬、その他のロボット）からのモーションキャプチャデータを取り込みます。
   • モジュール式のリターゲティングプロセスにより、これらのソースモーションをUnitree Go2特有の12自由度（12-DoF）の運動学的構造にマッピングします。
   • 逆運動学（IK）ソルバーが、リターゲットされた足の位置がロボットの到達可能な作業空間内に収まるように、タスク空間の目標として処理し、フレームごとに関節構成を解決します。
   • 出力は、ポーズ情報を含みますが、アクションデータは含まない、ロボットに適合した連続的な参照軌跡です。

2. 強化学習によるモーション模倣（Reinforcement Learning Motion Imitation）:

   • 各リターゲットされた参照軌跡に対して、目標条件付きマルコフ決定過程（goal-conditioned MDP）を用いて専用の制御ポリシーを訓練します。
   • 目的は、シミュレーション上のロボットの状態と参照モーションとの間の追従誤差を最小化することです。
   • 観測空間（Observation Space）: 自己受容感覚状態（関節の位置/速度、ベースの姿勢）および、$t+1, t+2, t+10, t+30$でサンプリングされた将来の参照状態を含みます。
   • 報酬関数（Reward Function）: ルートの位置、線形/角速度、関節構成、およびエンドエフェクタの位置の偏差をペナルティとして課す項の加重和です。
   • 訓練: Genesisエンジン内で近接方策最適化（PPO）アルゴリズムを使用し、膨大な並列性（8,192環境）を活用して、各ポリシーを約20億ステップ、10,000イテレーションにわたって訓練します。

3. 軌跡の収集とフィルタリング（Trajectory Gathering and Filtering）:

   • ポリシーが収束した後、決定論的なロールアウトを実行して最終的なデータセットを生成します。
   • 状態空間の多様性を最大化するために、各ロールアウトはランダム化されたヘディング方向（向き）で初期化されます。
   • 記録されるデータには、関節構成、ベースの運動学（クォータニオン姿勢、角速度）、制御アクション（正規化されたモーターコマンド）、およびグローバルな状態が含まれます。
   • 品質管理: 軌跡は高解像度のビデオにレンダリングされ、不安定な挙動（衝突、転倒、追従の逸脱）を排除するために手動で検査されます。ポリシーが参照と同期する「ウォームアップ」フレームを除去するため、各軌跡の最初の0.5秒間はトリミングされます。

主な貢献

• Kine2Goデータセット: Unitree Go2ロボットのための、800の多様なモーション軌跡からなる包括的なデータセット。このデータは、それぞれ独自の参照モーションに対して最適化された40の異なるRLポリシーから派生しています。
• 多様なソース形態: データセットは、以下の4つの異なるソースを統合しています。
  • AI4Animation: 犬のモーションキャプチャデータ（歩行、走行、旋回）。
  • VHDC: 馬のモーションキャプチャデータ（トロット、ウォーク）。
  • Solo8: 別の四足歩行ロボット形態（8自由度）からのデータ。這行（crawling）やジャンプなどの困難な動作を提供します。
  • AI4Animation Interactive Demo: 複雑な経路（楕円、ループ、正方形）を生成する、ユーザー制御されたオオカミのシミュレーション。
• 状態・アクション・ロールアウト: 純粋な運動学的データセットとは異なり、Kine2Goはモーションを再現するために必要なモーターレベルのアクションを提供するため、行動クローニングやオフライン制御に直接適用可能です。
• スケーラブルなパイプライン: 著者らは、新しいソースを容易に追加したり、他の四足歩行形態にアプローチを適応させたりすることを可能にする、Genesisエンジン上に構築されたパイプラインを公開しています。このパイプラインはコンシューマーグレードのGPU向けに最適化されており、ロボットデータの生成を民主化します。

結果

得られたデータセットは、歩行、走行、トロット、旋回、回転、および複雑な経路追従（円、正方形、楕円）を含む、幅広い移動動作をカバーしています。

• 規模: 40のポリシーから生成された800の軌跡。各ポリシーは、ランダム化された初期ヘディングを特徴とする20の独立した軌跡を生成します。
• 範囲: データセットには5秒から20秒の長さのモーションが含まれ、各歩容の少なくとも1サイクルを捉えています。
• データ構造: 各フレームには、関節の位置/速度、ベースの姿勢/速度、および正規化されたモーターコマンドが含まれます。
• 制限事項: 著者らは、ジャンプ（すべての脚が地面から離れる動作）を含むモーションは、模倣の質が低いため除外されたと述べています。座る動作も、形態的な不適合（肘が地面の下にある）により、手動でのフレームごとの修正が必要なため除外されました。すべてのデータは平坦な地形で収集されており、足圧センサーのデータはシミュレートされていません。

重要性と主張

本論文は、Kine2Goを、AMASSやMoCapActがヒューマノイド研究に果たしている役割と同様に、四足歩行ロボットコミュニティにとっての基礎的なリソースとして位置付けています。

• 障壁の低下: 高精度な運動学的およびアクションデータを提供する「既製品（off-the-shelf）」のソリューションを提供することで、高度なモーション研究への参入障壁を下げ、研究者が複雑なデータ収集パイプラインを構築する必要をなくします。
• 基盤モデルの実現: 主な意図された用途は、**行動基盤モデル（behavioral foundational models）**を訓練し、正規化することです。著者らは、単純な行動クローニングは平均二乗誤差（MSE）によって評価可能ですが、基盤モデルには、特定の軌跡を単に模倣するのではなく、運動の一般的な特性を学習するための多様なデータセットが必要であると主張しています。Kine2Goは、単一のモーション・ポリシーを超えて、コマンドに基づいて歩容を切り替えられるポリシーの開発をサポートすることを目指しています。
• シミュレーションから現実へ: このデータセットは、シミュレーション内でモデルを訓練し、Kine2Goで正規化し、最終的に現実世界に展開して堅牢性を評価できるように設計されています。
• 民主化: Genesisエンジンとコンシューマーグレードのハードウェアにおけるパイプラインの効率性の活用は、ロボットデータの生成を民主化し、小規模な研究グループがスーパーコンピューティングクラスターにアクセスすることなく、多様な歩容や形態を実験できるようにすることを目的としています。

著者らは、本データセットが四足歩行研究における重要なギャップに対処しているものの、複雑な基盤モデルの評価は依然として未開拓の領域であり、今後の研究ではアクロバティックな動作や不整地ナビゲーションを含むデータセットの拡張に焦点を当てる予定であると、控えめに主張しています。