APEX: Learning Adaptive High-Platform Traversal for Humanoid Robots

本論文は、強化学習の安全性制約下で効率的な探索を可能にする「一般化されたラチェット進行報酬」を導入し、LiDAR に基づく知覚とシミュレーション・リアリティのギャップ低減手法を組み合わせることで、29 自由度のヒューマノイドロボットが脚長を超える高さ（0.8 メートル）のプラットフォームへの登降や姿勢変換を含む複合動作をゼロショットで実世界に適用可能にした「APEX」システムを提案するものである。

要約

APEX：ロボットが「階段」を登るための新しい知恵

この論文は、**「人型ロボットが、自分の足の高さよりもずっと高い段差（例えば、テーブルの上）を、ジャンプではなく『登る』ようにして乗り越える方法」**を提案した研究です。

従来のロボットは、高い場所に行くために「ジャンプ」しようとしていましたが、それは足が短すぎたり、力が足りなかったりして危険でした。そこで、この研究チームは、**「人間が壁を登るような、全身を使って慎重に移動する」**という新しいアプローチを開発しました。

以下に、専門用語を避け、身近な例え話を使って解説します。

---

1. 従来の「ジャンプ」と、新しい「登る」の違い

• 従来の方法（ジャンプ）：
  高い壁を越えようとして、バネのように勢いよく飛び跳ねようとします。
  • 問題点： 壁が高すぎると、着地の衝撃でロボットが壊れてしまったり、壁に届かなかったりします。まるで、背の低い人が高い棚に手を伸ばして、無理やり飛びつくようなものです。
• APEX の方法（登る）：
  壁を飛び越えるのではなく、**「手を使って、足をかけて、体をよじり登る」**ようにします。
  • メリット： 全身（手、足、体幹）を使って体重を分散させるため、衝撃が少なく、安全に高い場所（自分の脚の長さの 114% も！）に到達できます。

2. ロボットが覚えた「6 つの特技」

このロボットは、単一の動きではなく、状況に合わせて使い分ける6 つのスキルをマスターしました。

1. 登る（Climb-up）： 高い段差に手をつき、足をかけて登る。
2. 降りる（Climb-down）： 高い場所から、手と足を使って慎重に降りる。
3. 立つ（Stand-up）： 床に寝転がった状態から、ゆっくりと立ち上がる。
4. 寝る（Lie-down）： 立った状態から、安全に床に寝転がる。
5. 歩く（Walk）： 平らな場所を歩く。
6. 這う（Crawl）： 低い姿勢で這うように移動する。

これらを組み合わせて、ロボットは「歩く → 登る → 這う → 立つ → 歩く」といった一連の流れを、人間が階段を昇り降りするのと同じように自然に行います。

3. 成功の鍵：「進歩の記録帳（ラチェット・プログレス・リワード）」

ここで最も面白いのが、ロボットに何を「褒めるか」という学習方法です。

• 従来の学習（ゴールまでの距離）：
  「ゴールに近づくほど褒める」とすると、ロボットは「近づくこと」だけに集中し、**「ゴールに近づいて、また少し離れて、また近づく」**という無駄な動きを繰り返して点数を稼いでしまうことがあります（これを「ごまかし」と言います）。
• APEX の学習（進歩の記録帳）：
  ここでは、**「これまでで一番進んだ位置」を記録し、「それより前に戻ったら罰点、それより前に進めたら褒美」**というルールにしました。
  • 例え話： 登山で「これまでの最高地点」を記録します。もし「下山」したり「同じ場所に戻ったり」したら、その行為は評価されません。常に「新しい高み」を目指さないと、ロボットは褒められません。
  • 効果： これにより、ロボットは焦って飛び跳ねるのではなく、「一歩ずつ確実に、安全に」登る方法を自ら発見しました。

4. 現実世界への挑戦：「目」の補正

ロボットはシミュレーション（仮想空間）で練習しますが、現実世界ではカメラやセンサーのデータにノイズ（ゴミ）が入ることがあります。

• 問題： 壁が見えなかったり、見えないはずの壁が見えたりする「幻覚」のようなエラーが起きます。
• 解決策：
  1. 練習中に「幻覚」を見せる： 練習の段階から、あえてノイズのあるデータをロボットに見せて、混乱に慣れさせました。
  2. 現地で「掃除」をする： 実際の運用では、センサーのデータをリアルタイムで整理・修復するフィルターを使います。
     これにより、ロボットはどんなに汚れたデータでも、正しい地形を認識して登ることができます。

5. 実験結果：Unitree G1 による実証

研究チームは、29 個の関節を持つ実機ロボット「Unitree G1」を使って実験を行いました。

• 結果： 脚の長さよりも高い0.8 メートルのプラットフォームを、ジャンプすることなく、**「登る → 歩く → 降りる」**という一連の動作を、一度も失敗せずに成功させました。
• 驚異的な適応力： 突然後ろから蹴られてバランスを崩しても、すぐに立ち直り、登る動作を再開しました。まるで、壁を登っている人間が風で揺られても、手と足でしっかり掴み直して登り続けるようなものです。

まとめ

この論文「APEX」は、人型ロボットに**「ジャンプという荒業」ではなく、「全身を使った丁寧な登り」を学ばせる**ことに成功しました。

• キーポイント： 「進歩の記録帳」のような新しい学習ルールと、ノイズに強い「目」の技術。
• 未来： これにより、ロボットは災害現場の瓦礫の上や、段差の多い家の中など、人間が住む複雑な環境で、より安全に、賢く動けるようになるでしょう。

まるで、**「背の低い子供が、高い棚のオモチャを取るために、椅子を積み重ねて登る」**ような、知恵と工夫の詰まったロボット技術です。

技術概要

以下は、提示された論文「APEX: Learning Adaptive High-Platform Traversal for Humanoid Robots」の技術的な要約です。

APEX: 人間型ロボットのための適応的・高所プラットフォーム越え学習の技術的概要

1. 課題背景 (Problem)

人間型ロボットの歩行制御は深層強化学習（DRL）の進展により、不整地での足裏歩行において飛躍的な進歩を遂げました。しかし、脚の長さを超える高所プラットフォーム（段差やテーブルなど）への移動は依然として大きな課題です。

• 既存手法の限界: 従来の DRL 手法は、主に「ジャンプ」に依存する傾向があり、高いプラットフォーム（脚長の 63% 以上）への到達には大きな衝撃トルクが必要となり、アクチュエータの限界を超えたり、実世界での安全性が担保されなかったりします。
• 学習の難しさ: 高所越えには、登攀（climb-up）、降下（climb-down）、立ち上がり（stand-up）、横たわり（lie-down）といった多様な全身動作と、それらの滑らかな遷移が必要です。これらは接触が複雑で、目標達成までの段階的な接触遷移を必要とするため、従来の速度追跡ベースの報酬設計では学習が困難です。また、シミュレーションから実機への転移（Sim-to-Real）における知覚のギャップも大きな障壁となります。

2. 提案手法 (Methodology)

著者らは、APEX というシステムを提案しました。これは、知覚に基づき、接触に富んだ全身動作と周期的な歩行を統合した、適応的な高所越えを実現する 2 段階の学習フレームワークです。

A. 汎用的な「ラチェット・プログレス・リワード」の導入

ゴール指向の接触-rich な動作（登攀など）を学習するための核心的な報酬設計です。

• 仕組み: 従来の「目標への距離」や「速度」ではなく、**「これまでの最良の進捗（Best-so-far）」**を記録し、エージェントがその進捗を厳密に上回った場合のみ報酬を与え、それ以外の場合はペナルティ（または報酬なし）とするバイナリ報酬です。
  • $r_t = 0$ (if $x_t > x^*_t$), otherwise $-1$
• 利点:
  • 密度のある指導: 各タイムステップで進捗を評価するため、スパースなゴール報酬に比べ学習効率が向上します。
  • 速度非依存: 進捗の「速さ」ではなく「改善」のみを評価するため、ロボットは安全に接触を確保しながら慎重に動作を探索できます（急なジャンプや衝撃的な動作を抑制）。
  • 後退の防止: 過去の最良状態を基準とするため、前後に揺れるような「リトレース（後退）」による報酬ハックを防ぎます。

B. 2 段階学習パイプライン

1. 教師ネットワークの学習 (Teacher Training):
   • 6 つのスキル（登攀、降下、立ち上がり、横たわり、歩行、這いずり）を個別に DRL で学習します。
   • 上記のラチェット・リワードと、接触力制限（安全性）、終端姿勢報酬（次のスキルへの遷移を容易にする）を組み合わせます。
   • 知覚の強化: LiDAR による高度マップを使用し、シミュレーション内でノイズ、ドリフト、外れ値（アーティファクト）を注入してロバスト性を高めます。
2. ポリシー蒸留 (Policy Distillation):
   • 6 つの教師ポリシーを、単一の学生ポリシーに蒸留します。
   • 「分割統治」データサンプリング: 異なるスキル間の遷移を含む環境と、単一スキルに特化した環境を混合して学習させ、スキル間の分布不一致を解消し、滑らかな遷移を可能にします。
   • 学生ポリシーは、LiDAR による地形認識とユーザーコマンドに基づき、どのスキルを実行するかを自律的に選択・遷移します。

C. Sim-to-Real 転移戦略

• 二重アプローチ: 訓練時にマップアーティファクトをモデル化し、実機展開時にはリアルタイムのフィルタリングとインペインティング（欠損部分の補完）を行うことで、LiDAR による地形認識の精度を向上させます。

3. 主要な貢献 (Key Contributions)

1. 適応的高所越えの 2 段階学習フレームワーク: 接触に富む全身動作と周期的な歩行を単一コントローラーに統合し、自律的なスキル選択と遷移を実現しました。
2. 汎用的なラチェット・プログレス・リワード: 速度に依存せず、安全な制約下で接触-rich なゴール指向動作を効率的に学習させるための新しい報酬設計を提案しました。
3. 実世界での最高水準の性能: 脚長の約 114%（0.8m）に相当する高所プラットフォームのゼロショット Sim-to-Real 越えを、29 自由度の Unitree G1 人間型ロボットで実現しました。

4. 実験結果 (Results)

• 実機実験: Unitree G1 上で、0.6m〜0.8m のプラットフォーム（脚長の 85%〜114%）への登攀・降下・移動を成功させました。
  • 成功率: 0.8m のプラットフォームへの登攀において、アプローチ角度や姿勢の変化に対して 95% 以上の成功率を達成（実機テスト 5 回中 5 回成功など）。
  • ゼロショット転移: 学習時に特定のプラットフォーム高さを指定せず、多様な高さで学習させた結果、実機でも高度な適応性を示しました。
• ロバスト性:
  • 外乱: 走行中に強い蹴り（外乱）を与えられても、バランスを回復し、適切な接触点を変更して登攀を継続できました。
  • 知覚ノイズ: LiDAR に外れ値やドリフトが含まれる状況でも、フィルタリングと学習時のアーティファクトモデル化により安定した動作を維持しました。
  • 接触特性: 硬い床だけでなく、柔らかいマット（ビニール・フォーム）上でも安定して登攀できました。
• 報酬設計の比較: 従来の速度追跡や距離最小化ベースの報酬では、ジャンプのような危険な動作や局所最適解（前後揺れ）に陥るのに対し、提案手法は安全で滑らかな全身協調動作を学習しました。

5. 意義と展望 (Significance)

この研究は、人間型ロボットが「ジャンプ」に依存せず、**「全身の接触と協調」**によって、脚の長さを超えるような極端な環境でも安全かつ自律的に移動できることを実証しました。

• 安全性の向上: 衝撃的な動作を避け、接触力を制御することで、実世界での展開リスクを大幅に低減しています。
• 汎用性の拡大: 単一のポリシーで、歩行、登攀、姿勢変換など多様な動作を状況に応じて使い分ける能力は、災害対応や複雑な環境での作業など、実用的な応用分野への道を開きます。
• 学習手法の革新: 「ラチェット・リワード」は、接触制御や目標指向タスクにおける DRL 学習の難しさを解決する新しいパラダイムとして、今後のロボット学習研究に重要な示唆を与えています。

要約すれば、APEX は「知覚」と「安全な接触制御」を融合させることで、人間型ロボットがこれまで不可能とされていた高い段差を、人間のように滑らかに、かつ安全に乗り越えることを可能にした画期的なシステムです。