LHM-Humanoid: Learning a Unified Policy for Long-Horizon Humanoid Whole-Body Loco-Manipulation in Diverse Messy Environments

本論文は、多様な雑然とした環境において、歩行、把持、運搬、配置という一連の長期的な全身動作を単一の統合ポリシーで実行し、強化学習による教師ポリシーの蒸留と DAgger、そして視覚言語行動（VLA）モデルの活用を通じて、既存手法を大幅に上回る汎用性と頑健性を達成するヒューマノイド loco-manipulation のベンチマークと学習フレームワーク「LHM-Humanoid」を提案するものである。

要約

🎬 物語の舞台：「カオスな部屋」と「完璧な家事ロボット」

1. 従来のロボット vs. この新しいロボット

これまでのロボット研究は、**「1 つの部屋で、1 つの箱を、1 回だけ運ぶ」**ような、とても単純なゲームばかりでした。

• 昔のロボット： 「テーブルから箱を拾って、ソファに置く」だけなら得意。でも、部屋が散らかっていたり、2 つ目の箱を運ばなきゃいけなくなると、パニックになって倒れてしまいます。

LHM-Humanoidは違います。

• 新しいロボット： 部屋は散らかり放題（本が落ちている、ゴミ箱が通路を塞いでいる）。ロボットは**「1 回もリセット（リセットボタンを押す）されずに」、連続して「箱を拾って運ぶ」「別の箱を拾って運ぶ」という作業を、何回も何回も繰り返さなければなりません。まるで、「散らかった部屋で、次々と片付けを頼まれ、倒れずにやり遂げる」**ようなものです。

2. 3 つの「魔法のトレーニング法」

このロボットがなぜそんなに上手なのか？それは、3 つの特別なトレーニング法を組み合わせているからです。

① 「放り投げて、さっと逃げる」練習（Release-and-Retreat）

• 昔の失敗： 箱を置いた後、ロボットが「あ、まだ掴んでる！」と気づかず、箱を押し倒したり、その場から動けなくなったりしました。
• 新しい魔法： 箱を置いたら、**「パッと手を離して、少し下がって安全な距離をとる」**という動作を、最初から徹底的に練習させます。
• 例えるなら： 料理人がお皿をテーブルに置いたら、すぐに手を離して「はい、完成！」と一歩引くような、きれいな動作です。これにより、次の作業への「つなぎ目」がスムーズになります。

② 「2 人の先生」による指導（Dual-Teacher）

• 問題点： ロボットに「最初から最後まで」全部を一度に教えると、ロボットは「どこで失敗したのか？」がわからず、勉強が全然進みません（長い物語の結末だけ見て、途中の勉強をしないようなもの）。
• 新しい魔法：
  • 先生 A： 「最初の箱を運ぶところまで」を教える。
  • 先生 B： 「先生 A が終わった後の、ちょっと変な姿勢（箱を置いた後のふらふらした状態）から始めて、次の箱を運ぶところ」を教える。
• 例えるなら： 野球の練習で、「打撃の先生」と「守備の先生」が分かれて教えているようなものです。そして、その二人の教え方を、**「1 人の天才選手（学生）」**が全部吸収して、一人で試合をこなせるようにします。

③ 「1 人の天才選手」への統合（Distillation）

• 先生 A と先生 B の教え方を、**「1 つの脳（1 つの政策）」**にまとめてしまいます。
• これにより、ロボットは「今は先生 A の番だ」「今は先生 B の番だ」と切り替える必要がなくなります。**「どんな状況でも、1 つの頭で即座に正しい動き」**ができるようになります。

3. 言葉と目で見る能力（VLA モデル）

さらに、このロボットは**「言葉で指示され、自分の目（カメラ）だけで」**動くようにも訓練されました。

• 指示： 「ベッドの上の赤い本を、棚の奥に置いてね」
• 入力： ロボットは「言葉」と「自分の目で見えた映像」だけを見て、上記の「放り投げて逃げる」動作まで含めて、全てを自力で考えます。
• 例えるなら： 料理人がレシピ（言葉）と、目の前の食材（映像）を見て、包丁の使い方から火加減まで、全てを頭の中でシミュレーションして完璧にこなす状態です。

---

🏆 結果：どれくらいすごいのか？

実験では、**「見たことのない散らかった部屋」でも、他のロボットが倒れたり迷子になったりする中、この LHM-Humanoid は「6 割以上」**の確率で、連続して複数の荷物を片付け終わりました。

• 他のロボット： 「1 個目は成功！でも 2 個目になると、前の失敗が積み重なって、全部失敗！」（成功率 0%〜30% 程度）
• LHM-Humanoid： 「1 個目も 2 個目も、3 個目も、4 個目も…倒れずに運び続ける！」（成功率 60% 以上）

💡 まとめ：なぜこれが重要なのか？

この研究は、**「ロボットが、現実世界の『カオス（混沌）』の中で、失敗しても立ち直り、長い間働き続ける」**ための道筋を示しました。

• 従来のロボット： 完璧な環境で、1 回きりの作業をする「新人」。
• LHM-Humanoid： 散らかった部屋でも、転んでも起き上がり、次の仕事へ素早く移れる「ベテランの家事代行」。

「放り投げて逃げる」動作を徹底させたり、2 人の先生で教えたりする工夫が、ロボットを「長距離走」に強い選手に変えたのです。これからのロボットが、私たちの家の片付けや、倉庫での作業を、人間のように自然にこなす未来が、一気に近づいたと言えます。

技術概要

LHM-Humanoid: 多様な雑多な環境における長期的ヒューマノイド全身ロコモ manipulation 学習の技術サマリー

1. 問題設定 (Problem)

本論文が取り組むのは、**「多様な雑多な環境（Messy Environments）における、長期的なヒューマノイド全身の移動・操作（Loco-Manipulation）」**という極めて困難な課題です。

従来の研究は、単一ステップの操作、単一物体の移動、または固定されたシナリオに限定されることが多く、現実世界の複雑さを十分に扱えていませんでした。本研究では、以下の条件を満たすタスクを定義しています。

• 環境: ベッドルーム、リビング、キッチン、倉庫の 4 種類の部屋タイプを含み、350 種類の異なるレイアウトと 79 種類の物体（そのうち 25 個が移動対象）からなる「雑多な（cluttered）」シーン。
• タスク: 1 つの連続したエピソード内で、環境のリセットなしに以下のサイクルを繰り返す必要があります。
  1. 目標物体まで移動する。
  2. バランス制約下で全身姿勢を変化させながら物体を把持・持ち上げる。
  3. 障害物を回避しながら物体を運ぶ。
  4. 指定された目標位置に物体を置く。
  5. 物体を離し、安全な距離まで後退する（Release-and-Retreat）。
• 要求: 単一の汎用的なポリシー（One-Policy）で、レイアウト、物体の属性、開始・目標姿勢の大幅な変化に対応し、事前学習されたスキルライブラリを呼び出すことなく、直接動作を出力する必要がある。

2. 手法 (Methodology)

解決策として、**「二重教師モデル（Dual-Teacher）による蒸留」と「DAgger による単一エンドツーエンド学生ポリシーの学習」**という 3 段階のトレーニングパイプラインを提案しています。

2.1 データセットと課題の性質

• 350 種類のシーン/タスクからなるベンチマークを提供。
• 特定のシーンの動作データ（Ground Truth）は存在しないため、模倣学習（Motion Mimic）ではなく、タスク目標から行動を学習するアプローチが必要。
• 直接のエンドツーエンド強化学習（RL）では、長期の接触-rich なタスクにおけるクレジット割り当てと探索が困難であり、収束しない傾向がある。

2.2 二重教師モデル (Dual-Teacher Mechanism)

学習の安定化と状態カバレッジの拡大のため、2 つの教師ポリシーを訓練します。

1. Teacher 1 (First-Object Cycle):

   • 最初の「移動→把持→運搬→配置」サイクルを完了します。
   • 重要: 配置後に物体を離し、安全な距離まで後退する「Release-and-Retreat」動作を明示的な訓練目標として学習させます。これにより、次のサイクルへの安定したハンドオフ（状態遷移）を可能にします。
   • 事前学習では単一物体タスクでトレーニングし、その後、配置後の安定化のために微調整を行います。
   • 人間の動きを模倣するために、敵対的運動事前分布（Adversarial Motion Prior: AMP）を用いたスタイル報酬を導入しています。

2. Teacher 2 (Recovery & Next-Object Cycle):

   • Teacher 1 が完了した「非標準的な（Non-Canonical）」状態（例：かがんだ姿勢、傾いた姿勢、次の目標とは逆を向いているなど）から開始します。
   • 環境リセットなしに、次の物体のサイクルを完了します。
   • 回復歩行、姿勢の再整列、障害物回避、そして次の物体の操作を学習します。これにより、予期せぬ初期状態に対するロバスト性を獲得します。

2.3 単一学生ポリシーへの蒸留 (Distillation into Unified Student)

• DAgger (Dataset Aggregation) の採用: 2 つの教師ポリシーを、1 つのエンドツーエンドの学生ポリシーに蒸留します。
• 仕組み: エピソードの進行段階に応じて、Teacher 1 または Teacher 2 が学生を監督します（有限状態機械で管理）。これにより、単一のネットワークが長期の連続エピソード全体を、ハードコードされたステージ境界なしに実行できるようになります。
• VLA モデルへの拡張: さらに、この統一ポリシーを、自己視点 RGB 画像と自然言語指示を条件とする Vision-Language-Action (VLA) モデルに蒸留します。これにより、現実世界での対話的な指令実行が可能になります。

3. 主な貢献 (Key Contributions)

1. LHM-Humanoid ベンチマーク:

   • 4 種類の部屋、350 種類の雑多なシーン、79 種類の物体を含む、長期の全身ヒューマノイド操作に特化した大規模なタスクセット。
   • 既知のシーンだけでなく、未知のシーン（Out-of-Distribution）での汎化性能を評価する基準を提供。

2. 二重教師蒸留フレームワーク:

   • 2 つの目標条件付き RL 教師（配置後の安定化と非標準状態からの回復をそれぞれ担当）を、単一のエンドツーエンドポリシーに統合する手法。
   • これにより、長期エピソード全体をシームレスに実行可能に。

3. VLA 拡張:

   • 学習された統一ポリシーを、RGB 画像と自然言語に基づく VLA モデルへ転移させ、対話的な指令追従を実現。

4. 実験結果 (Results)

Isaac Gym 環境での実験により、既存の手法との比較評価が行われました。

• 350 訓練タスクにおける性能:

  • LHM-Humanoid-T（教師モデルベース）は、全サイクル成功（Success All）で**72.38%**を達成。
  • 既存手法（End-to-End RL, Curriculum RL, Hierarchical RL, HumanVLA, InterMimic, TokenHSI）は、長期タスクにおいて 0%〜47% 程度に留まり、特に End-to-End RL は 0% で失敗しました。
  • 配置誤差（Dist 1/2）も最も小さく（0.25m / 0.48m）、高精度な操作を示しました。

• 66 未知タスク（Unseen Scenes）における汎化:

  • 訓練データとは異なるレイアウトや物体配置において、LHM-Humanoid は**63.20%**の全サイクル成功を達成。
  • 対照的に、Curriculum RL や Hierarchical RL は 39.50% や 17.26% まで低下し、過学習や状態カバレッジの不足が露呈しました。

• VLA モデルの性能:

  • 状態情報（Oracle）を RGB と言語に置き換えた場合でも、LHM-Humanoid-S は**63.71%**の成功を維持。
  • 最強のベースライン（HumanVLA）との差は 40 ポイント以上あり、知覚ノイズ下でも空間精度を維持できることを示しました。

• 5 物体以上の長期タスクへの拡張:

  • 2 物体で訓練したモデルを、追加の微調整なしに 5 物体のタスクで評価。
  • ベースラインは 3 物体以降でほぼ失敗しますが、LHM-Humanoid-S は 5 物体連続で**18.07%**の成功を達成（ベースラインは 0%〜1% 台）。
  • エラーの蓄積が抑制され、長期実行のロバスト性が実証されました。

• アブレーション研究:

  • 「Release-and-Retreat（RR）」を除去すると成功率が約 16% 低下。
  • 「AMP（運動スタイル報酬）」を除去すると成功率が約 62% 低下し、収束自体が困難になることが示されました。

5. 意義と結論 (Significance & Conclusion)

本論文は、ヒューマノイドロボットが現実世界の「雑多で複雑な環境」において、リセットなしに複数の物体を連続的に移動・配置する能力を実証した画期的な研究です。

• 技術的意義: 単一のポリシーで長期タスクを処理する難しさを、二重教師による状態カバレッジの拡大と、安定したステージ間遷移（Release-and-Retreat）の設計によって解決しました。
• 実用性: 未知の環境や、訓練時よりも長いタスクシーケンスに対しても汎化能力を示しており、VLA モデルへの転移により、自然言語による直感的な制御も可能にしました。
• 限界と将来: 現在はシミュレーション（Isaac Gym）内での評価であり、物理的な摩擦やセンサノイズ、変形物体への対応は今後の課題です。また、VLA モデルは RGB と言語のみを使用しており、深度や力覚センサーの統合が今後の方向性として挙げられています。

総じて、LHM-Humanoid は、ヒューマノイドロボットの長期的自律操作における新しい基準（Benchmark）と、その実現に向けた堅牢な学習フレームワークを提供するものです。