論文「TOWARDS BRIDGING THE GAP BETWEEN LARGE-SCALE PRETRAINING AND EFFICIENT FINETUNING FOR HUMANOID CONTROL」の技術的サマリー

本論文は、ICLR 2026 にて発表された研究で、ヒューマノイドロボットの制御において、「大規模なシミュレーションによる事前学習」と「新しい環境への効率的な微調整（ファインチューニング）」の間のギャップを埋めるためのフレームワークLIFT (Large-scale pretraIning and efficient FineTuning) を提案しています。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細をまとめます。

---

1. 問題定義 (Problem)

ヒューマノイドロボットの制御には、強化学習（RL）が広く用いられていますが、以下の課題が存在します。

• On-policy 手法 (例: PPO) の限界:
  • 大規模な並列シミュレーションによる堅牢な事前学習と、ゼロショットでの実機デプロイには成功しています。
  • しかし、サンプル効率が悪く、新しい環境やタスクへの適応（ファインチューニング）において、過去の経験（オフポリシーデータ）を再利用できないため、安全かつ効率的な適応が困難です。
• Off-policy 手法 (例: SAC) の課題:
  • サンプル効率が高いですが、大規模並列シミュレーションでの事前学習においては、PPO に比べて収束が不安定になる傾向があります。
  • また、実環境での微調整時に確率的な探索（ノイズ）を直接実行すると、ヒューマノイドは支持面積が狭く（特に片足支持時）、転倒やアクチュエータ破損のリスクが高まります。
• モデルベース手法の課題:
  • 学習された世界モデル内での探索は安全ですが、ゼロから学習させる場合は計算コストが高く、局所最適解に陥りやすいです。また、単純なニューラルネットワークベースの世界モデルは、物理法則を無視した予測（モデルバイアス）を起こしやすく、微調整を不安定にします。

目標: 大規模シミュレーションでの「壁時計時間（wall-clock time）の効率性」と、新しい環境への適応における「サンプル効率性」の両立、および実機での安全性を両立するフレームワークの構築。

---

2. 手法 (Methodology: LIFT Framework)

提案する LIFT フレームワークは、以下の 3 つの段階で構成されます。

段階 (i): 大規模な方策の事前学習 (Large-scale Policy Pretraining)

• アルゴリズム: SAC (Soft Actor-Critic) を採用。
• 実装: JAX 上で実装し、大規模なバッチ更新と高い Update-To-Data (UTD) 比（データ 1 回あたり 10 回以上の更新など）を可能にしています。
• 環境: MuJoCo Playground 上で、数千の並列環境（ベクトライズド環境）を用いて学習を行います。
• ドメインランダム化: 環境遷移関数に摂動を加え、ロバスト性を高めます。
• 成果: 単一 GPU (RTX 4090) で約 30 分〜1 時間の学習で、屋外環境などへのゼロショットデプロイが可能なロバストな方策を獲得します。

段階 (ii): 物理情報付き世界モデルの事前学習 (Physics-Informed World Model Pretraining)

• オフライン学習: 段階 (i) で収集した膨大な遷移データをディスクに保存し、方策が収束した後に世界モデルをオフラインで学習します。
• モデル構造:
  • ラグランジュ力学に基づく構造: 既知の剛体ダイナミクス（質量行列 $M$、コリオリ力 $C$、重力 $G$）を微分可能な物理エンジン（Brax）に実装します。
  • 残差予測ネットワーク: 接触力や摩擦、未モデル化の効果を学習する残差項 $\tau_\phi$ をニューラルネットワークで予測します。
  • 入力: 特権状態（Privileged State: 関節角度、速度、ベースの運動量、高さなど）とアクション。
  • 出力: 外部トルクと、次状態予測の不確実性（分散）。
• 利点: 物理法則を事前知識として組み込むことで、学習データの少ない状況でも高精度な予測が可能になり、モデルバイアスを低減します。

段階 (iii): 方策と世界モデルの効率的な微調整 (Efficient Finetuning)

• 実環境でのデータ収集:
  • 新しい環境（実機や異なるシミュレーター）では、**決定論的な方策（行動の平均値のみ）**を実行し、ランダムな探索ノイズを一切加えません。これにより、転倒リスクを最小化します。
• 世界モデル内での探索:
  • 学習された物理情報付き世界モデル内で、確率的な SAC 方策を用いて探索（ロールアウト）を行います。
  • これにより、実環境へのリスクを回避しつつ、多様な探索を可能にします。
• 学習ループ:
  1. 実環境で決定論的方策でデータを収集。
  2. 収集データで世界モデルを微調整。
  3. 微調整された世界モデル内で確率的探索を行い、合成データを生成。
  4. 合成データで方策（アクター・クリティック）を SAC で更新。
  5. 更新された方策を実環境にデプロイ。

---

3. 主要な貢献 (Key Contributions)

1. 大規模並列 SAC の実装とゼロショットデプロイ:
   • JAX による SAC の効率的実装により、単一 GPU で大規模並列シミュレーションを高速に実行。
   • 学習済み方策は、事前学習環境とは異なる実機（Booster T1）や地形（芝生、坂道など）に対して、追加学習なしでゼロショットデプロイ可能であることを実証しました。
2. 安全かつサンプル効率の高い微調整戦略:
   • 実環境では決定論的実行、モデル内では確率的探索という「分離された探索」アプローチを提案。
   • 物理情報付き世界モデルを採用することで、限られた実データでも安定した収束と、分布外（OOD）タスクへの汎化性能を実現しました。
3. オープンソースパイプラインの公開:
   • 事前学習、ゼロショットデプロイ、微調整を含む完全なパイプラインをオープンソース化し、ロボット制御コミュニティへの実用的な基盤を提供しました。

---

4. 実験結果 (Results)

実験は、Booster T1（12 自由度、23 自由度）と Unitree G1（29 自由度）の 2 つのプラットフォームで行われました。

• 事前学習性能:
  • PPO や FastTD3 と比較し、LIFT は同程度かそれ以上の報酬を達成し、粗い地形でも高速に収束しました。
• シミュレーション間転送 (Sim-to-Sim Finetuning):
  • MuJoCo で事前学習した方策を Brax 環境へ転送し、異なる速度目標（分布内、分布外）への追従タスクを行いました。
  • LIFT: 全てのタスクで安定して収束し、目標速度を正確に追従。
  • SAC (ベースライン): 決定論的データ収集に弱く、過学習して発散。
  • PPO: 初期は安定するが、徐々に性能が劣化し崩壊。
  • SSRL (ゼロから学習): 低速では収束するが、高速追従タスクでは失敗。
• 実世界微調整 (Real-world Finetuning):
  • 実機 Booster T1 において、シミュレーションから実機への転送が不完全な状態（不安定な歩行）から開始。
  • わずか 80〜590 秒 の実データ収集と微調整により、姿勢が安定し、滑らかな歩行パターンと安定した速度追従を実現しました。
• アブレーション研究:
  • 事前学習（SAC と世界モデル）を除去すると、学習が不安定化したり収束しなくなったりすることが確認されました。
  • 物理情報付きモデル（LIFT）は、純粋なニューラルネットワークモデル（MBPO 風）に比べ、モデル外動作（OOD actions）に対する予測精度が高く、学習の安定性に優れていました。

---

5. 意義と結論 (Significance and Conclusion)

本論文の LIFT フレームワークは、ヒューマノイドロボットの学習プロセスにおける重要な課題を解決しました。

• 安全性と効率性の両立: 実環境でのランダムな探索を排除しつつ、モデル内での探索を有効活用することで、実機学習の安全性を確保しつつサンプル効率を最大化しています。
• 物理法則の活用: 世界モデルに物理的制約（ラグランジュ力学）を組み込むことで、データ不足を補い、モデルの一般化能力を向上させました。
• 実用性: 単一 GPU での高速学習と、数分間の実データで実機を適応させる能力は、実世界でのロボット学習を現実的なものにするステップです。

今後の課題としては、実世界での安全性管理の自動化（自律リカバリーなど）や、視覚情報などの高次元センサー入力への拡張が挙げられますが、本アプローチはヒューマノイド制御の継続的かつ効率的な学習への道筋を示すものとして極めて重要です。