Simulation Distillation (SimDist): シミュレーションから現実世界への高速適応のための世界モデル事前学習

本論文「Simulation Distillation: Pretraining World Models in Simulation for Rapid Real-World Adaptation」は、ロボティクスにおける「シミュレーションから現実世界への転移（Sim-to-Real）」の課題を解決するための新しいフレームワークSimDistを提案しています。従来の強化学習（RL）ベースの転移手法が直面するデータ不足、探索の難しさ、および長期のクレジット割り当て問題に対処し、わずか 15〜30 分程度の現実世界データで高性能な適応を実現する手法です。

以下に、論文の技術的な要点を詳細にまとめます。

---

1. 問題設定と背景

課題

ロボット学習において、シミュレーターで学習したポリシーを現実世界に適用する際、両者のダイナミクス（物理挙動）の不一致（Dynamics Gap）により失敗が発生します。

• 既存手法の限界: 従来のシミュレーションから現実世界への微調整（Finetuning）手法は、エンドツーエンドの方策（Policy）最適化に依存しています。これらは、現実世界でのデータが限られる状況下では、事前学習で得られた知識（事前分布）を忘却（Catastrophic Forgetting）したり、探索とクレジット割り当てが困難になったりして、性能が不安定になるか、全く改善しないという問題を抱えています。
• 報酬関数の難しさ: 現実世界では、状態を正確に測定して密な報酬（Dense Reward）を定義することが困難です。

解決の方向性

エンドツーエンドの方策学習ではなく、**世界モデル（World Model）**を転移の単位として用いるアプローチを提案します。世界モデルは、状態表現、報酬関数、価値関数、そして環境固有のダイナミクスに分解されます。

• 重要な洞察: 高次なタスク構造（例：どの物体が重要か、ゴールまでの距離、意味的な役割）は、シミュレーションと現実世界で不変（Invariant）であることが多い一方、低レベルの物理的ダイナミクス（摩擦係数、接触の挙動など）は変化します。
• アプローチ: 不変な部分（表現、報酬、価値）をシミュレーションで学習・凍結し、変化する部分（ダイナミクス）のみを現実世界データで効率的に学習（適応）させることで、安定した高速適応を実現します。

---

2. 提案手法：Simulation Distillation (SimDist)

SimDist は、シミュレーターから得られた構造的な事前知識を世界モデルに「蒸留（Distill）」し、オンライン計画と教師ありダイナミクス微調整を通じて現実世界に適応させるフレームワークです。

2.1 全体アーキテクチャ

世界モデルは以下の構成要素で定義されます（図 3 参照）：

1. 潜在表現（Latent Representation）: 生観測（画像など）から潜在状態 $z_t$ をエンコード。
2. 履歴表現（History Representation）: 過去の観測と行動の履歴をエンコード。
3. 潜在ダイナミクスモデル: 現在の状態と行動系列から未来の潜在状態を予測。
4. 報酬・価値モデル: 予測された軌跡に基づき、報酬と価値を推定。
5. ベースポリシー: 行動チャンクを予測し、計画のウォームスタートに使用。

2.2 学習プロセス

ステップ 1: シミュレーションでの事前学習（Pretraining）

• データ生成: 特権状態（Privileged State）にアクセスできる専門家ポリシー（Expert Policy）と、その中間チェックポイント、および価値関数を使用します。
  • 専門家だけでなく、意図的に行動にノイズ（摂動）を加えたサブオプティマルな軌跡も生成します。これにより、失敗と回復の両方を含む多様な状態 - 行動カバレッジを確保し、世界モデルがオフポリシーな軌跡に対しても正確な予測を行えるようにします。
• 蒸留損失: 以下の損失関数でモデルを事前学習します。
  • 潜在ダイナミクス損失（未来状態の予測誤差）
  • 報酬損失（シミュレーター内の真の報酬との誤差）
  • 価値損失（専門家価値関数との誤差）
  • 行動模倣損失（Expert 行動の場合のみ適用）
• 特徴: 大規模な並列シミュレーションにより、数百万の軌跡から効率的に学習します。

ステップ 2: 現実世界への転移と適応（Real-World Adaptation）

• 凍結と微調整: 現実世界へのデプロイ時、状態エンコーダ、報酬モデル、価値モデルは凍結します。学習対象はダイナミクスモデルのみです。
• オンライン計画: 凍結された報酬・価値モデルを用いて、MPPI（Model Predictive Path Integral）などのサンプリングベースの計画アルゴリズムで行動を決定します。これにより、報酬や価値の学習（ブートストラップ）を必要とせず、ダイナミクス予測の精度向上に伴い即座に行動が改善されます。
• システム同定（System Identification）: 現実世界の少量データ（15-30 分）を用いて、ダイナミクスモデルのみを教師あり学習（Supervised Learning）で微調整します。
  • 損失関数: $L_{real} = \sum \| \hat{z}_{t+i+1} - E_\theta(o_{t+i+1}) \|^2$
  • エンコーダが凍結されているため、表現の再学習（ブートストラップ）の不安定性を回避できます。

---

3. 主要な貢献

1. SimDist フレームワークの提案: 世界モデルベースの転移パラダイムを導入し、現実世界の適応を「単純な教師ありダイナミクス学習問題」に帰着させました。これにより、長期のクレジット割り当て問題を回避し、オフポリシーかつサンプル効率の良い適応を実現しました。
2. 実世界での実証: 2 つの精密操作タスク（ペグ挿入、テーブル脚の取り付け）と 2 つの四足歩行タスク（滑りやすい斜面、発泡スチロール）において、わずか 15〜30 分の実世界データで自律的な改善を達成しました。
3. 報酬・価値モデルのゼロショット転移: シミュレーションで学習した密な報酬・価値モデルが、生の観測から直接、ゼロショットで現実世界に転移可能であることを示しました。これは、特権的なシミュレーション監督信号の活用可能性を広げる重要な発見です。

---

4. 実験結果

評価タスク

• 操作タスク: UR5e ロボットによるペグ挿入（幅広・狭）、テーブル脚の取り付け。
• 歩行タスク: Unitree Go2 による滑りやすい斜面（PTFE 製）と発泡スチロール上での歩行。

結果の概要（Fig. 4 参照）

• サンプル効率: SimDist は、既存のオンライン RL 手法（RLPD, IQL など）や行動模倣（Diffusion Policy, $\pi_{0.5}$）を大幅に上回る性能を、極めて少ないデータ量で達成しました。
• 安定性: 従来の RL 微調整手法は、適応中に性能が急落（Catastrophic Forgetting）する傾向がありましたが、SimDist は学習を通じて一貫して性能が向上しました。
• タスク難易度との相関: 初期条件の範囲が広い（より困難な）タスクほど、SimDist の優位性が顕著になりました。これは、広範なシミュレーション事前学習が、多様な状態への汎化を可能にしているためです。
• 予測精度の向上: 微調整後のダイナミクスモデルは、現実世界の摩擦や接触（例：足元の滑り）を正確に予測できるようになり、計画アルゴリズムが現実の物理挙動を反映した最適な軌跡を選択できるようになりました（Fig. 7 参照）。

---

5. 意義と結論

SimDist は、シミュレーションと現実世界のギャップを埋めるための新しいパラダイムを示しています。

• 構造的な分離: 「タスクのグローバルな構造（何をすべきか）」と「ローカルなダイナミクス（どのように動くか）」を分離し、前者をシミュレーションで固定、後者のみを現実で学習するという戦略は、データ効率と安定性の両立を実現しました。
• 実用性: 従来のモデルベース RL が抱えていた計算コストや不安定性の問題を回避し、実ロボットでの迅速な適応を可能にします。
• 将来展望: 本手法は単一タスクに限定されていますが、マルチタスク世界モデルやより広範なドメインへの拡張が期待されます。

総じて、SimDist は「シミュレーションで世界モデルを事前学習し、現実世界ではダイナミクスのみを適応させる」というアプローチにより、ロボティクスにおける Sim-to-Real 転移の課題に対する強力かつ実用的な解決策を提供しています。