EXPERTGEN: 不完全な行動事前知識からのスケーラブルなシミュレーションから実世界への専門家ポリシー学習

本論文は、ロボット工学における「シミュレーションから実世界への転移（Sim-to-Real）」を可能にする新しいフレームワークEXPERTGENを提案しています。このフレームワークは、不完全な行動データ（不完全なデモンストレーション）を基に、大規模なシミュレーション環境で強化学習（RL）を用いて高品質な専門家ポリシーを自動生成し、実世界のロボットにゼロショットで展開することを目的としています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

---

1. 背景と問題定義

深層学習の成功は大量の高品質なデータに支えられていますが、ロボット工学、特に物理的な実行を伴うタスクにおいては、高品質な専門家データ（人間のテレオペレーションなど）を大規模に収集することは極めてコストが高く、現実的ではありません。

既存のアプローチには以下のような課題があります：

• シミュレーションの限界: 事前に定義されたスキルライブラリやスクリプトされたポリシーは、失敗からの回復や分布の変化（ドメインシフト）に対して脆弱です。
• 強化学習（RL）の課題: RL は優れた汎化能力を持ちますが、高品質な専門家ポリシーを学習させるためには、通常、高度なドメイン知識を要する「報酬関数の設計（Reward Engineering）」が必要であり、スケーラビリティのボトルネックとなっています。
• 不完全な事前知識: 大規模言語モデル（LLM）や簡易なスクリプトから生成されたデモンストレーションは、状態カバレッジが不十分であったり、失敗時の回復行動が含まれていなかったり、物理的なダイナミクスと実世界でズレ（Mismatch）が生じたりします。

EXPERTGENは、これらの課題を解決し、以下の 4 つの特性を持つポリシー学習を実現することを目指します：

1. 示された軌道を超えた空間的な汎化能力。
2. 失敗からの堅牢な回復能力。
3. 実世界システムへの転移可能性。
4. 報酬設計なしでの、スパースなタスクレベル報酬による学習。

2. 手法：EXPERTGEN フレームワーク

EXPERTGEN は、3 つの主要な段階で構成されるエンドツーエンドのフレームワークです（Fig. 1, Fig. 2 参照）。

段階 1: 生成モデルによる不完全な行動事前知識の構築

• 入力: 不完全なデモンストレーション（LLM 生成のスクリプトや人間のテレオペレーションなど）。これらは状態カバレッジが不完全で、失敗回復行動が含まれていない可能性があります。
• モデル: これらのデータを用いて、**拡散ポリシー（Diffusion Policy）**を事前学習します。このポリシーは、実世界で実行可能な（Feasible）が、必ずしもタスク成功を保証しない「行動の事前分布（Behavior Prior）」として機能します。
• 特徴: 拡散モデルは、人間の自然な動作多様性（Manifold）を保持しつつ、構造化された動作を生成します。

段階 2: 大規模並列シミュレーションにおける拡散制御強化学習（DSRL）

• アプローチ: 事前学習された拡散モデルのパラメータを固定し、タスク成功を最大化するために、拡散モデルの**初期ノイズ（Initial Noise）**のみを強化学習で最適化します。
• アルゴリズム: FastTD3（大規模並列シミュレーション向けに最適化された TD3 の変種）を使用します。
  • 拡散制御（Steering）: 行動空間全体を再学習するのではなく、拡散モデルが生成する動作の「方向」を初期ノイズを通じて制御します。これにより、探索が安全で人間らしい動作の多様性（In-distribution）の範囲内に制限され、分布外（Out-of-distribution）の危険な動作を防ぎます。
  • スパース報酬: 報酬関数はタスク成功（1）か失敗（0）かのバイナリ信号のみ（スパース報酬）を使用し、複雑な報酬設計を不要にします。
• 環境: IsaacLab などの大規模 GPU 並列シミュレーション環境で実行され、長期的なタスクや多様な初期状態を効率的に学習します。

段階 3: DAgger による視覚運動ポリシーの蒸留（Distillation）

• 目的: 状態ベースの専門家ポリシー（シミュレーション内の完全な状態情報を使用）を、実世界のロボットで実行可能な**視覚運動ポリシー（Visuomotor Policy）**に変換します。
• 手法: **DAgger（Dataset Aggregation）**アルゴリズムを使用します。
  • 学習中の学生ポリシー（視覚入力のみ）がシミュレーション内で状態を訪問し、その状態に対して専門家教師が最適な行動をラベル付けします。
  • これを反復的に行うことで、分布シフト（Distribution Shift）を解消し、閉ループ制御での誤差蓄積を防ぎます。
• ドメインランダム化: テクスチャ、照明、カメラ姿勢、物体の外観などを大規模にランダム化することで、実世界への転移性を高めます。

3. 主要な貢献

1. 大規模並列シミュレーションへの拡散制御の拡張:
   拡散モデルの自然な動作多様性を保持しつつ、スパースな報酬下でタスク成功率を劇的に向上させる手法を実証しました。
2. EXPERTGEN フレームワークの提案:
   数少ない不完全なデモンストレーションから、報酬設計なしで実世界対応の専門家ポリシーを生成するエンドツーエンドの枠組みを構築しました。
3. 堅牢なゼロショット Sim-to-Real 転移:
   大規模な DAgger ベースの蒸留と視覚的ドメインランダム化を組み合わせることで、シミュレーションで学習した専門家ポリシーを、実世界のロボットハードウェア上で高い成功率で動作させることに成功しました。

4. 実験結果

論文では、2 つの主要なベンチマーク（ANYTASK と AutoMate）で評価が行われました。

性能評価（ANYTASK & AutoMate）

• ANYTASK（8 種類のマニピュレーションタスク）:
  • EXPERTGEN はすべてのタスクで最良の成功率を達成しました。
  • 短時間タスク（例：リフト、引き出し開け）では成功率がほぼ 100% に達しました。
  • 長時間タスクでも、ベースライン（スクリプト、拡散ポリシー単体、残差 RL など）を大幅に上回りました。
• AutoMate（産業用組立タスク）:
  • 高精度なピッグ挿入タスクなど、8 つのタスクで**全体の成功率 90.5%**を達成しました。
  • 不完全な接触ダイナミクスを持つ事前知識からでも、高品質な組立タスクを解決できることを示しました。

失敗回復能力

• 把持器のランダムな解放や、エンドエフェクタへの外部力などの摂動を加えたテストにおいて、EXPERTGEN は成功率の低下が最小限（平均 0.5%〜28.6% の低下）に抑えられました。
• 対照的に、ベースの拡散ポリシーは外部力に対して極端に敏感で、成功率がほぼ 0 になりました。

滑らかさと実行可能性

• 学習された軌道の滑らかさ（Jerk 成本）と、事前知識との類似性（DTW）を評価しました。
• 残差 RL（Residual RL）は、大きな行動スケール設定で不自然でジッター（振動）のある動作を示す傾向がありましたが、EXPERTGEN は滑らかさとタスク成功率のバランスが優れていました。

実世界への転移（Sim-to-Real）

• 実機実験: Franka 研究用ロボット（Robotiq 2F-85 グリッパー）で評価。
• 点群ベース: 引き出し開けやリンゴの持ち上げなど、複雑な接触を伴うタスクで、従来の行動クローニング（BC）を大幅に上回る成功率（例：引き出し開けで 85%）を達成。
• RGB ベース: 視覚入力（RGB 画像）のみで制御するポリシーも、実世界で80% の成功率を達成。視覚的なノイズや混雑した環境に対しても堅牢でした。

5. 意義と結論

EXPERTGEN は、ロボット学習における「データ不足」と「報酬設計の難しさ」という 2 つの大きなボトルネックを同時に解決する有望なアプローチを示しました。

• スケーラビリティ: 不完全なデータ（LLM 生成や簡易スクリプト）からでも、大規模シミュレーションを通じて高品質なデータを自動生成・洗練できるため、人手によるデータ収集コストを劇的に削減できます。
• 安全性と汎用性: 拡散モデルを固定しノイズのみを制御するアプローチは、学習プロセスを「人間らしい安全な動作の範囲」に制限し、実世界での安全性を担保します。
• 実用性: 複雑な産業用組立タスクや、失敗からの回復が必要な長期的なタスクにおいて、実世界で即座に使用可能なポリシーを生成できることを実証しました。

将来的には、事前知識の範囲を超えた新しいスキル（例：倒れた物体を元に戻すなど）の生成を可能にするため、より柔軟な生成事前知識（Classifier-free guidance など）の導入が検討されるべきですが、現在の EXPERTGEN は、シミュレーションから実世界への高品質なロボット学習を実現する実用的でスケーラブルな道筋を示す重要な成果です。