Continual Domain Randomization

Josip Josifovski 氏らによる論文「Continual Domain Randomization」の詳細な技術的サマリーを以下に示します。

1. 問題定義

ロボティクスにおける深層強化学習（DRL）は、サンプル効率の低さや安全性への懸念を克服するため、しばしばシミュレーション環境に依存しています。しかし、「リアリティギャップ（現実との隔たり）」—すなわちシミュレーションと実世界との間の不一致—は、さらなる調整なしに方策を転移（sim2real）させた際に、性能の低下を招くことがよくあります。

• 既存アプローチの限界:
  • 完全なシミュレーション: ハードウェアの摩耗や環境変化により、複雑なシステムにおいて完全なシミュレーションを実現することは不可能です。
  • ドメイン適応（ファインチューニング）: 実世界データが必要であり、時間がかかり、潜在的に危険を伴います。
  • 標準的なドメインランダム化（DR）: 現実とのギャップをカバーするため、すべてのシミュレーションパラメータを同時にランダム化します。しかし、一度に多すぎるパラメータをランダム化すると、タスクの複雑性とエージェントの不確実性が増大し、最適でない方策の生成や収束の失敗につながることがあります。
  • CL なしによる逐次ランダム化: パラメータのサブセットに対して逐次的に学習を行う際、以前のステップの知識を保持しない場合、破滅的な忘却が発生します。これにより、エージェントは最も直近のランダム化に過剰適合し、以前のランダム化に対する頑健性を失います。

2. 手法：継続的ドメインランダム化（CDR）

著者らは、ドメインランダム化と**継続的学習（CL）を組み合わせ、ランダム化パラメータのサブセットに対する逐次学習を可能にしつつ、以前のステップからの知識を保持するフレームワークである継続的ドメインランダム化（CDR）**を提案します。

中核的なワークフロー

1. 初期化: エージェントはまず、ランダム化のない理想化されたシミュレーションで基礎タスクを学習します。
2. 逐次学習: その後、エージェントはシミュレーションの系列に対して学習を行います。各ステップでは、特定のランダム化パラメータのサブセット（例：遅延、トルク、ノイズ）が有効化されます。
3. 継続的学習: 破滅的な忘却を防ぐため、システムは正則化ベースの CL アルゴリズムを採用し、以前のランダム化の影響を「記憶」します。

アルゴリズム的実装

著者らは、Proximal Policy Optimization (PPO) と Elastic Weight Consolidation (EWC) を組み合わせた 2 つの変種を実装しました。

• CDR-λ（オフライン）:

  • EWC を用いて方策ネットワークを正則化します。
  • 各過去のタスクに対して、ネットワークパラメータ（$\theta^*$）と経験的フィッシャー情報行列（FIM）の個別のスナップショットを保持します。
  • 損失関数: $L(\theta) = L_C(\theta) + \sum \frac{\lambda_i}{2} ||\theta - \theta^*_i||^2_{F_i}$
  • トレードオフ: メモリ使用量が高い（タスク数に比例して増加）ものの、過去の知識の保持が強力です。

• CDR-Oλ（オンライン）:

  • メモリオーバーヘッドを削減するため、Online-EWC 変種を使用します。
  • 1 つのネットワークスナップショットと、単一の累積フィッシャー情報行列のみを保持します。
  • フィッシャー行列は再帰的に更新されます: $F^*_i = \gamma F^*_{i-1} + F_i$。
  • トレードオフ: メモリ使用量は一定ですが、オフライン版と比較して非常に古いタスクの保持が弱くなる可能性があります。

• 正規化: 重要な技術的詳細として、各タスクの後にフィッシャー情報行列の要素を $[0.0, 1.0]$ の範囲に正規化します。これにより、正則化定数 $\lambda$ を異なるタスクの任意のスケーリングから切り離すことができ、系列全体で単一の $\lambda$ を使用可能になります。

3. 実験設定

著者らは、KUKA LBR iiwa 14 アームを用いた 2 つのロボティクス操作タスクで CDR を評価しました。

1. 到達タスク: 2 関節アームが目標に到達するタスク。
2. 把持タスク: Robotiq 3 指グリッパーを備えた 7 関節冗長アームが立方体を把持するタスク。

ランダム化パラメータ:
3 つのパラメータを異なる順序（例：トルク $\to$ 遅延 $\to$ ノイズ）で逐次的にランダム化しました。

• 遅延（L）: 状態観測におけるランダムな遅延。
• トルク（T）: 関節の剛性と減衰のランダム化。
• ノイズ（N）: センサノイズ。

ベースライン:

• Ideal: ランダム化されていないシミュレーションで学習。
• Randomized: すべてのパラメータを同時にランダム化して学習。
• Finetuning: CL なし（正則化なし）の逐次学習。

4. 主要な結果

到達タスク

• Sim2real パフォーマンス: Ideal モデルはシミュレーション内では最高性能を示しましたが、実世界では過剰適合により失敗しました（高いジッター、低い報酬）。一方、Randomized ベースラインは実世界では良好に機能しましたが、シミュレーション内の報酬は低かったです。
• CDR のパフォーマンス: 両方の CDR 変種は、完全にランダム化されたベースラインと同等かそれ以上の sim2real 転移を達成しました。
  • CDR-Oλ は、最も高い実世界の報酬と安定性を達成しました。
  • Finetuning はシミュレーション内では良好に機能しましたが、CDR に比べ実世界への転移性能は劣っており、以前のランダム化を忘却することが有害であることを確認しました。
• 順序への感受性: 逐次的なベースライン（Finetuning）は、ランダム化の順序に対して非常に敏感でした。CDR はパラメータの順序に対して著しく頑健でした。

把持タスク

• 複雑性: 把持タスクはより高度な精度を必要とするため、より困難でした。
• 安定性: CDR 戦略は、Finetuning に比べ、分散が低く、学習の進行がより安定していました。
• 実世界での成功:
  • CDR-Oλ は、シミュレーションで78%、実世界で60%（NLT 順序の場合）の把持成功率を達成し、ランダム化ベースライン（実世界成功率 40%）を上回りました。
  • Finetuning は高い分散を示しました。順序によっては最良または最悪のパフォーマンスとなり、その不安定さを浮き彫りにしました。
  • CDR モデルは、ランダム化の順序に関わらず一貫したパフォーマンスを提供しました。

正則化強度（$\lambda$）

• 低い $\lambda$: モデルは Finetuning のように振る舞い（以前のタスクを忘却）、実世界への転移が不良になります。
• 高い $\lambda$: モデルは硬直化しすぎ、新しいランダム化に適応できず、シミュレーションと実世界の両方で性能が低下します。
• 最適範囲: 中間範囲の $\lambda$ が最良のバランスを提供し、適応性を維持しつつ頑健性を保つことができました。

5. 主要な貢献

1. 新規フレームワーク: 破滅的な忘却なしに逐次的に複雑性を導入するよう、ドメインランダム化を継続的学習問題として扱う**継続的ドメインランダム化（CDR）**の導入。
2. メモリ効率: 単一のフィッシャー行列を保持することで従来の EWC の線形メモリスケーリングを回避し、長いランダム化系列に対してスケーラブルにした**オンライン CDR（CDR-Oλ）**変種の開発。
3. 順序への頑健性: 標準的な逐次ファインチューニングと比較して、CDR がランダム化パラメータの導入順序に対してより敏感でないことの証明。
4. ゼロショット転移: 実世界データやドメイン適応を必要とせず、実ロボット上での成功したゼロショット sim2real 転移。

6. 意義と結論

本論文は、ロボティクス RL における重要なボトルネック、すなわち高ランダム化での学習の難しさと、特定のシミュレーションへの過剰適合のリスクとの間のトレードオフに対処します。継続的学習を統合することで、CDR はエージェントが多様なシミュレーション条件にわたって「学習の仕方を学ぶ」ことを可能にし、幅広いダイナミクスに対して頑健な方策を構築します。

• 実用的な影響: CDR は、すべてのランダム化パラメータを事前に定義する必要も、微調整のための実世界データへのアクセスも必要としない、柔軟で一般的な sim2real 転移フレームワークを提供します。
• 将来の課題: 著者らは、最適なパラメータ範囲を動的に決定するために CDR を自動化されたまたは能動的なドメインランダム化と組み合わせ、アプローチを視覚ベースのランダム化に拡張することを提案しています。

要約すると、CDR は静的なランダム化と単純な逐次ファインチューニングの両方に対する優れた代替手段を提供し、複雑なロボティクス操作タスクにおいて最先端の sim2real パフォーマンスを達成します。