Reinforcement Learning from Cross-domain Videos with Video Prediction Model

技術要約：XIPER – ビデオ予測モデルを用いたクロスドメイン動画からの強化学習

1. 問題設定

本論文は、エージェントとデモンストレーターが視覚的に異なるドメインに存在する場合に、エキスパートの視覚的なデモンストレーションから強化学習（RL）エージェントを学習させるという課題に取り組んでいます。この「クロスドメイン」の設定は、エージェントの色、形態（例：体の形状）、あるいはsim-to-realのギャップなど、エージェントの外観がエキスパートと根本的に異なるという大きなドメインギャップによって特徴付けられます。

決定的なことに、エージェントは以下のものにアクセスできません：

• グラウンドトゥルース（正解）の報酬信号。
• 低次元の状態情報。
• エキスパートのアクションラベル。
• エージェントとエキスパートのドメイン間のペアデータ。

エージェントは、自身のドメインからの生の視覚的観測と、異なるドメインからのラベルなしのエキスパート動画のみを受け取ります。核心となる困難は、不安定な敵対的学習や、スケールアップに失敗しやすいドメイン不変な表現に頼ることなく、エキスパートのような振る舞いを再現するようにエージェントを導くための、意味のある報酬信号をいかに導出するかという点にあります。

2. 手法：XIPER

著者らは、クロスドメイン・ビデオ予測尤度（cross-domain video prediction likelihood）を報酬信号として使用することで、敵対的学習を回避するフレームワークであるXIPER（Cross-domain Video Prediction Reward）を提案しています。このシステムは、「もしエージェントの振る舞いがエキスパートのデモンストレーションと一致していれば、エージェントの観測値（エキスパートの視覚スタイルに変換された後）は、エキスパートの動画で学習されたモデルによって高度に予測可能であるはずだ」という前提に基づいています。

この手法は、主に2つのコンポーネントで構成されており、どちらもRLフェーズの前にオフラインで事前学習され、その後は固定されます。

1. ドメイン変換モデル ($T_\phi$):

   • このコンポーネントは、エージェントの観測値をエージェントドメイン ($A$) からエキスパートドメイン ($E$) へマッピングします。
   • ペアデータが利用できないため、Neural Optimal Transport (NOT) 目標関数を用いた非対（unpaired）画像間変換問題として学習されます。これは、コンテンツを保持しながら、変換されたエージェントの画像とエキスパートの画像の分布間の距離を最小化します。
   • これは、両方のドメインから事前に収集されたランダムな観測値を用いて学習されます。

2. エキスパートドメイン・ビデオ予測モデル ($p_\theta$):

   • VideoGPTに基づいたこの生成モデルは、過去のエキスパートのフレームシーケンスが与えられた際に、次のエキスパートのフレームを予測することで、エキスパートの振る舞いの分布を学習します。
   • これは、$k=16$ フレームのコンテキストウィンドウにおける最大尤度目標関数を用いて、エキスパートの軌跡を用いて学習されます。

報酬信号:
RL学習中、エージェントの直近の観測シーケンスは、まず $T_\phi$ を用いてエキスパートドメインへと変換されます。次に、ビデオ予測モデルが、変換されたコンテキストに基づく現在の変換後の観測値の対数尤度を計算します。この尤度が報酬 ($r_t^{xiper}$) となります：
$$r_t^{xiper} = \ln p_\theta(T_\phi(o_t) | T_\phi(o_{t-k:t-1}))$$
尤度が高いほど、エージェントの振る舞いがエキスパートの分布と一致していることを示します。探索を促進するために、不確実性に基づく探索ボーナスが追加されます。

RLエージェント（バックボーンとしてDreamerV3を使用）は、この報酬信号を最適化し、累積リターンを最大化するように学習します。これにより、実質的に、自身の変換された観測値がエキスパートのビデオモデルによって予測可能になるような振る舞いを学習します。

3. 主な貢献

• 斬新な報酬定式化: グラウンドトゥルースの報酬、状態情報、または敵対的学習を必要とせず、ピクセル観測のみを用いて異なる視覚ドメイン間でのラベルなしエキスパート動画からの学習を可能にする、クロスドメイン報酬モデルであるXIPERを導入しました。
• 実証的な優位性: DMC Color Suite（色のギャップがある8つのタスク）およびDMC Body Suite（形態的なギャップがある3つのタスク）において、XIPERが競合するベースライン（同一ドメインのビデオ予測、敵対的模倣学習、ドメイン混乱法を含む）を一貫して上回ることを示しました。
• Sim-to-Realへの適用可能性: XIMPERが、シミュレーション上のエキスパート動画のみを使用して、実世界のロボット観測に対して意味のある報酬信号を生成できることを示す分析を行い、手動のアノテーションなしに報酬生成におけるsim-to-realのギャップを克服できることを証明しました。
• アブレーション研究: 設計上の選択肢に関する体系的な分析を行い、精密なタスクには高品質な変換（低いFID）が極めて重要であること、および特定の探索係数（$\beta=1$）が最も堅牢なパフォーマンスをもたらすことを確認しました。

4. 実験結果

著者らは、DeepMind Control (DMC) シリーズの11タスクと、Sim-to-Realデータセット（Lynx Robot）を用いてXIPERを評価しました。

• パフォーマンス: XIPERは、12個のDMCタスク中9個において、すべてのベースラインよりも高いリターンを達成しました。
  • Color Suiteにおいて、XIPERはベースラインを上回りました。同一ドメインのベースライン（VIPER）も一定の汎化性能を示しましたが、堅牢性には欠けていました。
  • Body Suite（形態的変化）において、XIPERはすべてのベースラインを大幅に上回りました。特筆すべきは、敵対的ベースライン（XAIL, TPIL-Dv3）が不安定な学習曲線と低いパフォーマンスに陥ったことであり、これは強力なRLバックボーンを用いたとしても、敵対的手法の不安定さが顕著であることを浮き彫りにしました。
• 報酬の質: 尤度ベースの報酬は、ランダムな軌跡およびエキスパートの軌跡の両方において、グラウンドトゥルースのタスク報酬と強く相関していました。
• 変換の汎化: ランダムなデータのみで学習されたドメイン変換モデルは、分布外（out-of-distribution）のエキスパートの軌跡に対しても正常に汎化し、エージェントの色や形態をエキスパートドメインに一致するように正確に変換できました。
• Sim-to-Real: Lynx Robotの実験において、変換モデルは実世界の視覚的ノイズ（配線、ハードウェア）を効果的に除去し、シミュレーションスタイルの画像を作成することに成功しました。その結果得られた実ロボットのエピソードに対するXIPERの報酬は、グラウンドトゥルースのタスク報酬とよく相関しており、報酬生成におけるsim-to-real転移の可能性を検証しました。

5. 意義と主張

本論文は、XIPERが、クロスドメインの視覚的RLにおける、敵対的模倣学習に代わるスケーラブルで安定した選択肢を提供すると主張しています。生成ビデオ予測と非対変換を活用することで、ドメイン不変な表現の必要性と、GANベースの学習に伴う不安定さを排除しています。

著者らは、本手法がオンライン動画をエキスパートのデモンストレーションの膨大なソースとして解放し、労力の要る報酬エンジニアリングやコストのかかるドメイン固有のデータ収集を不要にすることを強調しています。現在の研究は、報酬信号の質とシミュレーションにおけるエージェントの学習能力を検証していますが、著者らは謙虚に、物理ロボット上でのオンラインRL学習によるループを閉じることは、今後の必要なステップであると述べています。また、変換モデルをランダムなデータのみで学習することは、精密な長期的（long-horizon）な振る舞いを必要とするタスクにおいてボトルネックとなる可能性があることを認め、高度な探索戦略や共同最適化を探索する将来の研究の可能性を示唆しています。