技術的概要：オフライン強化学習におけるドメインギャップの解消に向けたターゲット整合性生成

問題定義

クロスドメインのオフライン強化学習（RL）は、オンラインインタラクションを一切行わず、事前収集されたデータセットのみを用いて、ソースドメインからターゲットドメインへ方策を転移することを目的とする。この設定は、オンラインデータ収集がコスト的に不可能または危険である、異種ロボット制御やシミュレーションから実世界への転移などの応用において極めて重要である。

この領域における主要な課題は、特にターゲットデータセットが極めて限定的（$|D_{tar}| \ll |D_{src}|$）である場合の、ソースドメインとターゲットドメイン間の分布ミスマッチである。既存の手法は、しばしばソースデータをフィルタリングしてターゲット分布に近い遷移を見つけることでこのギャップを埋めようとする。しかし、著者らは、ダイナミクスのギャップが大きい場合、たとえ「最隣接」のソース遷移を直接組み込んでも、著しい分布ミスマッチを引き起こし、ターゲットデータのみで学習する場合と比較して性能が低下することを示している。逆に、限られたターゲットデータのみを頼りにすると、効果的な方策学習に必要な状態カバレッジを十分に提供できないことが多い。

手法：ターゲット整合性カバレッジ拡張（TCE）

ソースデータの活用と分布ミスマッチの回避というトレードオフに対処するため、著者らはターゲット整合性カバレッジ拡張（TCE）を提案する。TCE は、ソースデータをどのように利用すべきかを理論的に導くフレームワークであり、ターゲットに近い遷移の直接組み込み、あるいはターゲット整合性生成を介した状態カバレッジの拡張のいずれかを行う。

理論的基盤

この手法は、ターゲットマルコフ決定過程（MDP）と混合 MDP（ソースとターゲットのダイナミクスを組み合わせる）との間の性能ギャップの理論的分析に基づいている。著者らは、性能ギャップが以下の 2 つの構成要素によって支配されることを示す境界（定理 4.1）を導出した。

1. ダイナミクスギャップ: ソース遷移ダイナミクス（$P_{src}$）とターゲットダイナミクス（$P_{tar}$）間の全変動距離。
2. 生成誤差: 生成された近似ターゲット遷移（$\hat{P}_{tar}$）と真のターゲットダイナミクス間の距離。

TCE は、2 つの係数を調整することでこれらの誤差源を制御する。

• $\lambda_{mix}$: 直接組み込むソースデータの割合を制御する（生成誤差を最小化するが、ダイナミクスギャップを増大させる可能性がある）。
• $\lambda_{cov}$: 生成を介した状態カバレッジ拡張の程度を制御する（ダイナミクスギャップを最小化するが、生成誤差を増大させる可能性がある）。

アルゴリズム的枠組み

TCE は、ターゲットダイナミクスと整合しつつ拡張された状態空間をカバーする遷移を合成するために、確率微分方程式（SDE）に基づく双スコア生成モデルを採用する。

1. 双スコアネットワーク:

   • 混合状態スコアネットワーク（$q^{mix}_\theta$）: ターゲット状態とターゲットに近いソース状態（最隣接基準で選択）の制御可能な混合に基づいて訓練される。このネットワークは拡張された状態分布をモデル化する。
   • ターゲット遷移スコアネットワーク（$q^{tran}_\theta$）: ターゲット遷移のみに基づいて訓練される。現在の状態を条件として次の状態を生成し、遷移ダイナミクスがターゲットドメインと整合することを保証する。

2. 2 段階サンプリング手順:

   • ステージ 1（状態サンプリング）: $q^{mix}_\theta$ によって導かれる逆 SDE を用いて、混合状態分布から状態 $\hat{s}_t$ をサンプリングする。
   • ステージ 2（遷移サンプリング）: $q^{tran}_\theta$ によって導かれる逆 SDE を用いて、$\hat{s}_t$ を条件として次の状態 $\hat{s}_{t+1}$ を生成する。
   • 補助モデル: ターゲットデータで訓練された逆ダイナミクスモデルと、両ドメインで訓練された報酬モデルを用いて、アクション $\hat{a}_t$ と報酬 $\hat{r}_t$ を復元し、遷移タプルを完成させる。

3. 方策学習:
   最終的な訓練データセット（$D_{train}$）は、ターゲットデータセット（$D_{tar}$）、生成されたターゲット整合性遷移（$D^{gen}_{\lambda_{cov}}$）、および任意にフィルタリングされたソース遷移のサブセット（$D^{src}_{\lambda_{mix}}$）を組み合わせることで構築される。オフライン RL アルゴリズム（Implicit Q-Learning, IQL）が、ターゲットの行動方策からの逸脱を罰する KL 正則化項付きで、この拡張データセット上で訓練される。

主要な貢献

• ターゲット整合性カバレッジ拡張（TCE）: シンプルなソースデータフィルタリングを超えた新規フレームワーク。ドメインギャップの大きさに基づき、ソースデータを直接利用するか、ターゲット整合性遷移の生成に活用するかを明示的に決定する。
• 理論的分析: クロスドメインの性能ギャップをダイナミクスミスマッチと生成誤差に形式的に分解し、データ混合と生成のバランスを取るための理論的基盤を提供する。
• 双スコアベースのアーキテクチャ: 状態カバレッジ拡張と遷移モデル化を分離する 2 段階生成アプローチ。この設計は、低データ領域で状態 - アクション - 次状態マッピングを直接学習する際に一般的に発生する失敗モードである、限られたターゲットデータへの過学習を防ぐ。
• 実証的検証: 多様なクロスドメイン設定において、TCE が最先端のベースラインを一貫して上回ることを示す広範な実験。

実験結果

著者らは、形態、運動学、重力のシフトを網羅する MuJoCo 連続制御タスク（HalfCheetah, Hopper, Walker2d, Ant）および Adroit 巧緻操作タスクにおいて TCE を評価した。

• 性能: TCE は MuJoCo の形態シフトタスク 36 件中 33 件で最高平均性能を達成し、Adroit タスクではすべてのベースラインを上回った。
• 大規模ギャップへの頑健性: ダイナミクスギャップが大きいシナリオ（顕著な形態変化や極端な重力シフトなど）において、変種 TCE(OG)（生成された遷移のみを使用、$\lambda_{mix}=0$）は、ソースデータを直接混合する手法を著しく上回った。これは、大規模ギャップ下での naïve なソース組み込みが有害となり得ることを確認するものである。
• 小規模ギャップ: 穏やかな設定（重力シフトなど）では、変種 TCE(SM)（ソースデータを組み込み、$\lambda_{mix} > 0$）が優れた性能を示し、フレームワークの適応性を検証した。
• アブレーション研究:
  • カバレッジ係数（$\lambda_{cov}$）: 性能はトレードオフ曲線に従う。カバレッジを過度に積極的に拡張すると生成誤差が増大し、性能が低下する。中程度の値（例：0.2）が最適であることが判明した。
  • 2 段階設計: 分離された 2 段階設計が決定的に重要であることが示された。状態 - アクション対から直接次状態を推定する「1 段階」ベースラインは、限られたターゲットデータへの過学習により、著しく高い誤差と低い性能に陥った。

意義と主張

本論文は、TCE がオンラインインタラクションが不可能な安全性重視またはコスト敏感なドメインにおいて、クロスドメインオフライン RL に対するシンプルかつ実用的な解決策を提供すると主張する。データを混合するか生成するかという決定を理論的に根拠づけることで、TCE は既存の手法を悩ませる分布ミスマッチを緩和する。

著者らは、そのアプローチが万能薬ではないことを強調している。これは共有された状態空間とアクション空間を前提とし、生成を導くために限られたターゲットデータセットに依存する。ソースとターゲットがほとんど支持を共有しない極端なミスマッチのシナリオには限界があることを認めている。それでもなお、結果は、ドメインギャップが大きい場合、ターゲット整合性生成が直接データ混合よりも堅牢な戦略であり、限られたターゲットデータでの効果的な方策学習を可能にすることを示唆している。