技術的要約：オフライン・ドメイン・ランダム化における統計的保証

問題定義

強化学習（RL）エージェントは、シミュレーションと現実の間のダイナミクスの不一致に起因する「Sim-to-Realギャップ」により、シミュレーションから実世界へ展開する際に失敗することが頻繁にあります。**ドメイン・ランダム化（DR）**は、物理パラメータをランダム化した一連のシミュレータを用いてポリシーを訓練することで、この問題を軽減するための支配的な戦略ですが、標準的なDRは通常、広範なパラメータ範囲に対する一様ランダム化（UDR）に依存しています。このアプローチは、実システムから収集された既存のオフラインデータを利用していません。

**オフライン・ドメイン・ランダム化（ODR）**は、ポリシーを訓練する前に、オフラインデータセットに対してシミュレータのパラメータ分布を適合させることで、この問題に対処します。DROPOやDROIDといった経験的手法は成功を示していますが、ODRの理論的基礎は未探索のままです。具体的には、データが増加するにつれて、適合された分布が真のダイナミクスに収束するかどうか、また、ODRがSim-to-Realギャップを減少させる上で理論的にUDRとどのように比較されるのかは不明です。

手法および定式化

著者らは、ODRを、パラメトリックなシミュレータ族に対する**最大尤度推定（MLE）**問題として定式化しています。

1. セットアップ: 環境はエピソード的なマルコフ決定過程（MDP）としてモデル化されます。現実世界の環境は $M_{\xi^*}$ であり、$\xi^*$ は未知の真のパラメータベクトルです。シミュレータのクラス $\mathcal{U} = \{M_\xi : \xi \in \Xi\}$ が定義されています。
2. オフラインデータ: オフラインデータセット $\mathcal{D} = \{(s_i, a_i, s'_i)\}_{i=1}^N$ は、未知の振る舞い方の方策（behavior policy）の下で実システムから収集されます。
3. 推定: 目標は、観測された遷移の尤度を最大化する分布 $p_\phi(\xi)$（パラメータ $\phi = (\mu, \Sigma)$ でパラメータ化され、ガウス分布と仮定）を推定することです。目的関数は以下の通りです：
   $$\hat{\phi}_N = \arg\max_{\phi \in \Phi} \sum_{(s,a,s') \in \mathcal{D}} \log \left( \mathbb{E}_{\xi \sim p_\phi(\xi)} [P_\xi(s' | s, a)] \right)$$
   この定式化は、遷移確率を、学習された分布によって重み付けされたシミュレータ遷移の混合として扱います。
4. ポリシー訓練: $\hat{\phi}_N$ が学習された後、この分布をドメイン・ランダム化の事前分布として用いて、シミュレータ内でポリシーが訓練されます。

主な貢献と理論的結果

本論文は、ODRの統計的一貫性の証明を提供し、学習された分布が真のダイナミクスに収束する条件を確立しています。

1. 弱一致性 (Section 4)

緩やかな正則性、正値性、および識別可能性の仮定の下で、著者らはODR推定子が**弱一致性（weakly consistent）**を持つことを証明しています。

• 仮定:
  • シミュレータの正則性: 遷移密度はパラメータに対して有界かつ連続であること。
  • コンパクト性: パラメータ空間はコンパクトであること。
  • 混合の正値性: 誘導された混合密度は、データセットのサポート上で厳密に正であること。
  • 識別可能性: 真の遷移カーネルを正確に復元する唯一の混合分布は、真のパラメータ $\xi^*$ における退化分布であること。
• 結果: データセットのサイズ $N \to \infty$ のとき、経験的最大化子 $\hat{\phi}_N$ は真のパラメータ $\phi^* = (\xi^*, 0)$ に確率収束します。
  $$\hat{\phi}_N \xrightarrow{P} \phi^*$$

2. 強一致性 (Section 5)

対数尤度関数に一様リプシッツ連続性の仮定を加えることで、著者らはこの結果を**強一致性（strong consistency）**へとアップグレードしています。

• 仮定: 対数尤度関数は、分布パラメータ $\phi$ に関して一様リプシッツ連続であること。
• 結果: 推定値は真のパラメータに**ほとんど確実に（almost surely）**収束します。
  $$\hat{\phi}_N \xrightarrow{a.s.} \phi^*$$
  これは、データが増加するにつれて、推定された分布が真のシミュレータパラメータの上に正確に崩壊することを意味します。

3. 実用性と緩和 (Section 6)

著者らは、仮定の実用性を分析し、適用範囲を広げるための緩和策を提供しています。

• i.i.d. 仮定: 独立同一分布（i.i.d.）データの要求は、厳密な定常性とエルゴード性へと緩和できます。これは、固定された振る舞い方の方策によって収集されたデータにおいて成立します。
• 混合の正値性: 厳密な正値性の仮定は、密度がゼロに近づく可能性があるライトテイル（軽裾）の分布族（例：ガウス分布）を許容する対数裾条件へと緩和可能です。
• リプシッツ連続性: リプシッツ連続性の要件に対する十分条件が提供されています。それは、シミュレータの遷移カーネルが、物理パラメータに関して、有界な勾配とヘッセ行列を持つ、2回連続微分可能（$C^2$）であることです。これは、滑らかな物理学によって制御されるシミュレータによって満たされます。
• 部分的カバレッジ: データセットが状態・行動空間全体をカバーしていない場合、推定値は単一の点ではなく、観測的に区別不可能なパラメータの識別集合 $Q^*_\mu$ に収束します。

意義と主張

本論文は、ODRを原理に基づいた基盤の上に置くと主張しています。一致性を証明することで、ODR手法（DROPOなど）が手動で調整された一様DRよりも優れているという経験的な観察を正当化しています。本研究は、経験的な成功と理論的な理解の間の溝を埋め、学習された分布が真のダイナミクスに収束するかどうかを明らかにしています。

著者らは、これらの結果が、オフラインデータがいつダウンストリームのオフラインRLのためのランダム化分布の選択を正当に導き得るかを明確にすることを明言しています。彼らは、Sim-to-Realギャップを普遍的に解決すると主張しているのではなく、前提条件（またはその緩和策）が成立する場合において、ODRの使用を正当化するために必要な統計的保証を提供しています。本研究は、経験的な成功を単一のフレームワークの中で理論的な保証と統合し、より広範な設定においてODRの適用可能性を正当化するための診断と緩和策を提供しています。