How Should a Simulation-to-Reality Transfer Budget Be Spent?

技術要約：シミュレーションから現実への転移予算をどのように配分すべきか？

問題提起
ロボット学習において、「リアリティ・ギャップ」は、シミュレーション上で訓練された方策が、シミュレーションと真のダイナミクスの間の不一致により、物理ハードウェア上で失敗することから生じる。これに対処する2つの主要な戦略として、実機データを用いて物理パラメータを推定しシミュレータを調整する**システム同定（System Identification: ID）と、ランダム化されたシミュレータの分布上で方策を訓練して堅牢な挙動を学習させるドメイン・ランダム化（Domain Randomization: DR）**がある。両戦略は、限られたリソースである実機での相互作用時間（ロールアウト）を奪い合う。既存の文献ではこれらの手法を個別に研究することが多いが、精密な測定（ID）への割り当てと、より広いランダム化分布の正当化（DR）との間のトレードオフについては、十分に理解されていない。本論文は、この選択を予算配分問題として捉える。すなわち、固定された実機ロールアウト数を与えられたとき、同定とランダム化の幅にどのように分配すべきかという問題である。

手法
著者らは、物理ハードウェアによる混同変数を除去するために、制御されたsim-to-sim研究を実施した。

• 設定: 目標システムとして、隠れた固定パラメータ（ボブの質量 $m$ とロッドの長さ $\ell$）を持つ「現実（Reality）」シミュレータ（$R$）を用いた。「訓練（Training）」シミュレータ（$T$）では、これらのパラメータを調整可能とした。真のパラメータは、公称事前分布 $\theta_0 = (1.0, 1.0)$ から大きく外れた $\theta^* = (2.0, 1.5)$ に設定された。
• 予算配分: 研究では、以下の2つの独立変数による変動を検証した。
  1. $n$（同定予算）: パラメータ推定に使用される $R$ 上のロールアウト数。これらのロールアウトには、ランダムトルク励起方策が用いられた。パラメータは、ガウス型センサーノイズ（$\sigma=1.0$）を考慮した上で、1ステップの角速度予測誤差を最小化するグリッドサーチを通じて推定された。
  2. $w$（ランダム化幅）: パラメータをランダム化するために使用される一様分布の幅。これは点推定値 $\hat{\theta}$ の割合として定義される。$w=0$ は点推定値での訓練を意味し、$w$ が大きくなるほど、$\hat{\theta}$ を中心としたバンドが広がる。
• 訓練と評価: 各 $(n, w)$ 構成について、Soft Actor-Critic (SAC) 方策を75,000ステップ訓練した。性能は、隠れたターゲットシステム $R$ に対する20のエピソードのゼロショット・リターンによって評価された。
• 範囲: $n \in \{0, 5, 10, 25, 50\}$ および $w \in \{0, 0.1, 0.2, 0.3, 0.5\}$ を10個のシードにわたってスイープし、合計250回の試行を行った。統計的有意性は、ペア・ブートストラップ信頼区間を用いて評価された。

主な結果
実験により、測定の価値とランダム化の幅の間の明確な階層関係が明らかになった：

1. 測定の優位性: 実機ロールアウトを同定（$n$）に割り当てることが、性能の主要な決定要因であった。転移ギャップは最初の数回のロールアウトで急激に縮小した。具体的には、$n=0$ から $n=10$ への移行により、リターンが大幅に向上した（約+427ポイント）。一方で、$n$ を10以上に増やしても収穫逓減が見られた。
2. 点推定はランダム化を凌駕する: 何らかの実データが得られた場合（$n > 0$）、推定された点パラメータでの訓練（$w=0$）は、広げられたランダム化バンドでの訓練よりも有意に優れた性能を示した。狭いバンド（$w=0.2$）であっても、$w=0$ と比較して統計的に低いリターンとなった。
3. ランダム化は測定の代用にはならない: 理論上、真のシステムを含むような広いランダム化（例：$[0.3, 3.0]$ をカバーする事前範囲のベースライン）であっても、測定を代替することはできなかった。$n=0$ かつ広いランダム化を用いた方策は、性能が悪く（リターン $\approx -749$）、$n=0, w=0$ のベースラインと同等であり、「純粋な忠実度」を示す $n=50, w=0$ のベースライン（リターン $\approx -337$）よりも大幅に劣っていた。
4. 堅牢性: これらの知見は、異なるリアリティ・ギャップ（小、中、大）およびセンサーノイズレベルにおいても維持された。ノイズレベルによって予算曲線の「ニー（膝）」の位置はシフトしたが（例：高ノイズではより多くのロールアウトが必要）、定性的な順序、すなわち「測定は不可欠であり、測定後にバンドを広げることは有害である」という結論は変わらなかった。

貢献と意義
本論文は新しいアルゴリズムを提案するのではなく、固定された予算下における同定対ランダム化のトレードオフに関する測定可能な特性化を提供している。

• 定式化: 同定（ID）とドメイン・ランダム化（DR）の選択を単一の予算配分問題として定式化し、完全なリターン曲面をマッピングした。
• 実証的証拠: シミュレータのモデルクラス内にターゲットが存在する場合、ダイナミクスが同定可能であれば、「幅（breadth）」よりも「測定（measurement）」が支配的であることを示した。少数の同定ロールアウトが、転移ギャップの大部分を解消する。
• 戦略的推奨: シム・トゥ・リアル（Sim-to-Real）のパイプラインは、シミュレータのモデルクラス内で同定可能なパラメータの測定を優先すべきである。ドメイン・ランダム化は、測定後に残る不確実性のためにのみ予約されるべきであり、測定の代用として用いるべきではない。

限界と範囲
著者らは、以下の条件を満たす「良質な（benign）領域」において、これらの結果が適用されることを明記している：

• シミュレータが適切に指定されている（構造的なモデル不一致がない）。
• 未知のパラメータが2つのみである。
• 真のシステムがシミュレータのモデルファミリーによって表現可能である。

構造的な不一致（例：モデル化されていない摩擦、バックラッシュ、または接触ダイナミクス）があり、パラメータ適合によってもターゲットを完全に再現できない実世界のシナリオにおいては、ランダム化の幅の価値が高まる可能性があることを著者らは認めている。現在の知見は、そのより困難な設定に対するベースラインとして機能しており、「パラメータが同定可能であるならば、広がりよりも忠実度を優先すべきである」ということを示唆している。