技術的概要：想像力におけるトレーニングについて

問題定義

本論文は、「想像力におけるトレーニング（training in imagination）」の理論的基盤に取り組む。これは、学習されたダイナミクスモデルによって生成されたロールアウトと、学習された報酬モデルによってスコア付けされたロールアウトを用いて方策を最適化し、方策更新中に真の環境に問い合わせないというパラダイムである。最近の最先端手法（Dreamer 3、Dreamer 4 など）は経験的な成功を示しているが、既存の理論的 bound（例えばシミュレーション補題）は、ダイナミクスモデルの誤差と報酬モデルの誤差が、総リターンギャップにそれぞれどの程度寄与するかを独立して定量化することに失敗している。さらに、報酬注釈がより高価であるか、あるいはノイズの多い場合に、固定されたサンプル予算をダイナミクス遷移（状態・行動・次の状態）と報酬注釈（状態・行動・報酬）の収集間にどのように最適に配分すべきかについての理論的指針も存在しない。

著者は以下の 4 つの未解決課題を特定している：

1. 誤差帰属（Error Attribution）: リターンギャップのどの部分がダイナミクス誤差に由来し、どの部分が報酬誤差に由来するか？
2. 表現特性（Representation Properties）: 学習された表現のどのような特性が、リターン誤差 bound を厳密にするか？
3. 予算配分（Budget Allocation）: 固定されたサンプル予算をダイナミクスデータと報酬データの間でどのように分割すべきか？
4. 報酬忠実度（Reward Fidelity）: 方策最適化（特に REINFORCE）は、ノイズの多いまたはバイアスのある報酬をどの程度許容するか、また、多くの安価でノイズの多い注釈を購入することと、少数の正確な注釈を購入することのどちらが優れているかはいつか？

手法

著者は、リプシッツ連続性の仮定およびべき乗則スケーリング仮説に基づく理論的解析と、合成データおよび線形二次ガウス（LQG）ベンチマークにおける経験的検証の組み合わせを通じて、これらの課題にアプローチする。

理論的枠組み

1. 誤差分解（補題 1）: 著者は、Asadi ら [2018b] の解析を拡張し、真の報酬を学習された報酬モデルに置き換える。これにより、リターンギャップ $|J(\pi, M) - J(\pi, \hat{M})|$ に対する bound を導出する。この bound は誤差を、ダイナミクス誤差（$\epsilon_{dyn}$）と報酬誤差（$\epsilon_{rew}$）の分離可能な項に分解する。この bound は、学習されたダイナミクス（$L_f$）、報酬（$L_r$）、および方策（$L_\pi$）のリプシッツ定数、および割引因子 $\gamma$ に依存する。
2. 表現解析: 著者は、学習されたモデルのリプシッツ定数が誤差 bound にどのように影響するかを解析する。これを「時間的整列（temporal straightening）」目的（Wang ら [2026]）と関連付け、潜在速度マップのリプシッツ定数を最小化することが曲率損失を減少させ、それによって誤差 bound を厳密にすることを示す。
3. 最適予算配分（定理 1）: モデル誤差のべき乗則スケーリング（$\epsilon \propto N^{-\alpha}$）を仮定し、固定された予算下でリターン誤差 bound を最小化する、ダイナミクスサンプルと報酬サンプルの最適比率（$N^*_{dyn}/N^*_{rew}$）の閉形式表現を導出する。この比率は、べき乗則の指数、サンプルあたりのコスト、およびリプシッツ係数に依存する。
4. ノイズのある報酬の解析（定理 2 および系 2）: 著者は、加法性の平均ゼロ報酬ノイズ下での REINFORCE 推定量を解析する。そのようなノイズは勾配推定量を不偏のままにするが、その分散を増加させることを証明する。また、注釈コストとノイズ分散の間の関数関係に依存して最適な戦略が決定されることを示す、最適な「忠実度（コストあたりの注釈）」対「量」のトレードオフを決定する最適化問題を導出する。
5. バイアス解析（命題 2）: 体系的な報酬バイアスが、より多くの軌道で平均化することでは除去できない勾配バイアスを導入することを示す。これは平均ゼロノイズとは区別される。

経験的検証

• 誤差 bound の較正: 著者は、525 種類の設定（合成データおよび LQG）において補題 1 をテストした。bound は普遍的に成り立ったが、実際には緩いことが判明した（通常、29 倍から 286 倍の過大評価）。これは、グローバルなリプシッツ定数が実現された感度に対する保守的な見積もりであることを示唆している。
• スケーリング則: 合成連続制御環境において、ダイナミクスおよび報酬誤差のべき乗則スケーリングを適合させた。その結果、サンプルサイズが増加するにつれて、報酬誤差（$\beta \approx 0.96$）はダイナミクス誤差（$\alpha \approx 0.11$）よりも著しく速く減少することがわかった。
• 配分予測: 定理 1 の予測能力を評価した。最適なサンプル比率と誤差比率の間の比例関係は成り立っていたが、グローバルなリプシッツ定数から導出された乗数は緩い（桁違いの過大評価）ものであった。しかし、グローバル定数を実現された価値関数の感度に置き換えることで、予測された比率を正確に回復することができた。
• 忠実度のトレードオフ: ノイズ - コストトレードオフの理論的領域（べき乗則、有界、不可避な床）を視覚化し、最適な戦略がノイズ - コスト曲線に応じて、最大忠実度の購入から最大量の購入まで多岐にわたることを示した。

主要な貢献

1. 誤差帰属: リターンギャップを、独立して制御可能なダイナミクス誤差項と報酬誤差項に形式的に分解する（補題 1）。これにより、以前のシミュレーション補題を学習された報酬モデルを含むように拡張した。
2. 表現の要請: リターン誤差 bound を厳密にするための重要な要請として、学習されたダイナミクス、報酬、および方策のより低いリプシッツ定数を特定し（系 1）、これを時間的整列目的との理論的リンクとして示した（命題 1）。
3. 最適サンプル配分: べき乗則誤差スケーリングおよび固定予算下での、ダイナミクスサンプル対報酬サンプルの最適比率の閉形式解（定理 1）。これにより、データ収集戦略の理論的基盤を提供する。
4. 報酬忠実度の特性評価: REINFORCE が平均ゼロノイズ（有界分散を伴う不偏）と体系的バイアス（不可避な勾配バイアス）をどのように許容するかを特性評価し、忠実度 - 量のトレードオフを一次元最適化問題に帰着させた（系 2）。

結果

• 理論的 bound: 導出された bound（式 1）は、テストされたすべての設定で成り立ち、分解の有効性を確認した。しかし、グローバルなリプシッツ定数を用いて具体化された場合、bound は緩いものであり、実用的な配分には実現された感度の方がより有益であることを示している。
• スケーリングダイナミクス: 経験的結果は、報酬モデルがダイナミクスモデルよりも著しく速く学習することを示している（データ 10 倍あたり誤差が約 9 倍速く減少）。これは、多くの設定において、予算をより多くの報酬サンプルの取得へシフトすべきか、あるいは報酬モデルが急速に飽和することを示唆している。
• 配分戦略: 最適なサンプル比率は、誤差レベルの比率とコストの比率に比例し、リプシッツ定数および割引因子を含む係数によってスケーリングされる。
• ノイズ対バイアス: 平均ゼロノイズはロールアウト数を増やすこと（分散低減）によって緩和可能であるのに対し、体系的バイアスはサンプルサイズに関係なく持続し、最適化の風景を根本的に変える。

意義と主張

本論文は、報酬モデルがダイナミクスモデルとは別に学習される場合の、想像力におけるトレーニングに関わるトレードオフの最初の理論的特性評価を提供すると主張している。これらの誤差源を分離することにより、著者は以下のための枠組みを提供する：

• 誤差源の定量化: パフォーマンスギャップが、世界モデルの貧困によるものか、報酬モデルの貧困によるものかを理解する。
• データ収集のガイダンス: 高価な報酬注釈と安価なダイナミクス遷移の間に限られた資源を配分するための原理的な方法を提供する。
• 表現学習への情報提供: リプシッツ定数を低下させる正則化技術（スペクトル正規化や時間的整列など）が、モデルベース RL の理論的保証を直接改善することを示唆する。

著者は、bound の実用的な厳密さについては控えめであり、理論的分解は妥当であるが、bound に使用されるグローバルなリプシッツ定数は、実現された感度に対するしばしば緩い上限であることを指摘している。したがって、最適な配分則の比例性は頑健であるが、正確な乗数は、グローバル定数が提供するものよりも価値関数の感度のより精密な推定を必要とする。この研究は、さらなる較正なしに即座の実装のための直接的なレシピというよりも、将来のモデルベース RL システムの設計を導くための基礎的な分析として提示されている。