技術要約：事後分布ハイブリッド・ベイズ信念（PhyB）を用いた正則化オフライン方策最適化

1. 問題提起

オフライン強化学習（Offline RL）は、さらなる環境との相互作用なしに、収集済みのデータセットを用いて方策を最適化することを目指す。このパラダイムにおける主要なボトルネックは、以下の2つのソースから生じる**エピステミック不確実性（認識論的不確実性）**の管理である：

1. サンプルレベルの不確実性： データセットの被覆が部分的であることに起因する。
2. モデルレベルの不確実性： 有限のデータから一意の遷移ダイナミクスを特定することの曖昧さに起因する。

ベイズ強化学習は、ダイナミクスモデルを確率変数として扱うことで、これらの不確実性を定量化するための統一された枠組みを提供するが、実用的な方策最適化は計算量的に困難な課題である。既存のアプローチは、以下のトレードオフに直面している：

• 探索ベースの手法： （混合整数線形計画法やモンテカルロ木探索など）は理論的には健全であるが、高次元のタスクにはスケールしない。
• 制限的な仮定： （固定された事後分布や、ディラック尤度を持つロバストMDPなど）は計算の容易さを保証するが、ベイズ強化学習の適応性と本来の性能を犠牲にし、過度な保守性（過度な悲観主義）を招くことが多い。

ここで扱われる核心的な問いは、「制限的な事後分布の仮定に頼ることなく、ベイズ信念の下で計算可能なオフライン方策最適化アルゴリズムを開発できるか？」というものである。

2. 手法：事後分布ハイブリッド・ベイズ信念（PhyB）

著者らは、事後分布への制限的な仮定を回避しつつ、モデルの事後分布に対する期待値を、ダイナミクスモデルのサブセットに対する凸結合として再定式化するフレームワークであるPhyBを提案する。

2.1. 信念の定式化

PhyBは、ダイナミクスモデルを点推定として扱う、あるいは複雑な連続事後分布を維持するのではなく、有限のモデルアンサンブル $\mathcal{T} = \{\tau_0, \dots, \tau_{N-1}\}$ 上で動作する。

• 悲観的サブセット： 最も低い $Q$ 値の予測に対応する $k$ 個のモデル（bottom-$k$）を選択することで、サブセット $\tilde{\mathcal{T}} \subseteq \mathcal{T}$ を形成する。
• 凸結合： 単一の最悪ケースのモデルを選択する（これはディラック的な悲観主義につながる）のではなく、また全てのモデルを平均化する（これは悲観性を希釈させる）のではなく、PhyBは $\tilde{\mathcal{T}}$ 内のモデルに対して重み $\alpha_i$ を割り当てる。
• エントロピー正則化による重み付け： 重みは、以下のエントロピー正則化最適化問題を解くことによって決定される：
  $$\min_{\alpha} \sum_{i=0}^{k-1} \alpha_i q_{\tau_i}(s, a) + \lambda \alpha_i \log \alpha_i$$
  最適解はボルツマン分布に従う：$\alpha_i \propto \exp(-q_{\tau_i}(s, a)/\lambda)$。
• ハイブリッド事後分布： この重み付けスキームは、「事後分布ハイブリッド・ベイズ信念」$\tilde{P}(\tau)$ を構築する。これは、モデルアンサンブルの特定の分位点を中心とする単峰性分布の混合物である。これにより、連続的かつデータ駆動型の悲観レベルの適応が可能になる。

2.2. 正則化方策最適化

このハイブリッド信念によって定義される目的関数を最適化するために、著者らは、非ユークリッド幾何学的な多峰分布空間と、ベルマン方程式を解く際の計算コストという2つの課題に対処する。

• ブレグマン正則化サブ問題： 最適化は、ブレグマンダイバージェンス ($D_\psi$) によって正則化された一連のサブ問題へと分解される。
• 反復アルゴリズム： ステップ $i$ の参照方策に基づいてステップ $i+1$ の方策が更新される、反復的な方策改善アルゴリズムが提案されている：
  $$\pi_{i+1} = (\nabla \psi)^{-1} \left( \frac{1}{\beta} (Q - z) + \nabla \psi(\pi_i) \right)$$
  この定式化は自然勾配法を反映しており、収束するまで目的関数の単調な改善を保証する。

2.3. 理論的保証

• 誤差の境界： 凸結合近似によって誘発される目的関数の不一致は、有界であることが証明されている。
• 悲観性： 本手法は、真の期待リターンに対する下限を誘導する。モデルの忠実度が増し、悲観的サブセットのサイズが減少するにつれて、推定値と真のリターンの差は消失する。
• 単調性： 方策の性能は、サブセットのサイズ $k$ に対して単調非減少であり、アンサンブルのサイズ $N$ に対して単調非増加であることが証明されている。

3. 主な貢献

1. PhyBの定式化： 制限的な事後分布の仮定を置かずに、遷移ダイナミクスを確率変数として扱い、期待値を悲観的サブセット上の凸結合として再定式化する新しい信念定式化。
2. 反復的正則化最適化： 単調な改善のためのメトリックに依存しない保証を提供する、ブレグマン正則化サブ問題へと最適化タスクを分解するアルゴリズム。
3. 理論的分析： 近似誤差が有界であり、誘発される悲観性が制御可能であり、方策最適化が単調に収束することを確立する証明。
4. 実験的性能： 標準的なベンチマーク（D4RL）および確率的な清算タスクにおける最先端の（SOTA）結果。

4. 実験結果

著者らは、D4RLベンチマーク（HalfCheetah、Hopper、Walker2dにおける、様々なデータ品質を持つ18のデータセット）および確率的なオフライン最適清算タスクにおいてPhyBを評価した。

• 性能： PhyBは18のD4RLデータセットのうち11で優れた性能を達成し、残りのデータセットでも競争力のある性能を示した。特に、強力なベースラインであるモデルフリー手法（CQL、IQL、TD3+BC）およびモデルベース手法（MOReL、RAMBO、PMDB、ADM）を凌駕した。
• 確率的タスク： 多くのベースラインが効果的な方策を学習できなかった高度に確率的な清算タスクにおいて、PhyBは堅牢かつ優れた性能を示した。
• アブレーション研究：
  • 凸結合： 凸結合を取り除いた場合（単一のモデルを選択した場合）、大幅な性能低下が見られ、ハイブリッド信念の必要性が検証された。
  • ハイパーパラメータ： 手法はハイパーパラメータ（$\omega, \lambda$）の変動に対して頑健性を示した。低品質なデータセットではより高い悲観性（より小さい $\lambda$）が、高品質なデータセットではより少ない保守性が求められるというトレードオフが観察された。
• 理論との整合性： 実験的な曲線は、PhyBの推定リターンが真のリターンを一貫して下限として下回っていること（悲観性定理の検証）、および訓練中に単調な改善を示すことを確認した。

5. 意義と主張

本論文は、PhyBがベイズ強化学習の理論的な魅力と、オフライン方策最適化の計算要件との間の溝を埋めることに成功したと主張している。

• 統一された不確実性定量化： ダイナミクスを確率変数として扱い、ハイブリッド事後分布を用いることで、PhyBはディラック尤度のような単純化された仮定に頼ることなく、サンプルレベルとモデルレベルの不一確実性の定量化を統一する。
• スケーラビリティ： Intractable（扱いにくい）なソルバーに依存する従来のベイズ手法とは異なり、PhyBは高次元の連続制御タスクにもスケールする計算効率の高いアプローチを提供する。
• 適応性： 固定された最悪ケースの仮定に頼るロバストMDPの「過度な保守性」を回避し、データとモデルの不一致に基づいて悲観レベルを連続的に適応させる。
• 堅牢性： オンライン環境との相互作用がない状況でも安定した学習を保証する、メトリックに依存しない単調改善の保証を提供する。

著者らは、PhyBがベイズ強化学習をオフラインの設定において実用的なものにするための重要な一歩であり、リスク回避と性能最適化のバランスをとる堅牢なフレームワークであると結論付けている。