技術的サマリー：制御マルコフ連鎖のモデルベース・ブートストラップ

問題定義

本論文は、データを生成する行動方策が非定常または履歴依存である可能性のある環境における、有限制御マルコフ連鎖（CMC）の統計的推論という課題に取り組む。このシナリオは、未知の方策$\pi_b$によってデータが収集され、その方策が必ずしも定常性やマルコフ性を満たさないオフライン強化学習（RL）において一般的である。

マルコフ連鎖に対する既存のブートストラップ手法は、定常性や特定の混合条件に依存することが多く、履歴依存制御を持つ一般的な CMC には適用できない。さらに、中心極限定理（CLT）に基づく標準的なプラグイン信頼区間（CI）は共分散推定を必要とし、有限サンプル性能を低下させる可能性がある。著者は以下の 2 つの未解決問題を特定している：

1. 制御方策の定常性やマルコフ性を必要とせず、有限 CMC に対するモデルベース・ブートストラップを開発できるか？
2. そのようなブートストラップ推定量の分布的一貫性を確立し、オフポリシー評価（OPE）や最適方策回復（OPR）などの下流 RL タスクに拡張できるか？

手法

モデルとデータ設定

著者は、状態空間$\mathcal{S}$と行動空間$\mathcal{A}$を持つ有限 CMC $\{(X_i, A_i)\}_{i \ge 0}$を考慮する。遷移カーネルは$M(a)_{s,t} = P(X_{i+1}=t | X_i=s, A_i=a)$である。観測されたオフラインデータセット$\mathcal{D}_n$は、未知の行動方策$\pi_b$によって生成された固定長さ$T$の$K$エピソード（ここで$n=KT$）からなる。方策$\pi_b$は非定常かつ履歴依存であることが許容される。

$\mathcal{D}_n$から、著者は以下を計算する：

• 計数ベースの実証遷移推定量：$\hat{M}(a)_{s,t} = N(a)_{s,t} / N(a)_s$。
• 実証行動方策：$\hat{\pi}_b(a|s) = N(a)_s / N_s$。

モデルベース・ブートストラップ手順

提案手法は、実証遷移カーネル$\hat{M}$と実証行動方策$\hat{\pi}_b$を用いて、ブートストラップ CMC $\{(X^*_i, A^*_i)\}_{i \ge 0}$を構築する。

1. 初期化：各ブートストラップ複製$j$において、プロセスは元のエピソードの観測初期状態から開始され、$X^{*(k,j)}_0 = X^{(k)}_0$となる。
2. シミュレーション：遷移は、行動$A^{*(k,j)}_i \sim \hat{\pi}_b(\cdot | X^{*(k,j)}_i)$と次の状態$X^{*(k,j)}_{i+1} \sim \hat{M}(A^{*(k,j)}_i)_{X^{*(k,j)}_i, \cdot}$を順次サンプリングすることで生成される。
3. 推定：シミュレートされたデータセット$\mathcal{D}^*_n$から、ブートストラップ遷移推定量$\hat{M}^*$が計算される。
4. 反復：このプロセスを$B$回反復し、ブートストラップ複製$\hat{M}^{*(1)}, \dots, \hat{M}^{*(B)}$を得る。

下流アプリケーション

ブートストラップは、以下の 2 つの下流ターゲットに適用される：

• オフポリシー評価（OPE）：$\hat{M}$と$\hat{M}^*$を用いてベルマン方程式を解くことで、固定されたターゲット方策$\pi$に対する価値関数$V_\pi$および Q 関数$Q_\pi$を推定する。
• 最適方策回復（OPR）：$\hat{M}$と$\hat{M}^*$を用いて最適ベルマン方程式を解くことで、最適価値関数$V_\star$および$Q_\star$を推定する。

信頼区間は、ブートストラップ複製の実証分位数（パーセンタイル CI）またはピボット法を用いて構築される。

主要な理論的貢献

1. ブートストラップの分布的一貫性

本論文は、非定常または履歴依存の方策を持つ有限 CMC におけるモデルベース・ブートストラップの分布的一貫性に関する最初の結果を確立する。

• 単一連鎖レジーム（$K=1, T \to \infty$）：定理 1 は、データ$\mathcal{D}_n$を条件として、$\sqrt{n} \text{vec}(\hat{M}^* - \hat{M})$がガウス極限$N(0, \bar{\Lambda})$に分布収束することを証明する。これは、元の推定量$\sqrt{n} \text{vec}(\hat{M} - M)$の漸近分布と一致する。
• エピソードレジーム（$T$固定、$K \to \infty$）：命題 1 は、エピソードを擬似遷移を介して単一の連鎖に埋め込むことで、この結果をエピソード設定に拡張する。エピソードがリセットによって分離されていても、ブートストラップが一貫性を保つことを確認する。

技術的ツール：

• 訪問回数に対する新しいブートストラップ大数の法則（LLN）（$N^*_s/n \to p_s$ a.s.）。
• 依存構造を処理するために弱い混合条件（仮定 1–3）を利用した、ブートストラップ遷移増分に対する**マルティンゲール中心極限定理（CLT）**の新しい適用。

2. OPE および OPR に対する妥当性

命題 2 は、デルタ法を用いて分布的一貫性を価値および Q 関数推定量に拡張する。

• 著者は、遷移ブロック行列に関するベルマン作用素のハダマール微分可能性を検証する。
• OPE において、$V_\pi$および$Q_\pi$のブートストラップ複製は、元の推定量と同じガウス極限に収束する。
• OPR において、非退化条件（最適行動と準最適行動の間の厳密に正のギャップ）の下で、$V_\star$および$Q_\star$のブートストラップ複製も分布的一貫性を達成する。

実験結果

著者は、不均衡な訪問頻度とほぼ退化した最適方策により探索が困難であることで知られるベンチマークであるRiverSwim問題（$S=6, A=2$）において、有限サンプル性能を評価する。

• 設定：各種サンプルサイズ（$n$）およびエピソード長さ（$T$）において、エピソードブートストラップ（Hao et al., 2021）およびプラグイン CLT CI（Zhu et al., 2024; Su et al., 2026）と比較を行った。
• 発見：
  • 提案されたモデルベース・ブートストラップパーセンタイル CIは、ベースラインを大幅に凌駕し、十分にサンプリングされたレジーム（$n \ge 500$）において、ほぼ名目上のカバレッジ（例：50% で 0.48–0.54、90% で 0.87–0.94、95% で 0.92–0.97）を達成した。
  • ベースライン（エピソードブートストラップおよびプラグイン CLT）は、特に小サンプルサイズおよび短いエピソード長さにおいて、体系的なカバレッジ不足を示した。
  • エピソードブートストラップは、$n=50$かつ$T \ge 50$の場合に完全に失敗し（カバレッジがゼロに崩壊）、単一のエピソードがブートストラップ変動を排除するためである。
  • 性能は、めったに訪問されない状態 - 行動ペア（状態 6 付近）および短い時間範囲（$T=10$）で最も低く、これは漸近正規性と非退化性の理論的制約と一致する。

意義と限界

意義：
本論文は、行動方策が非定常または履歴依存であるギャップを特定して、オフライン RL におけるモデルベース・ブートストラップの使用に対する厳密な理論的基盤を提供する。それは、明示的な共分散推定を必要とすることなく、遷移カーネルおよび下流 RL タargets に対して漸近的に妥当な信頼区間をもたらすことを実証する。

限界と将来の方向性（著者による記載）：

• 報酬関数：分析は既知の報酬関数を仮定している。著者は、報酬推定が収束すれば妥当性が維持される可能性があると指摘しているが、報酬推定誤差の有限サンプル効果は分析されていない。
• 状態 - 行動空間：現在の結果は有限の状態 - 行動空間に限定されている。関数近似や連続空間への拡張は将来の課題として残されている。
• 漸近レジーム：エピソード分析は$T$が固定され$K \to \infty$であることを仮定している。$K$が固定（$K>1$）され$T \to \infty$であるレジームにおけるブートストラップの一貫性は、未解決の問題である。
• 非定常方策：理論は非定常方策を許容するが、数値実験は主に定常的な行動方策を使用していた。非定常方策を用いたさらなる実験が提案されている。