技术摘要：基于模型的控制马尔可夫链自助法

问题陈述

本文解决了在行为策略生成数据可能具有非平稳性或历史依赖性的设定下，有限控制马尔可夫链（CMCs）统计推断的挑战。这种场景在离线强化学习（RL）中普遍存在，其中数据由未知策略 $\pi_b$ 收集，该策略不一定满足平稳性或马尔可夫性假设。

现有的马尔可夫链自助法通常依赖于平稳性或特定的混合条件，而这些条件对于具有历史依赖控制的通用 CMC 并不成立。此外，基于中心极限定理（CLT）的标准插入置信区间（CIs）需要协方差估计，这可能会损害有限样本性能。作者指出了两个开放性问题：

1. 能否在不要求控制策略具有平稳性或马尔可夫性的情况下，为有限 CMC 开发基于模型的自助法？
2. 能否建立此类自助法估计量的分布一致性，并将其扩展到下游 RL 任务，如离线策略评估（OPE）和最优策略恢复（OPR）？

方法论

模型与数据设置

作者考虑了一个有限 CMC $\{(X_i, A_i)\}_{i \ge 0}$，其状态空间为 $\mathcal{S}$，动作空间为 $\mathcal{A}$。转移核为 $M(a)_{s,t} = P(X_{i+1}=t | X_i=s, A_i=a)$。观测到的离线数据集 $\mathcal{D}_n$ 包含 $K$ 个固定长度 $T$ 的回合（其中 $n=KT$），由未知行为策略$\pi_b$生成。允许策略$\pi_b$ 是非平稳且历史依赖的。

从 $\mathcal{D}_n$ 中，作者计算了：

• 基于计数的经验转移估计量：$\hat{M}(a)_{s,t} = N(a)_{s,t} / N(a)_s$。
• 经验行为策略：$\hat{\pi}_b(a|s) = N(a)_s / N_s$。

基于模型的自助法过程

所提出的方法利用经验转移核 $\hat{M}$ 和经验行为策略 $\hat{\pi}_b$ 构建自助 CMC $\{(X^*_i, A^*_i)\}_{i \ge 0}$。

1. 初始化：对于每个自助复制体 $j$，过程从原始回合的观测初始状态开始，即 $X^{*(k,j)}_0 = X^{(k)}_0$。
2. 模拟：通过依次采样动作 $A^{*(k,j)}_i \sim \hat{\pi}_b(\cdot | X^{*(k,j)}_i)$ 和下一状态 $X^{*(k,j)}_{i+1} \sim \hat{M}(A^{*(k,j)}_i)_{X^{*(k,j)}_i, \cdot}$ 来生成转移。
3. 估计：从模拟数据集 $\mathcal{D}^*_n$ 中计算自助转移估计量 $\hat{M}^*$。
4. 复制：重复此过程 $B$ 次，以获得自助复制体 $\hat{M}^{*(1)}, \dots, \hat{M}^{*(B)}$。

下游应用

该自助法应用于两个下游目标：

• 离线策略评估（OPE）：通过求解带有 $\hat{M}$ 和 $\hat{M}^*$ 的贝尔曼方程，估计固定目标策略 $\pi$ 的价值函数 $V_\pi$ 和 Q 函数 $Q_\pi$。
• 最优策略恢复（OPR）：通过求解带有 $\hat{M}$ 和 $\hat{M}^*$ 的最优贝尔曼方程，估计最优价值函数 $V_\star$ 和 $Q_\star$。

置信区间是利用自助复制体的经验分位数（百分位 CI）或通过枢轴方法构建的。

核心理论贡献

1. 自助法分布一致性

本文建立了有限 CMC 中基于模型的自助法在策略可能非平稳或历史依赖情况下的首个分布一致性结果。

• 单链机制（$K=1, T \to \infty$）：定理 1 证明，在给定数据 $\mathcal{D}_n$ 的条件下，$\sqrt{n} \text{vec}(\hat{M}^* - \hat{M})$ 依分布收敛于高斯极限 $N(0, \bar{\Lambda})$，这与原始估计量 $\sqrt{n} \text{vec}(\hat{M} - M)$ 的渐近分布相匹配。
• 回合机制（$T$ 固定，$K \to \infty$）：命题 1 通过将回合嵌入到具有伪转移的单一链中，将此结果扩展到回合设定。它证实了即使回合被重置分隔，自助法仍然保持一致性。

技术工具：

• 用于访问计数的新颖自助大数定律（LLN）（$N^*_s/n \to p_s$ 几乎必然）。
• 对自助转移增量的新颖**鞅中心极限定理（CLT）**应用，利用弱混合条件（假设 1–3）来处理依赖结构。

2. 对 OPE 和 OPR 的有效性

命题 2 利用Delta 方法将分布一致性扩展到价值和 Q 函数估计量。

• 作者验证了贝尔曼算子关于转移块矩阵的Hadamard 可微性。
• 对于 OPE，$V_\pi$ 和 $Q_\pi$ 的自助复制体收敛于与原始估计量相同的高斯极限。
• 对于 OPR，在非退化条件（最优动作与次优动作之间存在严格正间隙）下，$V_\star$ 和 $Q_\star$ 的自助复制体也实现了分布一致性。

实验结果

作者在 RiverSwim 问题（$S=6, A=2$）上评估了有限样本性能，这是一个因访问频率不平衡和近乎退化的最优策略而众所周知的难以探索的基准。

• 设置：在不同样本量（$n$）和回合长度（$T$）下，与回合自助法（Hao 等人，2021）和插入 CLT 置信区间（Zhu 等人，2024；Su 等人，2026）进行了比较。
• 发现：
  • 所提出的基于模型的自助百分位置信区间显著优于基线，在采样良好的机制（$n \ge 500$）中实现了接近标称的覆盖率（例如，50% 时为 0.48–0.54，90% 时为 0.87–0.94，95% 时为 0.92–0.97）。
  • 基线（回合自助法和插入 CLT）表现出系统性覆盖率不足，特别是在小样本量和短回合长度下。
  • 回合自助法在 $n=50$ 且 $T \ge 50$ 时完全失效（覆盖率坍缩为零），因为单个回合消除了自助变异。
  • 对于罕见访问的状态 - 动作对（接近状态 6）和短视界（$T=10$），性能最弱，这与渐近正态性和非退化性的理论约束一致。

意义与局限性

意义：
本文为在离线 RL 中使用基于模型的自助法提供了严格的理论基础，特别解决了行为策略非平稳或历史依赖的空白。它证明了此类自助法无需显式协方差估计，即可为转移核和下游 RL 目标提供渐近有效的置信区间。

局限性与未来方向（作者所述）：

• 奖励函数：分析假设奖励函数已知。虽然作者指出如果奖励估计收敛，有效性可能成立，但未分析奖励估计误差的有限样本效应。
• 状态 - 动作空间：当前结果仅限于有限状态 - 动作空间。扩展到函数逼近或连续空间留待未来工作。
• 渐近机制：回合分析假设 $T$ 固定且 $K \to \infty$。在 $K$ 固定（$K>1$）且 $T \to \infty$ 的机制中自助法的一致性仍然是一个开放问题。
• 非平稳策略：虽然理论容纳了非平稳策略，但数值实验主要使用了平稳行为策略；建议进行更多涉及非平稳策略的实验。