技术摘要：无需贝尔曼完备性的拟合占用率评估

问题陈述

离线策略评估（OPE）旨在利用从行为策略收集的数据来估计目标策略 $\pi$ 的性能。一个核心挑战在于如何修正离线数据分布 $\nu$ 与目标策略的折扣状态-动作占用测度 $d_{\pi,\gamma}$ 之间的分布偏移。

现有方法通常分为两类：

1. 基于价值的方法（例如，拟合 Q 评估，FQE）： 这些方法通过将贝尔曼目标回归到函数类上，迭代地估计价值函数。然而，FQE 的理论保证通常要求贝尔曼完备性（即函数类中的任何函数的贝尔曼像也必须在类内）或投影贝尔曼算子的稳定性。在缺乏这些条件的情况下，贝尔曼算子与投影（在离线分布下）的复合可能不具备收缩性，从而导致不稳定。
2. 基于比例的方法（例如，原对偶法、Minimax）： 这些方法通过在评论家（critic）类上强制执行平衡矩来估计占用比例 $\omega_{\pi,\gamma} = d d_{\pi,\gamma} / d\nu$。这些方法通常需要对偶实现性或伴随贝尔曼完备性（即评论家类必须足够丰富，以检测由比例类产生的残差），这使得近似负担转移到了一个耦合的类对之上。

本文解决了既不存在价值函数完备性，也不存在对偶完备性的间隙问题，即目标占用率本身可以通过一个假设类得到良好近似的情况。

方法论：拟合占用率评估 (FORE)

作者提出了拟合占用率评估 (FORE)，这是一种通过伴随贝尔曼递归来估计折扣占用率的拟合不动点方法。

核心机制

1. 伴随贝尔曼识别： 折扣占用比例满足不动点方程 $\omega_{\pi,\gamma} = B^\pi_\gamma \omega_{\pi,\gamma}$，其中 $B^\pi_\gamma$ 是伴随贝尔曼算子。与标准贝尔曼算子不同，$B^\pi_\gamma$ 作用于密度。
2. KL 投影迭代： FORE 不是求解极小极大鞍点问题，而是迭代伴随贝尔曼映射。在每一步 $k$，给定估计值 $\omega^{(k)}$，该方法通过将精确的贝尔曼像 $B^\pi_\gamma \omega^{(k)}$ 投影到由归一化对数比例组成的假设类 $\mathcal{W}$ 上（使用 Kullback–Leibler (KL) 散度）来计算下一个估计值 $\omega^{(k+1)}$：
   $$\omega^{(k+1)} = \Pi^{\text{KL}}_{\mathcal{W}} (B^\pi_\gamma \omega^{(k)})$$
3. 单层目标函数： 至关重要的是，伴随贝尔曼像的 KL 投影可以通过单层密度比例目标函数来计算（引理 3.2）。这避免了对独立评论家类的需求。该目标函数涉及：
   • 初始状态矩 $E_{d_0}[h(X)]$。
   • 单步转移矩 $E_\nu[\omega(X)h(X^+)]$。
   • 对数配分函数归一化项。
     这使得该方法可以使用标准的监督学习器（如梯度提升树、神经网络）进行实现。

理论基础

FORE 的稳定性依赖于 KL 散度的几何特性：

• KL 收缩性： 未经投影的伴随贝尔曼算子在相对熵（KL 散度）下是收缩的，收缩因子为 $\gamma$（引理 3.1）。
• 兼容投影： 由于投影是在相同的 KL 几何结构中进行的，投影算子继承了这种收缩性质。
• 近似条件： 其核心要求仅仅是目标折扣占用率被假设类实现（或近似）。该方法并不要求该类在伴随贝尔曼算子下是封闭的（即不需要伴随贝尔曼完备性）。

处理有限覆盖问题

当目标策略访问了离线数据未支持的状态-动作对（违反绝对连续性）时，完整的比例是不可识别的。作者引入了 覆盖停止 FORE (Coverage-Stopped FORE)：

• 它针对在第一个未覆盖状态-动作对出现之前累积的折扣占用进行估计。
• 它采用学习到的覆盖分类器来识别并丢弃贝尔曼更新中的奇异成分。
• 它使用裁剪 (clipping) 来正则化弱覆盖区域的估计。
• 生成的价值估计对于非负奖励而言，是真实目标策略价值的一个保守下界。

核心贡献

1. 算法表述： 将折扣占用比例表征为伴随贝尔曼递归的唯一不动点，并引入了 FORE，通过重复的单层 KL 密度比例目标来估计该比例。
2. 总体论 (Population Theory)： 开发了一种直接基于占用率实现性的近似理论。KL 投影伴随贝尔曼算子在相对熵下向真实的比例收缩，其误差受对数比例类的限制，且无需伴随贝尔曼完备性。
3. 有限样本保证： 证明了经验拟合递归的有限样本遗憾界。广义 KL 误差可以分解为一个几何衰减的初始化项、一个总体 KL 近似项，以及一个由对数比例类和诱导乘数类的局部 Rademacher 复杂度所控制的统计项。
4. 策略评估应用：
   • 奖励重加权： 使用拟合的比例进行直接价值估计。
   • 双重稳健估计 (Doubly Robust Estimation)： 结合拟合比例与拟合 Q 函数的乘积形式误差界。
   • FORE 加权 FQE： 将拟合的比例作为 FQE 中的投影权重，以在价值类不具备贝尔曼完备性的情况下稳定贝尔曼递归。
5. 覆盖停止扩展： 针对有限覆盖场景的扩展，可产生保守下界并诊断有效覆盖情况。

结果

理论结果

• 收敛性： 在占用率实现性的条件下，总体递归在 KL 散度下呈几何级数收敛。
• 误差界： 有限样本误差界与比例类的近似误差以及假设类的统计复杂度（临界半径）成比例。值得注意的是，近似误差项的缩放比例为 $\sqrt{\epsilon_{KL}/(1-\gamma)}$，这比在伴随贝尔曼完备性假设下常见的 $(1-\gamma)^{-1}$ 缩放更优。
• 稳定性： 当作为加权机制使用时，该方法能稳定 FQE，即使价值函数类不具备贝尔曼完备性。

数值实验

论文通过三个实验验证了其理论：

1. Baird 式有限 MRP： 展示了在线性 FQE 中，由于离线数据分布的存在，线性 FQE 可能是不稳定的（发散的），而 FORE 保持稳定并收敛到真实比例。FORE 重加权的 FQE 也使价值估计趋于稳定。
2. 线性高斯策略评估： 在价值类不具备贝尔曼完备性的连续设置中，线性 FQE 失效（乘数 > 1）。FORE 收敛迅速（乘数 $\approx 0.086$），且 FORE 重加权的 FQE 恢复了收缩性。在密度比例误差和价值 RMSE 方面，FORE 表现出优于 minimax 方法（MWL, DualDICE）的性能。
3. 覆盖停止 FORE： 在覆盖不足的情况下，标准的 FORE 和事后裁剪无法准确瞄准正确的次概率测度。覆盖停止 FORE 成功恢复了覆盖停止的占用率，并提供了价值的准确下界，在比例误差和价值误差方面均优于基准方法。

意义与主张

本文声称确定了折扣占用率实现性是离线策略评估的充分条件，从而消除了对以下条件的依赖：

• 价值类的贝尔曼完备性。
• 比例类的伴随贝尔曼完备性。
• 评论家类的对偶完备性。

其意义在于将近似负担从复杂的封闭条件（这些条件通常具有限制性且难以验证）转移到了对分布偏移本身的直接表示能力上。通过利用 KL 几何结构，FORE 实现了稳定性与收敛性保证，这些保证在结构上与 FQE 或 minimax 方法所需的假设截然不同，且通常更弱。作者将其定位为价值类方法和基于 minimax 的比例类方法的根本性替代方案，特别是在价值函数或评论家类缺乏必要的完备性属性的场景下。

论文对其局限性保持了适度的审慎：完整的比例恢复仍需要覆盖（绝对连续性），并且在处理高维或近确定性设置时，估计比例可能与估计价值函数一样困难。覆盖停止扩展通过将估计目标改为保守下界而非外推至不支持的区域，解决了这一问题。