技术摘要：用于贝尔曼兼容平均奖励分布强化学习的商范畴表示

1. 问题陈述

分布强化学习（DRL）在折扣马尔可夫决策过程（MDP）中取得了显著成功，其中贝尔曼算子的收缩几何性质促进了分析和算法设计。然而，平均奖励设定为分布建模带来了根本性的结构挑战。

在平均奖励 MDP 中，评估依赖于两个对象：增益（长期平均奖励）和偏置（相对值函数）。偏置满足泊松方程，该方程是平均奖励设定下贝尔曼方程的类比。泊松方程的一个关键性质是其解仅在相差一个加性常数的意义下唯一。这种平移不变性对标准分布建模构成了障碍：无法直接定义以固定原点为基准的状态索引概率律族，因为将所有状态的偏置分布平移相同的常数不应改变所学对象。

现有的平均奖励 DRL 工作通常侧重于改进奖励准则本身或使用标量表示。本文旨在填补构建尊重加性常数对称性的贝尔曼兼容偏置分布类比的空白，从而在平均奖励机制下实现分布动态规划和时序差分（TD）学习。

2. 方法论

2.1 商空间表述

作者提出对状态索引的偏置律进行模去公共平移的建模。

• 商空间：令 $\mathcal{F}_S$ 为状态索引的实数轴 $\mathbb{R}$ 上概率律集合。定义等价关系 $\approx$，使得若 $\zeta$ 是 $\eta$ 的公共平移，则 $\eta \approx \zeta$。所得空间 $\mathcal{F}_S / \approx$ 保留了泊松方程的加性常数对称性。
• 分布算子：平均奖励分布算子 $T$ 定义在 $\mathcal{F}_S$ 上。本文证明了 $T$ 与公共平移交换，从而在商空间 $\mathcal{F}_S / \approx$ 上诱导出一个良定义的算子。

2.2 范畴参数化

为了使商空间在计算上可行，作者引入了商范畴表示：

• 表示：每个状态的偏置律由固定网格 $\Theta = \{\theta_1, \dots, \theta_d\}$ 上的分类分布表示。
• 平移等变性：定义代表族为 $\eta_{p,c} = \sum p_k \delta_{\theta_k + c}$，其中 $c$ 为任意平移。系数向量 $p$ 唯一刻画商类 $[\eta_{p,c}]$，且独立于 $c$。
• 投影：定义了一个平移等变的分类投影 $\Pi_{\Theta_c}^C$。本文确立了将平移后的律投影到平移后的网格上所得的系数向量，与将原始律投影到原始网格上所得的系数向量相同。

2.3 投影算子与非扩张性

作者在分类系数上定义了一个投影算子 $G_g$，其对应于应用分布算子并将其投影回分类网格。

• 度量：收敛性使用坐标 Cramér 度量（$\ell_{\Theta, C, \infty}$）进行分析，该度量与代表律上的标准 Cramér 度量一致。
• 关键性质：与具有收缩性的折扣 DRL 算子不同，平均奖励设定下的投影算子 $G_g$ 是非扩张的。本文证明了 $G_g$ 是良定义的，在坐标 Cramér 度量下是非扩张的，并且存在不动点（通过布劳威尔不动点定理）。

2.4 随机逼近（SA）递归

由于算子是非扩张的而非收缩的，标准的收缩论证不再适用。作者将采样递归分析为投影算子的异步松弛：

1. 中心化递归：假设增益 $\bar{r}^\pi$ 已知，他们定义了一个单状态 TD 更新（随机 Krasnosel'skiĭ–Mann 迭代），使用中心化奖励 $B = R - \bar{r}^\pi$。该递归的均值场映射被证明是非扩张的，并与 $G$ 共享不动点。
2. 耦合递归（未知增益）：当增益未知时，递归通过在线增益估计器 $g_k$ 进行扩充。作者定义了一个结合分类残差和增益误差的乘积度量 $d_\lambda$。他们证明了耦合更新映射在该乘积度量下是非扩张的，且其不动点对应正确的商范畴偏置律和真实增益。

3. 主要贡献

1. 商空间基础：本文确立了通过公共平移对状态索引律族构成的商空间，是标量偏置的分布类比的自然定义域。
2. 良定义的投影算子：定义了一个精确的商空间算子和一个商范畴投影算法，证明了投影算子是良定义的、非扩张的，并且具有不动点。
3. 收敛性保证：
   • 对于中心化奖励（已知增益），本文证明了在独立同分布（i.i.d.）和马尔可夫采样下，TD 递归的几乎必然（a.s.）收敛性以及有限迭代残差界。
   • 对于未知增益，引入了一种带有在线增益估计器的耦合递归，证明了联合方案的非扩张性和马尔可夫收敛性。
4. 结构洞察：该工作强调了理想商分布（其中中心化常数仅诱导公共平移）与实际固定网格分类表示（其中投影可能改变系数，需要正确的中心化）之间的结构对比。

4. 实验结果

本文通过两个实验验证了其理论主张：

• 五状态 MDP：一个表格实验，比较了精确 KM 迭代、中心化 i.i.d. SKM、中心化马尔可夫 SKM 和耦合增益估计 SKM。
  • 结果证实，精确和随机递归收敛于相同的不动点。
  • 耦合递归成功学习了偏置分布和增益。
  • 消融研究表明，使用错误的中心化常数（$g=0$ 而非 $\bar{r}^\pi$）会导致收敛到退化解，验证了在固定网格表示中正确中心化的必要性。
• 连续状态 Pendulum-v1：使用神经函数逼近的概念验证。
  • 所提出的增益中心化商范畴评论家在项目算子残差方面显著优于朴素原始奖励评论家。
  • 耦合在线增益递归成功地将误差分解为分类分量和增益分量，与理论界一致。

5. 意义与主张

本文声称将平均奖励分布偏置估计建立在坚实的基础上。其主要意义在于：

• 通过引入商范畴表述，解决了标量偏置的加性常数歧义。
• 提供了首个贝尔曼兼容的偏置分布类比，适用于平均奖励设定下的动态规划和 TD 学习论证。
• 在分布强化学习背景下建立了非扩张映射的收敛性保证， bridging 了非扩张算子的理论不动点方法与实际 TD 算法之间的差距。

作者指出，他们的目标与先前改进平均奖励准则本身的工作是互补的；相反，他们细化了作为学习对象的偏置。该理论目前专注于有限状态、固定策略评估以及固定分类支撑，更丰富的函数逼近和控制设定被确定为自然的后续步骤。