技术摘要：线性 Q 学习中几何平均硬目标更新的研究

问题陈述

在现代深度 Q 学习中，周期性的硬目标更新（即每隔 $m$ 步将在线网络复制到目标网络）是一种标准的稳定机制。尽管这种机制在经验上是鲁棒的，但其在函数逼近存在下的精确理论动力学仍是一个活跃的研究领域。具体而言，现有文献尚未能充分刻画周期性硬目标更新在线性 Q 学习这一可处理设置中的确切边界动力学。

核心挑战在于，虽然不同的目标更新策略（例如标准周期更新与投影 Q 值迭代）可能共享相同的不动点方程（投影贝尔曼方程），但它们的收敛性质和稳定性证书却显著不同。本文旨在通过引入一种连续参数化的目标更新机制，来弥合**周期-1 确定性线性 Q 学习（DLQL）与投影 Q 值迭代（PQVI）**之间的鸿沟。

方法论

1. 理论框架：切换系统与 JSR

本文使用切换线性系统模型来分析线性 Q 学习。在该框架下：

• 贝尔曼最大算子被表示为一个切换信号，它在有限的一组确定性贪婪策略（模式）中进行选择。
• 稳定性通过这些切换模式生成的矩阵族的**联合谱半径（JSR）**来进行认证。若 JSR 严格小于 1（$\rho < 1$），则保证了在任意切换下的一致指数衰减。
• 该分析依赖于 Lee 和 Lim (2026) 开发的切换系统模型以及 Lee (2026a) 的目标更新分析。

2. $\lambda$-目标更新机制

本文引入了 $\lambda$-DLQL，该方法用所有可能硬目标周期的几何平均取代了单一整数目标周期 $m$ 的选择。

• 定义： 更新映射被定义为具有几何权重 $(1-\lambda)\lambda^{m-1}$ 的 $m$ 周期边界映射 $A_{\mu, m}^{\text{DLQL}}$ 的加权和，其中 $\lambda \in [0, 1]$。
• 端点：
  • $\lambda = 0$：恢复为标准的周期-1 DLQL（单步更新）。
  • $\lambda \uparrow 1$：恢复为投影 Q 值迭代（PQVI），实际上对应于无限目标周期。
• 插值： 参数 $\lambda$ 在短时界（DLQL）与长时界（PQVI）更新之间进行连续插值，这类似于应用于硬目标边界映射而非资格迹或多步回报的 TD($\lambda$) 的精神。

3. 实现策略

为了使几何平均在计算上可行而不必模拟无限周期，本文提出了三种等效的实现方式：

1. 递归求解器（逆形式）： 推导出一个闭式线性修正方程：
   $$\bar{\theta}_{n+1} = \bar{\theta}_n + \alpha \left[ (1-\lambda)I + \lambda \alpha \Phi^\top D \Phi \right]^{-1} \Phi^\top D (R + \gamma P \Pi_{\pi_n} \Phi \bar{\theta}_n - \Phi \bar{\theta}_n)$$
   这需要在每个边界处求解一个大小为 $m \times m$（特征维度）的线性系统。
2. 无逆递归： 使用辅助变量 $w_n$ 和 Richardson 迭代来追踪修正项，从而避免显式的矩阵求逆。这产生了一个带有增广状态空间的二行递归。
3. 采样周期-$m$实现： 与取平均值不同，该算法从几何分布 $P(M=m) = (1-\lambda)\lambda^{m-1}$ 中采样一个周期 $M$，并在下一次目标复制前执行恰好 $M$ 次在线更新。

核心贡献

1. 硬目标的几何平均： 本文构建了一个连续的 $\lambda$-DLQL 目标更新映射族，它连接了离散的 DLQL 与 PQVI 两个端点，且不改变底层的不动点方程（即投影贝尔曼方程）。
2. 基于 JSR 的稳定性分析： 作者提供了严谨的稳定性分析，表明 $\lambda$-DLQL 的收敛性由生成的切换族 $A_{\lambda}^{\text{DLQL}}$ 的 JSR 决定。
   • 他们证明了当 $\lambda \to 0$ 时，JSR 收敛于 DLQL 族的 JSR。
   • 当 $\lambda \to 1$ 时，JSR 收敛于 PQVI 族的 JSR。
   • 论文指出，一个端点的稳定性并不保证另一个端点的稳定性，且中间的 $\lambda$ 值可能提供端点失效时所能提供的稳定性证书。
3. 算法等效性： 本文证明了递归逆形式、无逆辅助递归以及采样周期-$m$实现，在满足特定条件（例如对于无逆版本使用较小的步长）时，都收敛到相同的投影贝尔曼不动点，并具有相同的理论稳定性特性。
4. 端点的理论刻画： 本文阐明了虽然 DLQL 和 PQVI 解的是同一个投影贝尔曼方程，但它们的误差动力学受控于不同的切换族（$A^{\text{DLQL}}$ 与 $A^{\text{PQVI}}$），因此需要分别进行稳定性认证。

结果

• 收敛性： 在步长 $\alpha$ 满足 $0 < \alpha < 2/\lambda_{\max}(\Phi^\top D \Phi)$ 的条件下，本文证明了如果相关切换族（无论是 $\lambda < 1$ 时的 $A_{\lambda}^{\text{DLQL}}$ 还是 $\lambda=1$ 时的 $A^{\text{PQVI}}$）的 JSR 严格小于 1，则边界误差将一致指数级衰减至零。
• 端点行为： 定理 7.1 根据 DLQL 和 PQVI 端点的 JSR 值详细说明了四种场景：
  • 若两者均稳定，则小的 $\lambda$ 和大的 $\lambda$ 均为稳定。
  • 若仅 PQVI 稳定，则大的 $\lambda$ 稳定而小的 $\lambda$ 不稳定。
  • 若仅 DLQL 稳定，则小的 $\lambda$ 稳定而大的 $\lambda$ 不稳定。
  • 若两者均不稳定，则端点均不稳定，尽管中间的 $\lambda$ 值在理论上可能改善 JSR（尽管论文指出这并非必然）。
• 实现有效性： 递归形式、无逆形式以及采样周期-$m$实现被证明在不动点以及诱导误差动力学（对于逆形式）或增广系统（对于无逆形式）方面，在数学上是等效的。

意义与主张

本文声称提供了一个统一的理论框架，用于理解线性 Q 学习中的硬目标更新。其主要意义在于：

• 弥合差距： 它通过单一参数 $\lambda$，将常见的离散周期性硬复制机制与连续的投影值迭代（一个标准的理论基准）联系起来。
• 精确性： 它超越了经验观察，为线性函数逼近提供了精确的边界动力学和基于 JSR 的稳定性证书。
• 灵活性： 它提供了一种连续调节目标更新“有效周期”的机制，这使得从业者能够选择一个 $\lambda$ 来优化稳定性，特别是在标准端点（周期-1 或无限周期）并非最优的情况下。
• 实现： 它提供了实用的、可实现的算法（递归式和无逆式），实现了这一理论机制，而无需模拟无限时界。

作者明确指出，此公式是针对确定性线性 Q 学习的版本，但指出该公式可扩展到随机强化学习设置。该工作并不声称直接解决非线性深度强化学习问题，而是旨在澄清线性范畴内目标更新的基础动力学。