技术摘要：用于 EM 可压缩在线估计的高阶均衡跟踪

问题表述

本文解决了潜在变量模型中在线统计估计的挑战，具体旨在在有限的内存和计算约束下，实现与批量估计器相当的效率。与针对固定总体参数的标准在线随机逼近不同，作者观察到在潜在变量设置（例如协方差估计）中，“目标”本身是动态的。

在 $t$ 次观测后，运行充分统计量 $S_t$ 定义了一个冻结经验目标 $L_{S_t}$。该目标的局部极小值，记为 $\Sigma^\circ(S_t)$，构成了一个冻结经验均衡。随着数据流的演变，$S_t$ 发生漂移，导致均衡 $\Sigma^\circ(S_t)$ 在流形上描绘出一条缓慢移动的曲线。因此，在线估计问题被重构为跟踪这一移动均衡。

核心难点在于将批量估计器的统计波动与算法跟踪误差区分开来。标准分析往往混淆这两者，未能将有限视界下的经验批量最优解与在线跟踪滞后隔离开来。

方法论

作者提出了一个框架，将在线估计量 $\vartheta_T$（在局部坐标下）分解为两个分量：
$$\vartheta_T = r(S_T) + e_T$$
其中 $r(S_T)$ 是均衡分支（最终统计量处的冻结批量目标），而 $e_T$ 是跟踪滞后。

1. 均衡 - 射流预测 - 校正器

该算法（算法 1）采用两步机制来最小化跟踪滞后 $e_T$：

• 预测器：$m$ 阶均衡 - 射流预测器利用响应映射 $r(S)$ 的泰勒展开（射流）来近似均衡分支 $r(S)$ 的下一步位移。这基于统计量增量 $\Delta S_t$ 预测目标的漂移。
• 校正器：$\nu$ 阶冻结校正器（实现为阻尼不精确牛顿 - 共轭梯度步）将预测状态收缩至新的冻结目标。

理论分析表明，结合 $m$ 阶预测器与 $\nu$ 阶校正器可产生 $O(T^{-\nu(m+1)})$ 的局部跟踪速率。例如，一阶预测器（$m=1$）配合牛顿校正器（$\nu=2$）可实现 $O(T^{-2})$ 的速率。

2. EM 可压缩性与 EM-jetR 可压缩性

该方法的一个关键结构要求是预测器和校正器必须能够从保留的流统计量而非完整历史中计算得出。本文形式化了两个条件：

• EM 可压缩性：冻结得分函数通过 EM 风格的恒等式在压缩充分统计量 $C_t$ 上闭合。
• EM-jetR 可压缩性：一个更强的条件，确保不仅得分函数，而且直到 $R+1$ 阶的得分函数的统计量方向导数（高阶射流和 Hessian-向量积所需），都可以仅使用压缩统计量进行评估。

3. 批量到在线转移定理

本文建立了一个转移定理：如果跟踪滞后满足 $\|e_T\|_{L_2} = o(T^{-1/2})$，则在线估计器继承批量中心极限定理 (CLT) 和锐利的一阶风险常数（$T^{-1} \text{tr}(V^*)$）。这意味着，足够精确的跟踪器在相同数据上计算出的理想批量估计器相比，不会产生渐近惩罚。

主要贡献

1. 经验均衡表述：作者将在线估计重构为跟踪统计量索引的均衡分支，清晰地将统计波动与算法滞后分离。
2. 高阶跟踪速率：他们证明，$m$ 阶预测器结合 $\nu$ 阶校正器可实现 $O(T^{-\nu(m+1)})$ 的局部跟踪速率。具体而言，一阶方案可实现 $O(T^{-2})$。
3. 结构条件（EM 可压缩性）：他们定义了EM 可压缩性和EM-jetR 可压缩性作为从流统计量评估均衡响应和牛顿校正器所必需的结构条件。
4. 转移定理：他们证明，任何终端滞后为 $o(T^{-1/2})$ 的在线跟踪器都继承批量 CLT 和最优风险常数。
5. 潜在线性高斯实例化：该理论在潜在线性高斯协方差估计中得到了实例化。在此情况下，一阶方案在压缩的 $d \times d$ 统计量上运行（其中 $d$ 是潜在维度），独立于观测维度 $p$。作者提供了明确的有限样本风险包络和认证的重启规则，以确保进入局部跟踪区域。

结果与验证

本文提供了理论保证和数值诊断：

• 跟踪阶数验证：标量和潜在高斯模型上的实验证实了预测的对数 - 对数斜率。带有牛顿校正器的一阶预测器产生约 $-2.0$的斜率，与$O(T^{-2})$的理论速率相符。更高阶（$m=2, \nu=3$）按预测进一步提高了速率。
• 阻尼敏感性：结果表明，固定阻尼（$\lambda > 0$）将牛顿校正器的阶数从 2 降为 1，将跟踪速率从 $T^{-2}$ 降低至 $T^{-1}$。
• 批量到在线转移：数值实验验证了 $\sqrt{T}\|e_T\|_{L_2} \to 0$，满足转移条件。因此，在线风险 $T \cdot E[d_h^2(\Sigma_T, \Sigma^*)]$ 收敛至锐利的批量常数 $\text{tr}(J_*^{-1})$，与批量估计器的性能无法区分。
• 计算效率：在潜在高斯情况下，在线步骤的成本为 $O(pd + d^2 + (k_{pred} + k_{cor} + 1)d^3)$，内存为 $O(pd + d^2)$，避免了存储过去样本。

意义与主张

本文声称提供了针对认证均衡区域的局部跟踪与转移理论。它并未断言从任意初始化出发的全局收敛；相反，它依赖于重启规则（例如线性逆初始化）以进入均衡分支平滑且校正器具有收缩性的局部邻域。

其意义在于：

• 理论统一：通过将批量目标视为移动对象，弥合了批量渐近性与在线跟踪之间的差距。
• 结构洞察：指出"EM 可压缩性”不仅关乎得分函数，还关乎高阶跟踪所需的导数（射流）的可压缩性。
• 最优性：证明在线估计器可以在不需要完整数据存储的情况下实现与批量估计器完全相同的渐近风险常数，前提是跟踪滞后通过高阶预测和校正得到控制。

作者将这项工作定位为潜在变量模型中在线协方差估计的基础数学理论，为内存约束下的流数据提供了认证的收缩性和锐利的风险保证。