技术摘要：用于各向同性噪声不变特征分解的离散双重括号流

1. 问题陈述

本文解决了在流式观测下，针对对称算子进行全基无矩阵特征分解的问题。观测模型为：
$$C_k = C_{\text{sig}} + \sigma_k^2 I + E_k$$
其中：

• $C_{\text{sig}} \in \mathbb{R}^{n \times n}$ 是具有不同特征值的信号协方差。
• $\sigma_k^2 I$ 表示时变的、可能无界的各向同性背景（噪声基底）。
• $E_k$ 是各向异性扰动。
• 访问权限仅限于矩阵 - 向量乘积 (MVP) $v \mapsto C_k v$，意味着完整的矩阵 $C_k$ 从未被显式存储或构建。

核心挑战： 在高背景区域（$\sigma_k^2 \gg \|C_{\text{sig}}\|_2$）中，标准算法（如子空间迭代、Oja 规则、带 QR 重traction 的欧几里得梯度下降）遭受严重退化。它们的稳定性、步长和收缩率变得与噪声基底 $\sigma_k^2$ 耦合。例如，随着 $\sigma_k^2 \to \infty$，子空间迭代中的收缩比趋近于 1，而 QR-Oja 中的有效步长坍缩为零。这迫使迭代次数按 $\Omega(\sigma_k^2 / \Delta)$ 缩放，使其在高噪声环境中不切实际。

2. 方法论

作者提出了一种离散双重括号流，无需显式估计或减去噪声，即可实现对各向同性位移的代数不变性。

2.1 通过李括号实现代数不变性

核心见解是，各向同性分量 $\sigma_k^2 I$ 位于矩阵代数的中心。因此，它在李括号运算（交换子）下消失。作者在李代数 $\mathfrak{so}(n)$ 上构建了一个状态依赖的生成元 $\Omega(M)$：
$$\Omega(M) = [A(M), D(M)] = A(M)D(M) - D(M)A(M)$$
其中：

• $A(M) = M^\top C_k M$
• $D(M) = \text{diag}(A(M))$

因为对于任意标量 $\alpha$ 和矩阵 $X$，$[\alpha I, X] \equiv 0$，所以生成元满足：
$$\Omega(M; C_{\text{sig}} + \sigma_k^2 I + E_k) = \Omega(M; C_{\text{sig}} + E_k)$$
这确保了无论观测是否包含各向同性噪声，更新方向都是逐点相同的。噪声未被过滤；它被生成元的定义在结构上消除。

2.2 通过 Cayley 重traction 进行离散更新

该算法使用 Cayley 映射更新旋转矩阵 $M_k \in SO(n)$，以在不进行昂贵的 SVD 或 QR 分解的情况下保持正交性：
$$M_{k+1} = M_k \cdot \text{Cay}(\eta_k \Omega_k)$$
其中 $\text{Cay}(X) = (I - \frac{1}{2}X)^{-1}(I + \frac{1}{2}X)$。
在无矩阵设置中，逆矩阵 $(I - \frac{\eta}{2}\Omega)^{-1}$ 通过截断的 Neumann 级数（阶数为 $K$，通常为 $K=3$ 或 $4$）进行近似，每次迭代仅需$O(n)$ 次 MVP。

2.3 扩展到前 $k$ 个特征向量跟踪

该框架被扩展到Stiefel 流形 $\text{St}(k, n)$ 以跟踪前 $k$ 个特征向量。通过引入加权 Brockett 目标函数 $J(M) = \text{tr}(M^\top C M N)$，其中 $N$ 为严格有序的对角权重矩阵，该方法隔离了有序特征框架，同时保留了相同的 $\sigma^2$ 不变性。

3. 主要贡献与理论结果

3.1 代数不变性与稳定性

• 逐点不变性： 对于观测 $\{C_{\text{sig}} + \sigma_k^2 I + E_k\}$ 和 $\{C_{\text{sig}} + E_k\}$，离散轨迹 $\{M_k\}$ 和 Lyapunov 值是完全相同的。
• 稳定性阈值： 最大稳定步长 $\eta_{\max} = 1/L_C$ 仅取决于无迹信号能量 $\|C_e\|_2$（其中 $C_e = \text{tf}(C_{\text{sig}})$），而与 $\sigma_k^2$ 无关。具体而言，$L_C = (4\sqrt{n} + 8)\|C_e\|_2^2$。

3.2 输入 - 状态稳定性 (ISS)

作者证明了该算法相对于无迹扰动 $E_e$ 具有输入 - 状态稳定性。

• 噪声球： 稳态误差界（噪声球半径）仅由 $\|E_e\|$、$\|C_e\|$ 和谱隙 $\delta$ 决定。它与各向同性噪声水平 $\{\sigma_k^2\}$ 无关。
• 样本复杂度： 在随机噪声下，收敛速率为 $O(1/k)$，达到精度 $\epsilon$ 的样本复杂度为 $O(\|C_e\|_2^2 \sigma_u^2 / (\delta^2 \epsilon))$，其中 $\sigma_u^2$ 仅取决于各向异性噪声矩。

3.3 全局收敛

• 严格鞍点几何： $SO(n)$ 上的目标函数没有虚假的局部极小值。所有非最优临界点均为严格鞍点。
• Haar 几乎处处收敛： 对于精确（无噪声）Cayley 迭代，随机初始化（Haar 测度）以概率 1 收敛到全局极小值集。
• 有限时间进入： 在有界无迹扰动下，受扰轨道从几乎任何初始化出发，在有限时间内进入谱分离域（局部 ISS 分析成立的区域）。

3.4 计算复杂度

• **全基 ($SO(n)$)：** 每步$O(n)$ 次 MVP 和 $O(n^3)$ 稠密算术运算。
• 前 $k$ 个 ($\text{St}(k, n)$)： 每步 $O(k)$ 次 MVP 和 $O(nk^2 + k^3)$ 算术运算，使得在 $k$ 较小时可扩展至 $n \sim 10^4$。

4. 实验结果

本文通过数值诊断而非广泛的经验基准验证了理论预测：

1. 迭代复杂度与噪声： 所提出的 Cayley 方法在各向同性噪声跨越四个数量级（$\sigma^2 \in [0, 1000]$）时，仅需恒定的迭代次数（$\approx 1600$）。相比之下，“原始 Oja"在 $\sigma^2 \ge 10$ 时完全失效，而去迹基线（TF-Oja）则产生显著开销。
2. 代数正确性： 交换子实现满足代数恒等式（例如 Givens 逃逸轮廓、输入界限），精度达到机器精度（$\sim 10^{-15}$）。
3. 全局收敛： 在 $SO(15)$ 上从 100 个 Haar 随机初始化出发，该算法在 100% 的试验中收敛到全局极小值。
4. Stiefel 不变性： 在 $\text{St}(5, 50)$ 上 $\sigma^2 = 10^4$ 的轨迹与 $\sigma^2 = 0$ 的轨迹无法区分（差异 $< 2.3 \times 10^{-12}$）。

5. 意义与主张

本文声称解决了流式特征分解中的一个根本性限制：算法稳定性与噪声基底的耦合。通过利用李括号恒等式 $[\alpha I, \cdot] \equiv 0$，该方法使各向同性噪声在“代数上不可见”。

• 结构 vs. 估计： 与迹估计或去噪方法不同，该方法不尝试估计或减去干扰参数。相反，它构建了噪声无法存在的动力学。
• 鲁棒性： 即使各向同性背景是无界的或脉冲式的，该方法也能提供认证的收敛保证。
• 范围： 作者明确将其范围限制为各向同性位移。结构化（非各向同性）扰动不在当前框架内。全基变体仍为 $O(n^3)$，将其限制在 $n \lesssim 10^3$，尽管 Stiefel 扩展为低秩跟踪提供了可扩展性。

这项工作建立了一种新的鲁棒谱估计范式，其中噪声模型通过几何结构而非统计估计来处理。