Inversion-Free Natural Gradient Descent on Riemannian Manifolds

这是一篇关于**流形上免逆自然梯度下降（Inversion-Free Natural Gradient Descent on Riemannian Manifolds）**的学术论文总结。该论文由 Dario Draca、Takuo Matsubara 和 Minh-Ngoc Tran 撰写，旨在解决统计优化中参数空间为非欧几里得流形（Riemannian Manifold）时的自然梯度估计问题。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

• 核心问题：自然梯度下降（Natural Gradient Descent, NGD）是统计优化（如变分推断、最大似然估计）中的强大工具，它利用费雪信息矩阵（Fisher Information Matrix, FIM）的逆来对梯度进行预条件处理，从而获得参数不变的最陡下降方向。然而，传统的 NGD 方法通常假设参数空间是欧几里得空间（$\mathbb{R}^d$），且需要显式计算和求逆 FIM。
• 现有局限：
  1. 计算成本：在维度 $d$ 较高时，FIM 的求逆计算复杂度为 $O(d^3)$，且存储需要 $O(d^2)$，这在大规模问题中不可行。
  2. 流形约束：许多统计模型（如协方差矩阵、正交矩阵、低秩矩阵）的参数天然位于黎曼流形上（如正定矩阵流形 $S_{++}^d$、Stiefel 流形 $St(p,n)$）。在欧几里得空间中直接优化会破坏这些几何约束（如正定性、正交性），或者需要复杂的投影操作。
  3. 现有流形方法的不足：现有的流形自然梯度方法多依赖于嵌入空间（Ambient Space），或者需要计算精确的 FIM 逆，缺乏一种通用的、免逆的、内在的（Intrinsic）随机优化算法。
• 目标：开发一种**免逆（Inversion-Free）**的随机自然梯度算法，直接作用于黎曼流形，能够在线更新 FIM 的逆近似，同时保持参数在流形上的几何约束，并具备理论收敛保证。

2. 方法论 (Methodology)

论文提出了一种黎曼流形上的免逆随机自然梯度算法，其核心思想结合了 Sherman-Morrison 公式和黎曼几何中的向量传输（Vector Transport）操作。

2.1 核心算法流程

算法在每次迭代 $s$ 中执行以下三个步骤：

1. 传输（Transport）：将上一时刻的逆 FIM 近似 $H_s^{-1}$（位于切空间 $T_{\theta(s-1)}M$）通过向量传输算子 $T$ 映射到当前点的切空间 $T_{\theta(s)}M$。
   • 公式：$H_{s+1/2}^{-1} = T_{s,s-1}^* \circ H_s^{-1} \circ T_{s,s-1}$。
   • 这一步解决了不同切空间向量无法直接相加的问题，并引入了黎曼曲率带来的误差。
2. 更新（Update）：利用当前迭代采样的得分向量（Score Vector, $\phi_{s+1} = \nabla \log q_{\theta(s)}(y)$）更新逆 FIM 近似。
   • 利用 Sherman-Morrison 公式 进行低秩更新，避免直接求逆。
   • 公式：$H_{s+1}^{-1} = H_{s+1/2}^{-1} - \frac{H_{s+1/2}^{-1} \phi_{s+1} \phi_{s+1}^\top G_{\theta(s)} H_{s+1/2}^{-1}}{1 + \langle \phi_{s+1}, H_{s+1/2}^{-1} \phi_{s+1} \rangle_{\theta(s)}}$。
   • 其中 $G_{\theta(s)}$ 是基准黎曼度量矩阵。
3. 步长更新（Step）：计算自然梯度方向并沿流形更新参数。
   • 更新方向：$v_{s+1} = -\tau_{s+1} H_{s+1}^{-1} \hat{\nabla} L(\theta(s))$。
   • 参数更新：$\theta(s+1) = R_{\theta(s)}(v_{s+1})$，其中 $R$ 是重traction（Retraction），用于将切空间向量映射回流形。

2.2 内存优化变体

针对高维问题，论文提出了**有限内存（Limited-memory）**变体：

• 不存储完整的 $d \times d$ 矩阵 $H^{-1}$，而是维护一个包含最近 $K$ 个得分向量的“滑动窗口”。
• 利用向量化的 Sherman-Morrison 展开式，将存储复杂度从 $O(d^2)$ 降低到 $O(dK)$（次二次方复杂度）。
• 传输操作简化为对窗口内每个向量的传输。

2.3 理论假设

• 假设目标函数在流形上是光滑的，且存在平稳点。
• 步长序列 $\tau_k \propto k^{-\alpha}$，其中 $\alpha > 2/3$。
• 假设迭代点位于紧集内，且传输算子满足特定的正则性条件。

3. 主要贡献 (Key Contributions)

1. 纯内在（Purely Intrinsic）方法：
   • 与 Hu et al. (2024) 等基于嵌入空间的方法不同，该方法完全在流形内部定义，不依赖于外部欧几里得空间的嵌入，仅对黎曼流形和目标函数做标准正则性假设。
2. 随机免逆更新：
   • 首次将免逆自然梯度方法（基于 Amari et al. 2000 和 Godichon-Baggioni et al. 2024 的思想）推广到一般黎曼流形。
   • 通过在线更新逆 FIM 近似，将每次迭代的计算复杂度从 $O(d^3)$ 降低到 $O(d^2)$（或 $O(dK)$）。
3. 理论收敛性证明：
   • 几乎必然收敛率：证明了在步长指数 $\alpha > 2/3$ 时，到最小值的平方距离收敛率为 $O(\log s / s^\alpha)$。
   • FIM 近似一致性：证明了近似逆 FIM 算子几乎必然收敛到真实的逆 FIM 算子。
   • 曲率误差分析：深入分析了黎曼几何中平行传输（Parallel Transport）带来的曲率误差（Holonomy errors），并证明了在 $\alpha > 2/3$ 时这些误差是可控制的。
4. 内存效率：
   • 提出了次二次方存储复杂度的有限内存变体，适用于高维参数空间。

4. 实验结果 (Results)

论文在两个主要应用场景中验证了方法的有效性：

4.1 高斯变分推断 (Gaussian Variational Inference)

• 场景：贝叶斯逻辑回归，使用 Bures-Wasserstein (BW) 流形作为协方差矩阵的几何结构。
• 对比：比较了欧几里得几何 vs. BW 几何，以及精确自然梯度 vs. 免逆近似自然梯度。
• 发现：
  • 几何优势：在 BW 流形上，KL 散度具有测地凸性（Geodesic Convexity），使得优化更稳定且收敛更快。
  • 近似效果：免逆近似方法（NGD Approx）的表现与精确自然梯度方法（Exact NGD）非常接近，尽管初始阶段略有波动。
  • 稳定性：在高维数据集（如 Adult, Mushrooms）上，欧几里得近似方法容易发散，而 BW 流形上的近似方法在较大步长下依然稳定。

4.2 Stiefel 流形上的归一化流 (Normalizing Flows on Stiefel Manifold)

• 场景：使用 Sylvester 归一化流进行变分推断，权重矩阵受正交约束（位于 Stiefel 流形）。
• 对比：黎曼随机梯度下降 (RSGD)、黎曼自然梯度 (Riemannian NGD)、外嵌自然梯度 (Extrinsic NGD)。
• 发现：
  • 黎曼自然梯度方法在所有数据集上均取得了最低的负证据下界（Negative ELBO），优于 RSGD 和外嵌方法。
  • 证明了在流形约束下，利用内在几何结构能显著提升优化性能。

5. 意义与影响 (Significance)

• 理论突破：填补了黎曼流形上随机自然梯度优化理论分析的空白，特别是处理了向量传输带来的非欧几里得误差，为流形优化提供了更坚实的理论基础。
• 算法实用性：提出的免逆算法极大地降低了计算和存储成本，使得在大规模参数空间（如深度学习中的协方差矩阵、正交约束网络）中应用自然梯度成为可能。
• 几何感知优化：强调了在统计优化中利用参数空间的内在几何结构（如正定性、正交性、测地凸性）的重要性，证明了这种几何感知方法在收敛速度和稳定性上优于传统的欧几里得方法。
• 未来方向：论文最后指出，该方法可进一步推广到无限维的 Wasserstein 空间（如粒子基算法 SVGD），为非参数贝叶斯推断提供新的几何视角。

总结：这篇论文成功地将自然梯度下降从欧几里得空间扩展到了黎曼流形，提出了一种计算高效、理论严谨且无需矩阵求逆的随机优化算法。通过利用流形的几何特性（如测地凸性）和高效的在线更新策略，该方法在变分推断等统计任务中展现了显著的性能优势。