📊 statistics

Robust Automatic Differentiation of Square-Root Kalman Filters via Gramian Differentials

该论文提出了一种基于 Gramian 微分的鲁棒自动微分方法，通过直接对 $MM^\top$ 进行链式法则推导，解决了平方根卡尔曼滤波中因 QR 分解非唯一性和矩阵秩亏导致的梯度计算难题，从而实现了在奇异输入下对对数边缘似然及滤波矩的精确梯度计算。

原作者： Adrien Corenflos

发布于 2026-03-17

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Adrien Corenflos

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文解决了一个在人工智能和统计学中非常棘手的问题：如何让“平方根卡尔曼滤波器”（Square-Root Kalman Filter）在计算机自动学习参数时，既稳定又准确。

为了让你轻松理解，我们可以把整个过程想象成**“在迷雾中驾驶一辆自动驾驶汽车”**。

1. 背景：自动驾驶与“迷雾”

想象你开着一辆自动驾驶汽车（这就是卡尔曼滤波器），它需要根据过去的轨迹和现在的传感器数据，不断预测下一秒车在哪里。

任务：汽车需要计算一个“不确定性地图”（协方差矩阵），告诉系统它对自己位置的猜测有多大的把握。
挑战：如果地图画得太久，计算机的微小误差（就像地图上的墨点晕开）会累积，导致地图变成负数或乱码，汽车就会“疯掉”（数值不稳定）。
解决方案：为了保持地图清晰，工程师们发明了一种叫**“平方根滤波器”的方法。它不直接画整张地图，而是只画地图的“骨架”（一个三角形的矩阵，叫 Cholesky 因子）。只要骨架是正的，整张地图就一定是正的。这就像只保留地图的主梁**，而不是画满每一块砖。

2. 问题：当“骨架”遇到“多义性”和“断裂”

现在，我们要让这辆自动驾驶汽车自我学习（通过自动微分技术，自动调整参数让它开得更好）。这就像给汽车装了一个“导航教练”，它需要告诉汽车：“刚才那个转弯太急了，下次慢点”。

但是，当教练试图通过观察“骨架”来给出建议时，遇到了两个大麻烦：

麻烦一：骨架不唯一（多义性）
想象你要把一堆木头（数据）搭成一个三角形架子。如果木头比需要的多（矩阵宽大于高），搭法就不止一种了。你可以把多余的木头藏在后面，或者斜着放。
- 后果：计算机不知道应该选哪种搭法来指导学习。就像教练问：“你刚才用的是哪种搭法？”汽车回答：“有很多种可能啊！”于是教练晕了，算不出梯度（指导方向）。
麻烦二：骨架断裂（秩亏缺）
有时候，数据太少了，或者传感器坏了，导致木头不够搭架子，或者架子塌了一角（矩阵秩亏缺）。
- 后果：标准的数学公式里需要除以架子的尺寸（求逆），如果架子塌了，除以零就会爆炸。教练直接崩溃，算不出任何建议。

3. 核心洞察：别管“骨架”怎么搭，只看“地基”

作者 Adrien Corenflos 发现了一个绝妙的视角转换：
其实，汽车开得好不好（学习结果），根本不关心“骨架”具体是怎么搭的，只关心“地基”稳不稳！

地基（Gramian）：无论你怎么搭那个三角形骨架，它们最终拼出来的地基面积（数学上叫 $MM^T$ ，即 Gramian）是唯一确定的。
比喻：就像你盖房子，不管你是用红砖还是蓝砖（不同的骨架搭法），只要地基（Gramian）是一样的，房子的高度（最终的学习结果）就是一样的。地基是平滑的、连续的，不会突然断裂。

4. 解决方案：绕过“骨架”，直接推“地基”

既然直接推“骨架”会卡住，作者提出：我们不要直接对“骨架”求导，而是直接对“地基”求导，然后反推回去。

作者发明了一套新的数学公式（Gramian Differentials）：

忽略歧义：既然地基是唯一的，我们就只关注地基的变化。
修补断裂：当骨架塌了（秩亏缺）时，这套公式能自动识别出哪些部分塌了，哪些部分还站着。它把变化分成两部分：
- 站立部分：用一种特殊的“万能钥匙”（Moore-Penrose 伪逆）来修补。
- 倒塌部分：专门处理那些塌下去的角落，确保即使架子塌了，教练也能算出正确的指导方向。

5. 结果：自动驾驶终于能完美学习了

以前：如果数据有点问题，或者维度不对，自动学习就会报错或算出错误方向，导致模型学废了。
现在：有了这个新方法，无论数据是否完整、维度是否匹配，计算机都能算出完美、平滑、准确的梯度。
比喻：就像给自动驾驶汽车装上了一个**“透视眼”**。它不再盯着那些容易晃动的“骨架”看，而是直接看稳固的“地基”。无论路多烂、数据多缺，它都能稳稳地告诉汽车下一步该怎么走。

总结

这篇论文就像是一个**“数学急救包”**。它告诉工程师们：当你在处理复杂的三角矩阵（骨架）时，如果遇到了“多解”或“断裂”的难题，不要硬算，直接看它背后的“地基”（Gramian）。

通过这种方法，他们让原本容易崩溃的自动学习过程变得坚如磐石，让基于卡尔曼滤波的 AI 模型（如机器人导航、金融预测等）能够更稳定、更高效地自我进化。

这是一份关于论文《Robust Automatic Differentiation of Square-Root Kalman Filters via Gramian Differentials》（通过 Gramian 微分实现平方根卡尔曼滤波器的鲁棒自动微分）的详细技术总结。

1. 研究背景与问题 (Problem)

背景：
在状态空间模型（State-Space Models, SSMs）中，平方根卡尔曼滤波器（Square-Root Kalman Filters, SRKF）通过传播状态协方差的 Cholesky 因子（下三角矩阵 $S_{t|t}$ ，满足 $P_{t|t} = S_{t|t}S_{t|t}^\top$ ）来保证数值稳定性，避免长时程计算中协方差矩阵失去半正定性。这使得 SRKF 成为基于梯度的参数学习（如最大似然估计）的理想目标。

核心痛点：
SRKF 的核心操作是将矩阵 $M$ 三角化（Triangularization），即寻找下三角矩阵 $L$ 使得 $LL^\top = MM^\top$ 。在实践中，这通常通过 $M^\top$ 的瘦 QR 分解（ $M^\top = QR$ ）并令 $L=R^\top$ 来实现。然而，直接对 QR 分解进行自动微分（Automatic Differentiation, AD）存在两个严重问题：

非唯一性导致的梯度未定义： 当 $M$ 是宽矩阵（ $m > n$ ）时，正交因子 $Q$ 存在连续的自由度（非唯一），导致 $L$ 的雅可比 - 向量积（JVP）没有标准定义。这种情况在预测步（当过程噪声协方差 $U$ 满秩时）和更新步（当观测维度 $d_y > 0$ 时）经常发生。
秩亏导致的发散： 标准 QR 微分公式涉及 $R^{-1}$ 。当 $M$ 秩亏（例如 $U$ 或 $V$ 奇异，或滤波过程中 $P_{t|t}$ 退化）时， $R$ 不可逆，导致梯度计算发散。

2. 方法论 (Methodology)

作者提出了一种基于**Gramian 微分（Gramian Differentials）**的新方法，完全绕过了对 QR 分解本身的直接微分。

核心洞察：
滤波器的关键输出（对数边缘似然、滤波均值、滤波协方差）仅依赖于三角化结果 $L$ 通过其 Gramian 矩阵 $\Sigma = LL^\top = MM^\top$ 。尽管三角化算子 $T(M)$ 本身在某些点不可微，但复合损失函数 $\ell \circ T$ 关于输入矩阵 $M$ 是光滑的，因为它仅通过光滑映射 $M \mapsto MM^\top$ 依赖 $M$ 。

具体推导步骤：

Gramian 恒等式微分： 不直接微分 $L=T(M)$ ，而是对恒等式 $LL^\top = MM^\top$ 进行微分，得到 Gramian 微分恒等式：
$dL L^\top + L dL^\top = dM M^\top + M dM^\top$
任何满足此方程的 $dL$ 都能为依赖 Gramian 的损失函数提供精确的梯度。
构造代理切向量（Surrogate Tangent）： 作者将 $dL$ 分解为两个部分，分别处理列空间（Column-space）和零空间（Null-space）的扰动：
- 列空间分量 ( $dL_{col}$ )： 利用 Moore-Penrose 伪逆 $L^\dagger$ 和正交投影 $P = LL^\dagger$ 。通过 QR 分解关系 $M = LQ^\top$ ，构造 $K = L^\dagger dM Q$ ，并求解下三角部分 $dN $使得$ dN + dN^\top = K + K^\top$。
- 零空间分量 ( $dL_{null}$ )： 处理那些投影到 $L$ 列空间之外的扰动。定义为 $dL_{null} = (I - LL^\dagger) dM Q$ 。
最终公式： 代理切向量定义为 $dL = dL_{col} + dL_{null}$ 。
- 当 $L$ 满秩时， $dL_{null} = 0$ ，公式退化为经典的 QR 微分公式。
- 当 $L$ 秩亏时，该公式依然有效且唯一。
反向模式微分（VJP）： 证明了该映射 $dM \mapsto dL$ 是线性的。因此，反向模式梯度（VJP）可以通过对前向模式算子进行自动转置（Automatic Transposition）直接获得，无需额外推导。

3. 主要贡献 (Key Contributions)

闭式解的 JVP： 提出了一个针对三角化算子 $T$ 的闭式 JVP 公式（Definition 2）。该公式对任何依赖 Gramian 的损失函数都是精确的，能够恢复经典 QR 公式（在满秩时），并扩展到秩亏输入。
Gramian 充分性证明： 证明了卡尔曼滤波的所有相关输出（似然、均值、协方差）仅依赖于 Gramian，从而证明了上述代理梯度的有效性。
反向模式的高效实现： 利用 JVP 的线性性质，通过自动转置机制免费获得了 VJP，使得该方法能无缝集成到现有的 AD 框架中。
开源实现： 提供了基于 JAX 的开源实现，支持端到端的梯度学习。

4. 实验结果 (Results)

实验设置： 使用线性高斯状态空间模型（LGSSM），其中观测噪声协方差 $V(\alpha)$ 被设计为从满秩插值到秩为 1 的奇异矩阵（ $\alpha \in [0, 1]$ ）。
对比表现：
- 经典 QR 方法： 在 $\alpha$ 接近 0（秩亏）或维度不匹配时，梯度计算发散或返回无效值，因此无法绘制结果。
- 本文方法： 在整个 $\alpha$ 范围内（包括秩亏情况）均能计算出正确且一致的梯度。
- 验证： 图 1 显示，计算出的梯度切线与对数边缘似然曲线完美吻合，证明了即使在秩亏和维度不匹配的情况下，该方法也是鲁棒且精确的。

5. 意义与影响 (Significance)

解决长期存在的数值难题： 彻底解决了平方根卡尔曼滤波器在自动微分中因 QR 分解非唯一性和秩亏导致的梯度计算失败问题。
提升模型训练能力： 使得基于梯度的参数学习（如最大似然估计、贝叶斯推断）能够应用于更广泛的场景，包括那些涉及奇异噪声协方差或低维观测的复杂状态空间模型。
通用性与兼容性： 该方法不依赖于特定的优化器，可直接嵌入 JAX、PyTorch 等现代自动微分框架，为状态空间模型的端到端深度学习提供了坚实的数学基础和工具支持。
理论突破： 展示了在处理非光滑算子（如 QR 分解）时，通过关注其输出的不变量（Gramian）来绕过微分障碍的通用思路。

总结： 这篇文章通过引入 Gramian 微分，为平方根卡尔曼滤波器提供了一种数学上严谨、数值上鲁棒的自动微分方案，填补了现有工具在处理秩亏和宽矩阵情况下的空白，极大地扩展了状态空间模型在数据驱动学习中的应用潜力。