🤖 machine learning

SPDM: Geometry-Modulated State Space Modeling with Manifold Constraints for Time Series Forecasting

本文介绍了 SPDM，这是一种新型状态空间模型，它通过引入流形约束，将演化的跨变量相关性视为对称正定流形上的连续轨迹，从而增强了多元时间序列预测能力，在利用几何正则化器引导选择性扫描动态的同时，保持了线性时间计算效率，并实现了最先进的性能。

原作者： Xingsheng Chen, Siu-Ming Yiu

发布于 2026-06-10

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xingsheng Chen, Siu-Ming Yiu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试预测天气、交通或用电量。你拥有许多不同的传感器（变量），它们都在相互通信。问题在于，这些传感器相互影响的方式并不是静态的，而是不断变化的。有时它们步调一致，有时它们彼此分离，有时它们又会突然转变为一种全新的模式。

目前的多数 AI 模型将这些传感器视为独立的列表项，或者以一种忽略了它们之间微妙且连续的舞步的“宏观视角”来观察。它们往往忽略了一个事实：传感器之间的关系是一个平滑流动的曲线，而非一系列脱节的快照。

SPDM 是一种旨在解决这一问题的全新 AI 模型，它通过将这些关系视为在弯曲地图上的旅程来进行处理。以下是其工作原理的拆解，采用了简单的概念：

1. 核心思想：“弯曲地图”（流形）

想象一下，你所有传感器（如温度、风速和湿度）之间的关系，就像是特殊弯曲地图上的一点，这个地图被称为流形 (Manifold)。

旧方法： 大多数模型观察这张地图并说：“好吧，现在点在这里，稍后它在那里。”它们将点与点之间的跳跃视为突然的瞬间移动。
SPDM 的方法： SPDM 意识到这种关系并不是瞬间移动，而是沿着这张弯曲地图上的路径平滑滑动。它将不断变化的关系视为一条连续轨迹（地图上绘制的一条平滑曲线）。

2. 双路径系统

SPDM 使用一个巧妙的双车道高速公路系统来处理数据：

车道 A（几何导航员）： 这个车道不看原始数值（比如“现在是 20 度”）。相反，它观察关系的形状。
- 它捕捉当前所有传感器是如何连接在一起的快照。
- 它绘制一条平滑的线（轨迹），展示这些连接是如何随时间演变的。
- 为了让计算机易于理解，它将这个弯曲的地图投影到一个平坦、笔直的表面上（称为切空间/切空间 (Tangent Space)）。你可以把它想象成将一个弯曲的地球仪展平在一张纸上，以便在上面画一条直线。
- 这个“导航员”随后会发出信号说：“嘿，关系正在向这个特定方向偏移！”
车道 B（主驾驶员）： 这是实际进行预测的主要引擎。它是一个非常快速、高效的引擎，被称为 Mamba（一种状态空间模型）。
- 通常，这个引擎会线性地扫描数据，就像从左到右阅读书籍一样。
- 神奇之处在于： SPDM 将来自“几何导航员”（车道 A）的信号直接注入到引擎的转向盘中。
- 引擎不再仅仅是扫描数据，它现在知道了关系是如何变化的。如果传感器突然变得混乱，引擎就会收紧握力；如果传感器趋于稳定，它就会放松。这使得引擎具备了“几何感知能力”。

3. 为什么这很重要（优势）

该论文声称这种方法提供了三个主要的超能力：

它能洞察“大局”的变化： 由于它追踪关系的平滑曲线，因此比那些只观察单个数据点的模型能更快地发现整个系统何时正在转向新的“模态”（例如交通突然拥堵或风暴前线抵达）。
它能忽略噪声： 现实世界的数据是杂乱的。它们会有随机的峰值和故障。因为 SPDM 观察的是关系的“形状”（这通常是平滑的），所以它能自然地过滤掉随机的“静电”或噪声，就像为数据戴上了降噪耳机。
它速度极快： 尽管它在进行复杂的几何运算，但它并不会变慢。它保持了原始 Mamba 引擎的速度，这意味着它可以处理海量数据而不会陷入停滞。

4. 结果

作者在 11 个不同的真实世界数据集上进行了测试，包括电网、气象站和交通传感器。

性能： SPDM 在准确性上持续超越了现有的最佳模型（如 Transformer 和其他 Mamba 变体）。
效率： 它在实现更高精度的同时，使用了更少的计算内存和训练时间。
鲁棒性： 即使在添加了虚假“噪声”（随机误差）以测试数据时，SPDM 依然表现良好，而其他模型则开始失效。

总结类比

把预测未来想象成在雾气弥漫、蜿蜒曲折的山路上开车。

旧模型 就像是一个只盯着保险杠正前方道路的司机。他们会对每一个颠簸做出反应，并且如果道路突然转弯，他们可能会迷失方向。
SPDM 则像是一位拥有 GPS 的司机，能够显示前方道路的整体形状。它知道路即将向左转弯，因此在转弯发生之前，它就能平稳地转向。它会忽略路面上的坑洼（噪声），因为它专注于道路本身的平滑路径（几何结构）。

论文得出结论：通过理解变量如何相互作用的“形状”，我们可以构建出不仅更聪明、更准确，而且对充满挑战且混乱的现实世界更具韧性的 AI。

技术摘要：SPDM —— 基于流形约束的几何调制状态空间建模

1. 问题陈述

多元时间序列预测面临着一个根本性的挑战：捕捉变量间不断演化的相关性结构。现有的神经序列架构，包括 Transformer 和标准的态空间模型（SSM，如 Mamba），在很大程度上将变量间的关系视为静态的，或者忽略了其几何连续性。

Transformer 依赖自注意力机制，这会导致二次方计算复杂度 ( $O(L^2)$ )，并且难以沿时间维度连续地传播相关性结构。
标准 SSM（如 Mamba） 虽然实现了线性复杂度，但通常将多元交互建模为平坦序列或静态图，未能考虑到协方差矩阵内在的几何属性。
现有的几何方法 通常依赖于静态几何先验，或将几何变换作为辅助机制应用，而非将相关性结构建模为原则性几何流形上的连续轨迹。

核心问题在于缺乏一种既能保持 SSM 的计算效率，又能显式地将演化的跨变量相关性结构建模为连续几何轨迹的架构。

2. 方法论：SPDM 架构

作者提出了 SPDM（基于流形约束的几何调制状态空间建模），该架构将不断演化的跨变量相关性结构视为对称正定（SPD）流形 ( $\mathcal{P}_N$ ) 上的连续轨迹。该模型集成了两条协同路径，以实现流形约束下的状态空间动力学。

路径 A：SPD 流形轨迹路径

此路径构建并处理几何演化过程：

动态协方差构建： 输入序列被展开为重叠的滑动窗口。对于每个窗口，计算样本协方差矩阵 $\Sigma_t$ ，从而追踪在 $\mathcal{P}_N$ 上的离散轨迹。
切空间投影： 为了使轨迹能够被标准神经模块高效处理，将其投影到欧几里得切空间。
- 使用 对数欧几里得 Fréchet 平均值 ( $\bar{\Sigma}$ ) 建立参考点，该方法尊重流形的弯曲几何特性。
- 通过对数映射将每个协方差矩阵投影到切空间 $T_{\bar{\Sigma}}\mathcal{P}_N$ ： $V_t = \log_{\bar{\Sigma}}(\Sigma_t)$ 。
- 生成的对称矩阵被展平为上三角向量。
几何 Mamba： 一个专门的 Mamba 模块处理切向量序列，以捕捉几何轨迹的时间动力学，从而产生调制参数 ( $\mathbf{h}_{geo}$ )。
稀疏窗口对齐： 为了弥合窗口级几何特征与变量级 Token 之间的粒度差距，采用了稀疏对齐策略。几何信号仅在对应于窗口中心的特定时间步注入，从而避免了由线性插值引起的信号模糊。

路径 B：调制 Mamba 编码器

此路径处理原始时间序列，并受来自路径 A 的几何信号引导：

反转嵌入： 将变量视为 Token，并将序列转置，使 Mamba 沿着变量而非时间步进行扫描。
几何调制 Mamba： 核心创新在于将几何信号直接注入 Mamba 变量通道（VC）编码器的选择性状态空间参数 ( $\mathbf{B}$ $B$ 和 $\mathbf{C}$ $C$ ) 中。
- 模型并非将几何作为外部调节信号，而是拦截了内部的 SSM 参数化过程。
- 几何信号经过投影并加性地注入到 $\mathbf{B}$ 和 $\mathbf{C}$ 中： $\mathbf{B} = \mathbf{B}_{base} + \mathbf{W}_{geo}^B(\Delta_{geo})$ 且 $\mathbf{C} = \mathbf{C}_{base} + \mathbf{W}_{geo}^C(\Delta_{geo})$ 。
- 这种机制允许 SSM 的“输入-状态”和“状态-输出”路径能够自适应地响应底层相关性拓扑的变化。

复杂度与效率

该架构保留了 Mamba 并行扫描的线性时间复杂度 ( $O(L)$ )。虽然路径 A 涉及特征分解 ( $O(N^3)$ )，但作者针对高维数据集采用了低秩投影将其降低至 $O(R^3)$ ，确保了可扩展性。整体复杂度相对于序列长度和变量数量保持线性。

3. 核心贡献

本文概述了三项主要贡献：

流形约束状态空间动力学原理： 作者证明了将演化的跨变量相关性视为 SPD 流形上的连续黎曼轨迹，能为基于 SSM 的预测提供有效的几何正则化。
SPDM 架构： 一种几何感知型 SSM，通过在切空间中扫描 SPD 流形轨迹，并通过几何门控直接调制 Mamba 的选择性参数来实现上述原理。这实现了内在的几何感知，且无需外部调节，亦不牺牲线性复杂度。
实证验证： 在涵盖不同领域、变量数量（7 到 883 个）及时间粒度的 11 个真实世界基准数据集上的全面实验证实，流形约束动力学是模型性能背后的主导因素，而非孤立的架构组件。

4. 实验结果

作者在 11 个数据集（包括 ETTh1/2, ETMm1/2, ECL, Exchange, Weather, PEMS03/07/08, 和 Illness）上评估了 SPDM，这些数据集涵盖了多样化的领域、变量数（7 至 883 个）和时间粒度。

预测精度： SPDM 在所有测试中均达到了 SOTA 或接近 SOTA 的性能。它在 ETTh1、ETTh2、Weather 和 Illness 上获得了最佳的平均 MSE/MAE。在高维数据集（如 ECL 有 321 个变量，以及 PEMS 基准）上，SPDM 持续优于 S-Mamba、iTransformer 和 PatchTST 等强力基准模型，尤其是在捕捉复杂的变量间动态方面。
消融实验：
- 几何注入： 若移除向 $\mathbf{B}$ 和 $\mathbf{C}$ 注入几何信号的操作，会导致性能显著下降，尤其是在高维数据集上（例如在 ECL 上 MSE 增加了 12.6%），这验证了直接参数调制的必要性。
- 对齐策略： 提出的稀疏窗口对齐优于线性插值，证实了保持协方差窗口的原始时间分辨率至关重要。
- 正则化： 显式的测地线平滑正则化被发现是冗余的，因为对数欧几里得 Fréchet 平均值和切空间投影本身已提供了足够的几何平滑性。
效率： 与基于 Transformer 和基于 Patching 的模型相比，SPDM 展示了卓越的训练速度和内存效率，在保持较低 GPU 显存占用的同时，实现了极具竞争力的准确率。
鲁棒性： 该模型表现出对高斯噪声的高度韧性，即使在强扰动 ( $\sigma=0.5$ ) 下也能保持功能性准确度，这归功于流形投影的几何正则化效应。
长程建模： 不同于随着回顾窗口（lookback window）增加而出现性能饱和或退化的基准模型，SPDM 的误差随回顾长度的增加呈现出平滑且单调下降的趋势。

5. 重要性与主张

论文声称 SPDM 为状态空间架构中的流形约束神经动力学建立了基础范式。其意义在于：

桥接几何与效率： 它成功地将黎曼几何（特别是 SPD 流形约束）与 Mamba 的线性时间效率相结合，克服了几何保真度与计算可扩展性之间的权衡。
原则性正则化： 该研究认为，几何约束作为一种原则性的正则化工具，能够引导并稳定 SSM 的选择性扫描动力学，使模型能够区分真实的结构性状态转变与随机噪声。
架构干预： 通过在 SSM 参数化层面进行干预（调制 $\mathbf{B}$ 和 $\mathbf{C}$ ），SPDM 使几何成为了序列建模过程的构成要素，而非仅仅是一个辅助插件。

作者总结道，这一方法为结构化非欧几里得表示上的几何深度学习开辟了道路，未来的扩展方向包括处理非规则采样信号以及利用更高阶的乘积流形。