⚡ electrical engineering

On the Generalization Properties of Selective State-Space Models for Filtering Tasks for Unknown Systems

本文通过理论推导与数值实验，分析了选择性状态空间模型（SSMs）在未知系统在线滤波任务中的泛化能力，并探讨了其相对于 Transformer 架构的优劣。

原作者： Alex Tang, M. Emrullah Ildiz, Batin Kurt, Samet Oymak, Necmiye Ozay

发布于 2026-04-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Alex Tang, M. Emrullah Ildiz, Batin Kurt, Samet Oymak, Necmiye Ozay

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇文章的研究内容可以用一个非常生活化的比喻来解释：“如何训练一个‘超级观察员’，让他仅凭观察，就能猜透一个陌生人的行为规律。”

以下是为您准备的通俗版解读：

1. 背景：我们要解决什么问题？

想象一下，你面前有一个正在跳舞的机器人，但你完全不知道它的程序是怎么写的，也不知道它的关节是怎么转动的。你只能通过摄像头看到它每秒钟的位置（这就是“观测数据”）。

你的任务是：通过观察它过去几秒钟的动作，精准地预测它下一秒会跳到哪里。

在科学界，这叫“未知系统的滤波任务”。传统的做法是需要一份“说明书”（数学模型），但如果说明书丢了，我们就得靠“猜”。

2. 两个主角：Transformer vs. SSM (Mamba)

为了完成这个任务，目前有两个顶尖的“大脑”候选人：

Transformer（老牌明星）： 就像一个**“过目不忘但记性很死板”的学者**。他非常聪明，能通过对比过去所有的动作来找规律。但他有个致命弱点：他必须把所有的动作都摊在桌子上反复翻看。如果动作序列变得特别长，他的桌子就放不下了，而且翻看的速度会变得极慢，甚至“大脑宕机”。
SSM / Mamba（新晋黑马）： 就像一个**“极具直觉的武术大师”**。他不需要把所有动作都摊开看，他通过一种“内功”（隐藏状态）把过去的经验浓缩成了一种“感觉”。无论动作持续多久，他都能保持轻盈、快速的反应，而且他没有“桌子大小”的限制，可以一直观察下去。

3. 这篇论文做了什么？（核心贡献）

以前大家觉得 SSM（尤其是 Mamba）很厉害，但只是“感觉”它好用。这篇论文做了两件大事：

第一：给“直觉”找证据（理论证明）

作者用复杂的数学证明了：为什么这个“武术大师”能猜得准？
他们证明了 SSM 具有一种“抗干扰能力”和“快速学习能力”。即使观察过程中出现了一些噪音（比如摄像头晃动了），或者系统突然变了样（比如机器人突然换了一种舞步），SSM 也能通过它那套高效的“内功心法”迅速调整，找回节奏。

第二：实战演习（实验结果）

作者让这两个“大脑”去参加了四场考试：

标准考试（线性高斯环境）： 大家都表现不错，但 SSM 用更少的“脑细胞”（参数量）就达到了和 Transformer 相当的效果。
突变考试（突然换舞步）： 机器人突然从慢舞变成了快舞。Transformer 反应慢半拍，而 SSM 像是有预感一样，迅速适应了新节奏。
噪音考试（干扰环境）： 观察环境变得很乱，干扰很多。SSM 表现出了极强的稳定性。
马拉松考试（超长序列）： 训练时只让看 30 秒，测试时让看 50 秒。Transformer 很快就“懵”了，预测误差飙升；而 SSM 依然稳如泰山，表现出了极强的长度适应性。

4. 总结：这有什么意义？

简单来说，这篇论文告诉我们：如果你想让机器人在复杂、多变、且时间很长的环境下进行实时预测（比如自动驾驶、无人机控制、工业机器人），那么这种“像武术大师一样通过内功总结经验”的 SSM 架构，比“像学者一样翻看笔记”的 Transformer 架构要靠谱得多。

它不仅更聪明、更轻量，而且在面对突发状况和超长任务时，表现得更加稳健。

这是一篇关于选择性状态空间模型（Selective State-Space Models, SSMs，如 Mamba）在未知系统滤波任务中泛化性质的研究论文。以下是该论文的详细技术总结：

1. 研究问题 (Problem Statement)

在控制理论和信号处理中，从含有噪声的观测值中预测未来轨迹（即滤波）是核心问题。

传统方法： 如卡尔曼滤波（KF）、扩展卡尔曼滤波（EKF）和粒子滤波。这些方法依赖于预先存在的、显式的系统动力学模型。
现有学习方法： 近年来，基于 Transformer 的序列模型通过“上下文学习”（In-context Learning）展示了在未知系统下进行在线预测的能力。
核心挑战： 虽然 Transformer 表现出色，但其计算复杂度随序列长度呈二次方增长，且受限于固定的上下文窗口（Context Window），这在需要长时预测或对安全性要求极高的控制任务中存在局限。
本文问题： 结构化 SSM（特别是具有线性时间复杂度的选择性 SSM）是否能像 Transformer 一样在未知系统的滤波任务中表现良好？其泛化性能是否有理论保证？

2. 研究方法 (Methodology)

A. 模型架构 (SSM Architecture)

论文采用了连续时间线性时变（LTV）状态空间模型，并通过非均匀采样时间 $\Delta \bar{t}$ 进行离散化。其核心特征是：

选择性机制： 采样时间 $\Delta \bar{t}$ 是输入的函数，允许模型根据输入内容动态调整。
递归特性： 不同于 Transformer 的注意力机制，SSM 通过递归映射处理输入，理论上没有上下文窗口限制。

B. 理论分析 (Theoretical Analysis)

这是本文的核心贡献。作者通过两个步骤建立了泛化界限：

SSM 鲁棒性证明 (Theorem 1)： 证明了如果系统满足增量指数输入到状态稳定（incrementally exponentially ISS）等假设，SSM 对输入扰动具有鲁棒性。研究发现，SSM 的误差随时间偏移 $(t-\tau)$ 以指数级速度 $\rho^{(t-\tau)}$ 衰减，这比 Transformer 的衰减速度更快。
泛化界限推导 (Theorem 2)： 利用覆盖数（Covering Number）和鞅差序列（Martingale Difference）技术，推导出了 SSM 在滤波任务中的超额风险（Excess Risk）界限。
- 关键结论： SSM 的泛化误差随时间步 $T$ 的增加呈指数级衰减（ $\rho^T \sqrt{T}$ ），而 Transformer 的衰减速度仅为多项式级（ $\sqrt{\log^3 T / T}$ ）。这意味着 SSM 在长序列任务中的理论泛化能力显著强于 Transformer。

C. 实验设计 (Empirical Setup)

作者通过算法 1（经验风险最小化）在大量随机采样系统上训练 SSM，然后在未见过的测试系统上进行在线预测，对比对象包括：

GPT-2 (Transformer 架构)
标准卡尔曼滤波 (KF)

3. 关键贡献 (Key Contributions)

首次理论证明： 首次为专门用于滤波任务的选择性 SSM 提供了泛化性能的理论保证。
揭示性能优势： 从理论上解释了为什么 SSM 在处理动力学系统时可能优于 Transformer（得益于更快的误差衰减率）。
填补研究空白： 弥补了现有研究仅关注 Transformer 在上下文学习中表现，而忽视了 SSM 在动力学系统预测中理论支撑的空白。

4. 实验结果 (Results)

通过四种场景的对比实验，验证了 SSM 的优越性：

线性高斯场景 (Linear-Gaussian)： SSM 在参数量远少于 GPT-2 的情况下，达到了与 Transformer 相当甚至更好的预测精度。
动力学切换场景 (Dynamics Switch)： 当系统在 $T/2$ 时刻发生突发动力学变化时，SSM 比 GPT-2 恢复得更快，表现出更强的适应性。
有色噪声场景 (Colored Noise)： 在违反白噪声假设的情况下，学习型 SSM 能捕捉噪声的时间相关性，性能优于失效的传统卡尔曼滤波。
长度泛化场景 (Length Generalization)： 这是最显著的结果。当测试序列长度超过训练长度时，GPT-2 的误差显著上升，而 SSM 表现极其稳定，证明了其在长时预测中的鲁棒性。

5. 研究意义 (Significance)

理论意义： 为新一代序列模型（SSM/Mamba）在控制和动力学领域的应用提供了坚实的数学基础。
应用意义： 证明了 SSM 是处理未知、复杂、长时动力学系统的极具潜力的替代方案。由于其没有上下文窗口限制且计算效率高，SSM 在实时控制、机器人导航和在线系统辨识等对实时性和安全性要求极高的领域具有巨大的应用价值。