🤖 machine learning

Regularity and Stability Properties of Selective SSMs with Discontinuous Gating

本文利用钝性（passivity）和输入-状态稳定性（Input-to-State Stability）等控制理论工具，为类似 Mamba 的选择性状态空间模型（SSMs）建立了严格的稳定性与正则性保证，并将这些发现转化为一种可微的训练期正则化项，在对预测准确度影响微乎其微的情况下，显著减少了稳定性违规现象。

原作者： Nikola Zubić, Davide Scaramuzza

发布于 2026-07-08

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Nikola Zubić, Davide Scaramuzza

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心图景： “智能记忆”问题

想象一个机器人在听讲述者讲故事时，试图记住一段很长的故事。现代 AI 模型（如 Mamba）就像这些机器人。它们拥有一个“记忆”（隐藏状态），随着听到的每个新词而更新。

棘手之处在于，这些模型是具有选择性的。它们并不会平等地存储所有信息。它们有一个“守门员”，逐个单词地决定什么该记住，什么该忘记。如果这个守门员过于混乱，机器人可能会感到困惑、忘记故事的开头，或者在讲述者声音变大时变得疯狂。

这篇论文探讨的是：我们如何确保这个守门员是稳定的？ 我们如何确保即使在记忆规则瞬间发生变化时，机器人的记忆也不会爆炸或消失？

核心思想：能量与稳定性

作者使用控制理论（用于保持飞机稳定和机器人平衡的数学工具）来分析这些 AI 模型。

他们将 AI 的记忆视为一个电池或水箱：

输入： 进入的新词汇。
输出： 机器人的理解。
存储： 机器人内部的记忆。

论文认为，为了使系统稳定，这个“电池”不应该凭空产生能量。它应该只存储从输入中获得的东西，并且应该随着时间的推移自然地损失一点能量（就像电池缓慢耗尽一样），这样旧的、无关紧要的记忆就会逐渐消退。这个概念被称为钝性（Passivity）和耗散性（Dissipativity）。

两种信号：“开关”与“驱动器”

论文中的一个关键洞察是将通常被混淆的两个事物分开：

驱动器（输入）： 推动系统前进的实际数据（词汇）。
开关（选择）： 改变系统如何对数据做出反应的内部决策过程。

类比： 想象一辆汽车。

驱动器是你踩油门（输入）。
开关是变速箱换挡（选择）。
论文指出：“让我们通过观察变速箱如何独立于你踩油门的力度进行换挡，来分析汽车的稳定性。” 这让数学计算变得简洁得多，并揭示了关于变速箱为了防止汽车撞车而必须表现出的隐藏规则。

主要发现

1. “遗忘”规则

如果系统设计得当（具体来说，如果它具有“严格耗散性”属性），那么在没有新输入时，它会自然地以指数级速度遗忘旧信息。

类比： 想象一个漏水的桶。如果你停止注水，桶不会永远是满的；它会排空。这很好！这意味着 AI 不会在处理最后一个词时，还死死记住句子的第一个词。论文从数学上证明了，如果系统构建得当，这种“泄漏”会自动发生。

2. “冻结”测试

作者观察了如果“冻结”选择开关（停止改变规则）并只让输入流动的现象。他们发现，即使在这种冻结设置下，系统也具有一种天然的、内置的“能量结构”（一种被称为二次存储函数的数学形状）。

类比： 即使你把汽车的齿轮拆出来并锁死在原地，发动机和车轮之间仍然存在特定的物理关系。论文表明，Mamba 的记忆也有类似的“自然形状”，这解释了为什么某些初始化模型的方法（如 HiPPO）如此有效——因为它们尊重这种自然形状。

3. “不可逆遗忘”规则

这是一个引人入胜的结构性发现。论文表明，一旦系统判定某条信息是“无用”的（它进入了“核”或零能量区域），无论如何切换闸门都无法将其找回。

类比： 想象一台碎纸机。一旦文件进入碎纸机并被切碎，你不能仅仅通过拨动一个开关就让纸张恢复原样。系统对于某些类型的信息存在一个“无法回头点”。这防止了 AI 因为试图复活旧的、无关的信息而产生混乱。

从理论到实践：“正则化器”

作者并没有止步于数学。他们构建了一个实用的工具，称为正则化器（Regularizer）。

问题： 在现实生活中，我们无法检查连续世界中无限的数学过程。我们必须检查计算机实际执行的离散步骤。
解决方案： 他们为训练过程创建了一个“减速带”。在训练期间，模型会计算一个特定的数值（特征值），告诉它是否违反了稳定性规则。如果违反了，训练过程会增加一个微小的惩罚，将其推回趋向稳定的方向。
结果： 他们在七个不同的真实数据集（如天气、交通和电力使用情况）上测试了该工具。
- 成功： 该工具将“稳定性违规”次数减少了 92%。
- 代价： 预测精度几乎没有变化（差异小于 0.02%）。
- 鲁棒性： 当他们加入噪声或“突发脉冲”（如突然的故障）时，带有该工具的模型内部表现得更冷静，尽管它并不能神奇地在混沌环境下实现完美的预测。

本论文并未声称的内容

作者非常诚实地说明了其工作的局限性：

它不是解决所有错误的万能药： 该工具使 Mamba AI 的内部记忆部分更加稳定，但它并不能修复整个 AI 网络（该网络还有归一化和路由等其他部分）。
它不能保证在混沌环境下的完美预测： 虽然在数据有噪声时内部记忆变得更稳定，但最终的预测准确度并没有显著提高。该工具让引擎运行得更平顺，但不一定能让汽车在暴风雨中开得更快。
它是一个“软性”规则： 该工具鼓励稳定性，但并不强制要求模型在数学证明意义上达到完美的稳定。它只是让模型变得极不容易崩溃。

总结

这篇论文利用能量与稳定性的物理学原理，对一种复杂的现代 AI 架构（Mamba）进行了分析。他们证明了这些模型具有一种有助于遗忘的自然“泄漏”，以及一个防止复活无用记忆的“碎纸机”。随后，他们构建了一个简单且低成本的工具，帮助这些模型遵循这些规则，在不损害预测未来能力的前提下，使其更加稳定可靠。

技术摘要：具有不连续门控机制的选择性状态空间模型（SSM）的正则性与稳定性属性

问题陈述

选择性状态空间模型（SSM），如 Mamba，已成为长序列建模的核心。然而，其稳定性属性仍未得到充分理解。不同于经典的线性时不变（LTI）或平滑非线性系统，选择性 SSM 的状态空间系数（ $A, B, C$ ）由依赖于 token 的门控信号进行在线调制。这产生了一个既非 LTI 也非经典非线性系统，而是具有不连续、数据依赖型参数的混合系统。现有的分析通常侧重于表达能力，或将递归视为针对特定输入的固定动力学系统，缺乏一个统一的基于能量的解释，来阐明这些模型如何遗忘初始条件、存储能量以及在扰动下保持稳定性。

方法论

作者通过经典控制理论的视角——特别是钝性（passivity）、耗散性（dissipativity）和输入-状态稳定性（ISS）——来处理这一问题。一个关键的概念创新是将两个信号显式分离：

选择信号 ( $x(\cdot)$ )： 调度动力学过程，决定随时间变化的矩阵 $A, B, C$ 。
驱动输入 ( $u(\cdot)$ )： 驱动动力学并出现在供给率（supply rate）中的端口输入。

虽然典型的选择性架构通常设置 $x \equiv u$ ，但作者保持了这种分离，以明确钝性和 ISS 分析中量词的含义。

理论框架

本文分析了由以下方程定义的连续时间选择性 SSM：
$\dot{h}(t) = A(\Delta(t), x(t))h(t) + B(\Delta(t), x(t))u(t)$
$y(t) = C(\Delta(t), x(t))h(t)$
其中 $\Delta(t)$ 是辅助门控信号（通常是分段常数）。分析假设具有温和的 $L^p_{loc}$ 正则性，以容纳门控引入的不连续性。

关键理论步骤包括：

严格耗散性： 建立使系统表现出初始条件指数级遗忘的条件。
冻结选择分析： 通过冻结选择信号（ $x(t) \equiv 0$ ）来揭示一个被动的线性时变（LTV）子系统。利用 Morandin & Hinsen (2024) 的最新结果，作者证明该子系统即使在不连续门控下，也存在一个具有**局部绝对上半连续（AUC $_{loc}$ ）**正则性的极小二次存储函数。
通用二次存储： 研究如果要求单个二次存储函数必须能在所有可容许的选择调度方案下证明钝性，则会对结构施加哪些约束。这导向了一个参数化线性矩阵不等式（LMI）以及“不可逆遗忘”（一旦某个状态方向进入存储矩阵的核，就无法再次被观测到）的概念。
全局 ISS： 推导出关于驱动输入 $u(\cdot)$ 实现全局输入-状态稳定性（ISS）的充分条件，且该稳定性在选择调度方案上是均匀的。

离散桥接与正则化

为了使理论对现代架构具有实用性，作者将连续时间参数化 LMI 转化为 Mamba 选择性扫描递归的采样块 LMI。

他们推导出了一个单步离散耗散不等式。
他们定义了一个可微正则化项 $R_{LMI}$ ，用于惩罚每个 token 步中采样块矩阵 $L_k(P, \beta)$ 的最大正特征值。
该正则化项被集成到真实的基于 Mamba 的架构（SST）的训练循环中，作为一种软约束。

核心贡献

双信号模型： 一种清晰的选择性 SSM 形式化方法，将选择信号与端口输入分离，从而实现严谨的钝性和 ISS 分析。
指数遗忘： 证明了严格耗散性（ $\beta > 0$ ）结合二次界限可以实现同质轨迹的指数衰减，且在可容许的选择调度方案上是均匀的。
规范能量结构： 证明了冻结选择子系统具有具有 AUC $_{loc}$ 正则性的极小二次存储函数。这为诸如 HiPPO 等原则性初始化的有效性提供了基于能量的理论依据。
结构约束与不可逆遗忘： 在通用二次存储的假设下，作者推导出了一个参数化 LMI，并证明了存储矩阵的秩是非增的。这使“不可逆遗忘”形式化：被能量结构丢弃的状态方向无法通过门控机制恢复。
全局 ISS 条件： 给出了关于驱动输入实现全局稳定性的充分条件，且在选择调度方案上是均匀的。
离散 LMI 正则化器： 一个从连续理论中推导出的实用、可微的训练时正则化项，适用于 Mamba 选择性扫描核心。
实证验证： 在七个时间序列数据集和四种预测预测跨度上进行了广泛评估，证明了该正则化器在不降低洁净准确率的情况下，能够减少 LMI 违规情况。

结果

实证评估在 SST 架构（一种 Mamba 和短程注意力路由的混合体）上进行，涵盖 28 个数据集-跨度对（ETTh1/2, ETTm1/2, weather, electricity, traffic）。

LMI 违规减少： 离散 LMI 正则化器将平均采样 Mamba 核心 LMI 违规量降低了约 92%（从 0.0358 降至 0.0029），涵盖所有 28 个组合。
洁净准确率： LMI 违规的减少是以极小的洁净均方误差（MSE）代价换取的，与未正则化的基准相比，差异小于 0.018%。
保守性消融： 将固定的单位存储矩阵（ $P=I$ ）替换为可学习的对角矩阵（ $P=\text{diag}(q)$ ）产生了严格的帕累托改进（更低的违规量，相同的准确率），这证实了该框架的灵活性。
对扰动的鲁棒性： 在注入扰动（高斯噪声、脉冲、掩码等）的情况下，正则化器改善了内部 Mamba 核心诊断指标（减少了约 60% 的 LMI 违规和约 3.4% 的状态范数）。然而，它并未在鲁棒预测 MSE 上产生可衡量的改进。作者明确指出这是由于“诚实的负面结果”，归因于正则化仅约束 Mamba 核心，而周围的网络（归一化、残差、路由）吸收了对最终输出产生影响的扰动效应。
路由器稳定性： 一项尝试学习能量感知路由调度（在局部 LMI 违规较高时惩罚 Mamba 使用）的消融实验结果呈中性。虽然 Mamba 权重略有下降，但 Mamba 权重与 LMI 违规之间的相关性基本为零，这表明在洁净数据上训练并不会诱导能量感知的路由。

意义与主张

本文旨在搭建经典控制理论与现代深度学习架构之间的桥梁。其意义在于：

理论清晰度： 为选择性 SSM 提供了一个统一的基于能量的解释，超越了李雅普诺夫指数诊断，转向钝性和 ISS 等结构属性。
初始化合理性： 为为何像 HiP如此有效的初始化（它们提供了良好的二次能量景观）提供了理论解释。
实用工具： 引入了一种低成本、可微的正则化项，可以集成到现有的训练流水线中，以在 SSM 核心上强制执行结构稳定性。
严谨的范围界定： 作者对其主张的局限性进行了明确说明。他们并不声称该正则化证书了整个深度网络的钝性，也不声称能保证自身的鲁棒 MSE 提升。他们将结果描述为“大幅减少违规”而非“认证钝性”，并承认核心稳定性与端到端鲁棒性之间的差距仍是一个开放的研究方向。

总之，本文成功地将连续时间控制理论保证转化为一种可验证、可微的训练准则，适用于选择性 SSM，并证明了这种结构约束可以在几乎不损失准确率的前提下，显著提高内部稳定性诊断水平。