技术摘要：通过误差控制动力学重新思考循环模型中的状态跟踪

问题陈述

当前循环架构中状态跟踪的主流理论框架几乎完全聚焦于表达能力：即确定固定架构在理论上能否实现一组符号转换规则。尽管近期研究已确立了各种模型（如状态空间模型、线性注意力机制）表示特定符号转换的理论能力，但实证结果表明，理论表达能力与实际鲁棒性之间存在显著差距。即使模型具备相应的理论能力，它们在长度外推或重复展开过程中，往往也无法稳定地跟踪状态。

本文认为，误差控制——即支配隐藏状态沿区分符号状态的方向发生漂移的动力学——是一个同样关键却被忽视的分析维度。核心问题在于，理论表达能力并不能保证模型具备修正累积误差的能力，而这些误差会将隐藏状态推向错误的符号表示。

方法论

理论框架

作者利用由递归层定义的循环模型分类法，将状态跟踪形式化：
$$h_t = \phi(g(h_{t-1}, x_t) \odot (A(x_t)h_{t-1})) + b(x_t)$$
他们根据状态雅可比矩阵将模型分为两大类：

1. 仿射模型：状态转换在 $h_{t-1}$ 上是仿射的（即雅可比矩阵 $\partial h_t / \partial h_{t-1}$ 不依赖于 $h_{t-1}$）。此类模型包括状态空间模型（SSM，如 Mamba、AUSSM）和线性 RNN。
2. 状态依赖模型：转换非线性地依赖于当前状态（例如门控 RNN、tanh RNN）。

作者引入了一个符号子空间 $U$，由不同符号状态的隐藏状态表示之间的差异张成（$U := \text{span}\{c_g - c_{g'}\}$）。他们证明，对于任何保持状态的序列（其中符号操作为单位元），精确的仿射返回映射必须在 $U$ 上表现为恒等映射。因此，仿射模型无法沿 $U$ 收缩误差；它们能精确保持状态表示，但缺乏将受扰动状态拉回其正确质心的机制。

分析指标

为了量化仿射跟踪器的失效，作者定义了一个可区分性比率 $q(t)$：
$$q(t) = \frac{R(t)}{M(t)}$$
其中：

• $R(t)$ 是类内散布（隐藏状态围绕其类质心的方差）。
• $M(t)$ 是类间分离度（类质心之间的最小距离）。
• $q(t)$ 衡量相对于边界的散布程度。

他们确立，仅当 $q(t)$ 保持在阈值 $\tau$ 以下（对于最近质心解码器，该阈值具体为 $0.5$）时，跟踪才是“可读的”。

实验设置

作者在群状态跟踪任务上评估了一系列循环架构，这些任务要求维护群元素的运行乘积：

• 任务：奇偶性（$C_2$）、循环群（$C_6$）和对称群（$S_3$）。$S_3$ 是非阿贝尔群，使得对顺序敏感的复合操作不可避免。
• 模型：包括 Mamba、Mamba-3、AUSSM、Negative Mamba、线性 RNN、Token-gated RNN、tanh RNN 和 State-gated RNN 在内的多样化模型集合。
• 协议：模型通过课程学习训练至长度 60，并评估其外推至长度 1000 的表现。此外，他们还进行了扰动注入实验，以测量误差恢复动力学。

主要贡献

1. 仿射中性性的理论证明

本文证明了定理 1：如果一个仿射循环网络精确地保持符号状态，那么其返回映射在符号子空间 $U$ 上表现为恒等映射。这意味着仿射模型无法沿区分符号状态的方向选择性地收缩误差。一旦确定了保持状态的仿射映射，它就没有剩余的“自由度”来修正漂移。

2. 有限视界失效的表征

作者证明，虽然仿射模型无法修正误差，但它们可以在由累积误差决定的有限视界内维持跟踪。

• 推论 1 表明，对于近似仿射跟踪器，沿 $U$ 的误差随时间线性累积（$e_U(t) \approx e_U(0) + t\bar{\eta}$）。
• 当可区分性比率 $q(t)$ 跨越可读性阈值时，跟踪崩溃。这一跨越时间 $T_{cross}$ 定量地预测了模型的最大通过长度（$mp$）。
• 识别出两种失效模式：饱和（$q(t)$ 起始时即高于阈值）和爬升（$q(t)$ 线性增长直至跨越阈值）。

3. 误差控制动力学的实证验证

通过大量实验，本文确立了一种二分法：

• 状态依赖模型（如 tanh RNN、State-gated RNN）表现出条件误差收缩。它们可以选择性地沿 $U$ 缩小扰动，使 $q(t) < 0.5$ 无限期保持，从而实现高达最大测试长度（1000）的鲁棒跟踪。
• 仿射模型缺乏这种选择性收缩能力。它们要么立即失效（饱和），要么在可预测的视界后失效（爬升），因为累积的类内散布侵蚀了分离边界。

4. 子空间分解

通过将类内散布分解为平行于符号子空间（$U$）和正交于符号子空间（$U^\perp$）的分量，作者表明，仿射模型的失效具体是由 $U$ 内部散布的增长所驱动的。状态依赖模型成功抑制了 $U$ 中的散布，将误差限制在正交子空间中，从而不影响符号区分。

结果

• 鲁棒性差距：状态依赖模型在所有任务（$C_2, C_6, S_3$）中均能一致地跟踪符号状态至长度 1000。相比之下，仿射模型表现出不同程度的不稳定性。例如，Mamba 和 Mamba-3 即使在较短长度下也会在 $S_3$ 上失效，而 Negative Mamba 和 Token-gated RNN 在 $C_2$ 和 $S_3$ 上显示出延长的视界，但最终仍会崩溃。
• 预测能力：可区分性比率 $q(t)$ 跨越可读性阈值的点（$T_{cross}$）与 113 个训练模型下游的最大通过长度（$mp$）之间存在强相关性（$r \approx 0.87$）。
• 非线性的重要性：鲁棒跟踪的能力取决于激活函数的雅可比矩阵是否依赖于状态。逐点非线性（tanh、ReLU）和成对算子（max/min、GroupSort）能够实现鲁棒跟踪，而全向量归一化（LayerNorm、球面投影）则失效，在符号子空间上表现得如同仿射映射。
• $C_2$ 边缘案例：本文指出，某些仿射模型在奇偶性任务（$C_2$）上之所以成功，并非因为它们修正了误差，而是因为二值边界足够大，能够容忍“中性振荡”（误差翻转符号但仍保持在边界内）。随着群阶数的增加，这种容忍度会缩小，这解释了为何仿射模型在 $C_6$ 和 $S_3$ 上会失效。

意义与主张

本文主张将循环状态跟踪的范式从表达能力理论转变为误差控制理论。

• 理论局限：作者断言，鲁棒的状态跟踪不仅取决于架构表示符号规则的能力（表达能力），更关键地取决于其控制误差动态的能力。仿射模型存在根本性局限，因为保持状态表示迫使它们在恰恰需要误差修正的方向上保持中性。
• 实际启示：仿射模型（如 SSM）在长度外推中的失败并非训练不足，而是结构性限制。它们学习的是由累积误差支配的“有限视界解”，而非鲁棒的、无限视界的状态跟踪。
• 设计指导：为了实现鲁棒跟踪，架构必须包含状态依赖转换，使雅可比矩阵能够沿符号子空间收缩误差。本文建议，非线性的具体形式不如其是否允许对符号方向进行状态依赖的调制重要。

作者得出结论：虽然仿射模型可能足以应对域内任务或短视界场景，但在缺乏状态依赖误差修正机制的情况下，它们在结构上无法实现复杂符号推理所需的鲁棒、长视界状态跟踪。