技术摘要：TIDES——选择性状态空间模型中的隐式时间感知

问题陈述

现实世界中的序列数据，如临床观察、环境传感器读数和金融事件，很少在规则网格上进行采样。标准的序列模型通常假设时间步长均匀，迫使它们要么对数据进行重采样（从而丢弃时间信息），要么用显式的时间特征增强输入。

两大主流的状态空间模型（SSM）家族解决了序列建模问题，但在处理不规则时间序列时面临根本性的权衡：

1. 连续时间 SSM（例如 S5）： 这些模型保留了时间步长的物理意义（$\tilde{\Delta} \equiv \Delta$），允许它们通过在实际经过的时间上积分连续动力学，原生地处理不规则时间戳。然而，它们通常是**线性时不变（LTI）**的，意味着其动力学不随输入内容变化，从而限制了每个 token 的表达力。
2. 选择性 SSM（例如 Mamba）： 这些模型通过使离散化步长 $\tilde{\Delta}$ 和投影矩阵（$B, C$）成为输入依赖的函数，实现了强大的每个 token 的表达力。这使得模型能够逐 token 调整其有效时间常数。然而，这种设计将 $\tilde{\Delta}$ 从物理采样间隔坍缩为一个学习到的门控。因此，模型失去了对不规则时间的原生处理能力；要处理不规则数据，它必须将时间增量作为显式输入特征。论文认为，这种间接耦合阻碍了模型向训练期间未见过的不规则性区域（时间增量）进行外推。

方法论：TIDES

作者提出了 TIDES（隐式时间感知衰减与特征值选择性），这是一种选择性 SSM 变体，旨在调和 Mamba 的表达力与 S5 的物理时间语义。

核心设计原则

TIDES 将输入依赖性从离散化步长（$\tilde{\Delta}$）转移到连续时间生成器（状态矩阵 $\Lambda$ 和投影 $B, C$）。

• 隐式时间感知： 时间步长 $\tilde{\Delta}$ 保持严格的物理属性（$\tilde{\Delta} \equiv \Delta$），完全由观测时间戳决定。它不是输入的函数。
• 选择性生成器： 输入依赖性应用于：
  • $\text{Re}(\Lambda)$： 特征值的实部（衰减率）成为输入的函数。这使得模型能够根据内容“更快遗忘”或“保持更久”，提供必要的选择性。
  • $B$ 和 $C$： 输入和输出投影是输入依赖的，允许模型过滤噪声并调节状态的读写。
  • $\text{Im}(\Lambda)$： 虚部（振荡频率）保持静态。作者认为逐 token 调制频率缺乏清晰的连续时间解释，且实证发现这会损害性能。

架构细节

• 初始化： 模型使用源自 HiPPO 的偏置初始化 $\Lambda, B, C$，并将投影权重初始化为零。这确保模型从一个条件良好的 LTI 递归开始，并将选择性学习为平滑的扰动。
• 低秩投影： 为了管理参数量，$B$ 和 $C$ 的稠密投影被分解为低秩结构（$r \ll PH$）。
• 深度投影器： 输入路径在最终投影之前包含残差门控线性单元（GLU）块以引入非线性，类似于 Mamba 的预处理。
• 归一化： 在离散化之前，立即对投影参数（$\text{Re}(\Lambda), B, C$）应用 RMSNorm，以稳定训练，防止递归中出现无界扰动。
• 稳定重参数化： $\text{Re}(\Lambda)$ 被重新参数化（例如通过指数映射或稳定映射），以确保特征值始终位于稳定半平面，从而无论输入如何都能防止爆炸性递归。

主要贡献

1. 架构： TIDES 引入了一种设计，其中选择性存在于连续时间生成器（$\text{Re}(\Lambda), B, C$）中，而离散化步长保持为物理的、隐式的量。这使得模型能够原生地处理不规则时间戳，同时不牺牲每个 token 的表达力。
2. 机制分析（Fading Flash）： 作者引入了一种新颖的诊断基准 Fading Flash，用于隔离两种失败模式：
   • LTI 刚性： S5 无法同时建模多种衰减率。
   • 外推失败： 类 Mamba 模型无法泛化到训练分布之外的时间增量（$\Delta$）。
   • 结果表明，TIDES 是唯一能够克服这两者的架构，在保持对未见 $\Delta$ 值鲁棒性能的同时，捕捉了区域依赖的动态。
3. 实证结果： TIDES 在以下方面取得了新的最先进（SOTA）平均排名：
   • UEA 时间序列分类： 优于 LogNCDE、RFormer 和其他基线。
   • Physiome-ODE 回归： 超越 LinODEnet 和其他不规则时间序列预测模型。

实验发现

• Fading Flash： 在这个受控实验中，S5 未能捕捉区域依赖的衰减（低表达力），而 MambaS（Mamba 的代理模型）未能外推到训练范围之外的测试时 $\Delta$ 值（导致有效衰减率漂移）。TIDES 成功学习了所有区域的正确衰减率，并在广泛的测试时 $\Delta$ 范围内保持鲁棒。
• 随机丢弃消融： 在 EigenWorms 数据集上进行随机时间步丢弃实验时，即使在训练期间未见过的极端丢弃率（$r_{test}=0.9$）下，TIDES 仍保持了高准确率。相比之下，MambaS 和 RFormer 在高丢弃率下显著崩溃，证实了输入依赖的 $\tilde{\Delta}$ 或固定的签名窗口无法泛化到不规则采样区域。
• $\text{Im}(\Lambda)$ 消融： 使特征值的虚部依赖输入并未提高性能，反而略微降低了性能，支持了保持振荡频率静态的设计选择。

意义与主张

论文声称，TIDES 证明了每个 token 的表达力与忠实的物理时间语义是兼容的，前提是输入依赖性通过连续时间生成器而非离散化步长进行路由。

作者提出了一个针对不规则采样序列的更广泛设计原则：将离散化与表达力分离。物理采样间隔应仅通过解析离散化规则进入模型，而表达力应存在于连续时间生成器中。这种分离使得模型能够同时具备表达力，并能外推到训练期间未见过的采样区域。

论文在范围上保持适度，明确指出 TIDES 是为不规则时间序列（临床、传感器、模拟数据）设计的，并未声称它是 Mamba 在语言建模等规则网格任务上的通用替代品，因为在这些任务中，输入依赖的时间门控的作用不同。这项工作表明，将时间处理与表达力分离的原则可能扩展到其他连续时间架构，包括神经 ODE 和连续时间注意力变体。