Time-Varying Deep State Space Models for Sequences with Switching Dynamics

技术摘要：适用于具有切换动力学的序列的时变深度状态空间模型

问题陈述
时变系统的识别与建模仍然是信号处理和系统辨识领域的一项基本挑战。许多现实世界的过程，如金融市场、天气和神经活动，表现出固有的时变动力学，其底层系统行为随时间演变。虽然状态空间模型（SSM）为系统辨识提供了一个原则性的框架，但经典的线性动态系统（LDS）假设转移动力学是固定且时不变的。扩展模型如切换线性动态系统（SLDS）能够处理机制切换，但需要显式估计模式数量和模型阶数，使得学习过程充满挑战。相反，现代深度 SSM 在长序列上取得了高性能，但传统上依赖于时不变参数或输入依赖机制，这可能无法显式地捕捉独立于输入的平滑、连续时变动力学。

方法论
作者提出了一类新颖的时变深度状态空间模型（TV-SSM）。该框架将时变基函数展开集成到深度 SSM 架构中。

• 模型公式：核心创新在于将标准 SSM 的固定矩阵 $A, B, C$ 替换为时变矩阵 $A[t], B[t], C[t]$。这些矩阵的每个元素都被建模为可学习基函数的线性组合：
  $$[A[t]]_{ij} = \sum_{k=1}^{K_A} a^{(k)}_{i,j} \times \phi^{(k)}_{A,i,j}[t]$$
  类似的展开适用于 $B[t]$ 和 $C[t]$。基函数（例如高斯函数、正弦函数或常数）是固定的，而其系数是可学习的参数。这使得模型能够表示平滑、连续的动力学，而无需显式定义切换模式。
• 稳定性：为了确保时变动力的稳定性，作者对 $A[t]$ 的对角元素施加了约束（为简化起见假设其为对角结构）。在训练期间，如果某个对角元素的系数绝对值之和超过 1，则应用缩放策略重新归一化系数，确保特征值严格保持在单位圆内。
• 复杂度：虽然每个矩阵元素的可训练参数数量增加了字典大小（$K_A, K_B, K_C$）的倍数，但推理复杂度仍与时不变模型相当。时变矩阵可以在推理阶段预先计算，从而产生与标准 SSM 相同的乘加（MAC）运算。然而，由于需要存储时变参数，空间复杂度有所增加。

主要贡献

1. 新颖框架：本文介绍了一种深度 SSM 框架，该框架利用可学习基函数对状态转移、输入和输出矩阵进行时间参数化，从而能够在没有显式模式切换的情况下建模平滑、连续时变的动力学。
2. 实验验证：该方法在两个不同的任务上进行了验证：
   • 合成数据：一个四模式切换线性动态系统（SLDS），其真实情况涉及切换动力学。
   • 真实世界数据：语音去噪任务，其中干净语音被来自四模式 SLDS 的噪声污染，模拟了如旋转机械等重复出现的噪声模式。
3. 架构分析：作者调查了关于在 $A, B,$ 和 $C$ 矩阵之间分配基函数的权衡、模型深度的影响以及参数数量与性能之间的关系。

结果

• 合成切换系统：在四模式系统上，全时变模型始终优于时不变对应模型。值得注意的是，研究揭示，仅使状态转移矩阵 $A[t]$ 时变不足以捕捉 $B$ 或 $C$ 中的切换动力学；相反，使 $B[t]$ 或 $C[t]$ 时变可以补偿固定的 $A$。时不变模型倾向于学习跨模式的“平均值”，导致更高的均方误差（MSE）。
• 语音去噪：在音频去噪任务中，时变模型显著优于时不变模型。
  • 性能：最佳时变配置实现了 19.6 dB 的信噪比（SI-SNR）（起始于 5 dB 噪声），而时不变模型无论网络深度或激活函数如何，均停滞在 7.8 dB 左右。
  • 参数效率：即使当时变模型和时不变模型的可训练参数总数相匹配，时变方法仍产生更优越的结果。增加每个神经元的参数数量提高了时变模型的性能，但对时不变模型没有影响，这表明后者无法利用额外的容量来捕捉非平稳动力学。
  • 基分配：将基函数预算完全分配给输出矩阵 $C$ 或输入矩阵 $B$ 比分配给状态转移矩阵 $A$ 产生了更好的性能。

意义与主张
本文主张，所提出的时变模型为涉及切换或非平稳动力学的系统辨识任务提供了一种灵活且高效的解决方案。通过基函数显式地建模时变动力学，该方法避免了 SLDS 所需的估计离散切换模式的复杂性，同时优于标准的时不变深度 SSM。作者指出，该模型在推理期间保持了与其时不变对应模型相当的计算复杂度。

研究结论认为，虽然更大的时不变模型无法弥补其在捕捉切换动力学方面缺乏固有灵活性的缺陷，但所提出的时变框架成功地学习并适应了这些行为。作者建议未来的工作应探索非周期性非平稳设置、不同家族的基函数，并与非平稳 Transformer 架构进行基准测试，以进一步阐明该方法的权衡。