技术摘要：使用无注意力机制 Transformer 学习 Koopman 算子

问题陈述

通过自动编码器（KAE）学习 Koopman 算子是分析非线性动力学的一种原则性方法，其核心是将状态提升到线性演化的潜空间中。虽然 KAE 通常能实现极高的单步精度，但在长时程展开（roll-out）过程中经常面临误差累积的问题。具体而言，轨迹往往会偏离已学习到的流形，导致振荡器的相位偏移、振幅衰减或爆炸，以及偏离吸引子。这些失效现象在以下系统中尤为显著：

1. 连续或混合谱系统（例如，无阻尼振荡器）。
2. 在亚稳态盆地之间切换的系统。
3. 微小误差会迅速复合的瞬态机制。

现有的解决方案通常依赖多头注意力机制（MHA）来捕捉时间上下文，但 MHA 会带来二次方计算成本（$O(T^2)$）并增加显著的参数开销。此外，标准的 KAE 缺乏一旦发生漂移即可进行纠正的机制，导致在长时间程下发生灾难性失效。

方法论

作者提出通过两个互补的组件来增强标准 KAE 的鲁棒性，同时保持计算效率：无注意力潜空间记忆（AFT）和动态重编码。

1. 无注意力潜空间记忆 (AFT)

为了解决局部相位和振幅漂移问题，作者集成了一个 AFT 模块，该模块聚合过去的一段短窗口潜变量（$H_t = [z_{t-T}, \dots, z_{t-1}]$），在每次 Koopman 更新之前生成一个修正后的潜状态（$\tilde{z}_{t-1}$）。

• 机制： 与 MHA 不同，AFT 以线性时间（$O(Td)$）运行，且增加的参数极少（对于典型设置，约为$3d^2 + T^2$，即约 3 万个参数）。它利用学习到的线性映射（$W_Q, W_K, W_V$）和位置偏差，通过元素级操作计算注意力权重，从而避免了点积注意力的二次方成本。
• 功能： 修正后的潜变量 $\tilde{z}_{t-1}$ 被输入到 Koopman 算子 $K$ 中（$z_t = K \tilde{z}_{t-1}$）。这起到了局部修正步骤的作用，在误差通过线性动力学传播之前抑制其发散。
• 变体： 该模块可以作为直接替代项应用于潜状态，或者以残差形式应用（$\tilde{z}_{t-1} = z_{t-1} + \text{AFT}(H_t)$）。

2. 动态重编码 (E–D–E 投影)

为了限制累积漂移，作者引入了一种机制，定期将预测结果投影回学习到的自动编码器流形上。

• 漂移检测： 系统通过比较两个单步预测来计算“漂移代理” $\delta_t$：一个是来自原始潜变量的预测（$z_{pred} = K \tilde{z}_{t-1}$），另一个是来自重编码潜变量的预测（$z_{re-pred} = K \phi(\phi^{-1}(\tilde{z}_{t-1}))$）。两者之间的巨大差异表明轨迹正在离开流形。
• 流式触发器： 轻量级的在线变点检测器监控 $\delta_t$。论文评估了四类触发器家族：
  • 窗口化 Z-score（均值 + 标准差）。
  • 指数加权移动平均（EWMA）。
  • CUSUM（累积和）。
  • 序列两样本检验（非参数化）。
• 修正： 当触发器触发时，潜状态通过“编码–解码–编码”（E–D–E）投影（$z_{t-1} \leftarrow \phi(\phi^{-1}(\tilde{z}_{t-1}))$）被拉回到流形上，然后再进行下一步 Koopman 步骤。该机制仅在推理阶段应用。

核心贡献

1. 用于 Koopman 预测的无注意力潜空间记忆： 一种线性时间、低开销的模块，通过聚合短时潜历史来修正传播前的局部误差。其性能优于具有相同容量的 MHA，且具备更高的可扩展性。
2. 通过流式检测实现的动态重编码： 一种在推理阶段使用的策略，利用轻量级统计触发器（EWMA、CUSUM、两样本检验）来检测潜空间漂移并将预测投影回学习到的流形，从而防止灾难性发散。
3. 全面的评估： 在三个代表性系统（Duffing 振荡器、Repressilator、IRMA）以及额外的基准测试（单摆、Rössler、流体流动）上进行了广泛测试。研究包括了对算子规模、上下文长度和触发策略的消融实验，并与 GRU 和 Transformer 自动编码器进行了对比。

结果

所提出的模型（Koopman + AFT，带有可选的重编码）在所有测试系统中，与基准 KAE 和容量匹配的 MHA 模型相比，一致降低了误差累积。

• Duffing 振荡器（切换/混合谱）： 动态重编码的表现显著优于仅使用 AFT 以及周期性重编码的模型，在 200 步和 500 步时达到了最低的均方误差（MSE）。它有效地处理了势阱之间的切换转换。
• Repressilator（清晰极限环）： 仅使用 AFT 是更优的变体。动态重编码在此处反而降低了性能，因为触发器引入的不必要的相位重置可能会破坏平滑的振荡。AFT 实现的 MSE 值比 MHA 低约 5-6 倍。
• IRMA（高维反馈）： 动态重编码提供了最稳健的性能，防止了 vanilla KAE 所见的发散现象（vanilla KAE 在 1000 步时失效）。在 AFT 单独使用开始出现退化的情况下，动态重编码仍能维持较低的误差累积。
• 与 RNN/Transformer 的比较： 虽然 GRU 和 Transformer 自动编码器受益于上下文信息，但在长时程表现上不如基于 Koopman 的方法。Koopman+AFT 模型在实现极低长时程误差的同时，显著降低了推理延迟（例如，在 IRMA 上约为 13ms，而 Transformer 为 491ms）。
• 效率： AFT 模块仅增加了约 3 万个参数并保持线性复杂度，使其适用于嵌入式监测和快速模拟。

意义与主张

本文声称提供了一种快速、紧凑的预测器，通过保持在学习到的流形上，实现了长时程的稳定性。其重要性在于：

• 务实的鲁棒性： 它为复杂的注意力机制提供了一个实用的替代方案，以线性计算成本实现了更好的长时程保真度。
• 正交机制： AFT（防止局部误差增长）与重编码（限制累积漂移）的结合，解决了不同的失效模式，使模型能够适应平滑极限环和复杂的切换动力学。
• 推理时自适应性： 使用流式触发器允许模型在无需重新训练的情况下适应漂移，保持核心 Koopman 算子和自动编码器权重固定。

作者指出，其稳定性主张是经验性的；他们并未为学习到的算子提供理论收敛保证。他们也承认，触发策略会引入超参数，如果调优不当，可能会对清晰的极限环产生负面影响。该工作侧重于自主系统，将输入与控制留作未来研究方向。