🤖 machine learning

A Mechanistic Analysis of Transformers for Dynamical Systems

本文从动力系统视角分析了单层 Transformer，揭示了虽然 Softmax 注意力机制通过过度平滑限制了线性系统建模，但它作为一种有效的自适应延迟嵌入机制，能够用于重建非线性、部分可观测系统中的状态。

原作者： Gregory Duthé, Nikolaos Evangelou, Wei Liu, Ioannis G. Kevrekidis, Eleni Chatzi

发布于 2026-08-06

📖 1 分钟阅读☕ 轻松阅读

原作者： Gregory Duthé, Nikolaos Evangelou, Wei Liu, Ioannis G. Kevrekidis, Eleni Chatzi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在试图预测未来。也许你在猜测一个弹跳的球下一个会落在哪里，或者试图预测天气。长期以来，科学家们一直拥有可靠的工具来进行这类预测，比如通过观察一个系统在过去几秒钟内的运动方式来猜测它接下来的走向。这些工具就像是一套严格的食谱：如果你知道物理规则，你就可以写下一个数学方程，精确地告诉你在发生什么。但最近，一种被称为 Transformer 的新型“超级大脑”因为其预测能力而变得声名大噪，从撰写故事到预测股票价格。这些 Transformer 就像一个神奇的黑匣子，它同时观察整个历史事件并做出预测。大问题在于，这个黑匣子是否真的理解物体运动的物理学原理，还是仅仅是一个非常擅长猜想的预测器，并且在遇到棘手情况时可能会失效？这篇论文深入研究了这些 Transformer 的“引擎室”，以观察当它们尝试预测物理系统的运动时，是否真的了解自己在做什么。

由 Gregory Duthé 及其团队领导的研究人员决定不再将 Transformer 视为一个神秘的黑匣子，而是通过拆解它来观察其工作原理，并将其应用于简单的运动系统。他们专注于一种非常薄且简单的特定类型 Transformer——仅有一层深度——以便于理解。他们问道：“如果我们向这台机器输入关于摆钟或流动的河流的数据，它实际上学到了什么？”

以下是他们的发现，其中既有“效果极佳”的部分，也有“撞上硬墙”的部分。

首先，他们观察了简单的直线运动（线性系统），例如上下弹跳的弹簧。他们发现 Transformer 有一个奇怪的盲点。Transformer 关注过去的方式就像一位只能添加食材而不能减去食材的厨师。它可以将过去的时刻混合在一起，但无法减去它们。如果一个系统需要减去一个过去的时刻来产生一次“晃动”（比如一个来回弹跳的弹簧），单头 Transformer 就会感到困惑。它会试图平滑处理一切，使原本富有弹性的弹簧看起来像是一个迟钝、移动缓慢的团块。这就像是用一支只能向前移动的画笔来画一条锯齿线；你最终只会画出一条直线。论文表明，如果你给 Transformer 两个“头”（两种不同的注意力方式）而不是一个，它就能修复这个问题，并最终正确地画出那条锯齿线。

接下来，他们转向了更复杂的、扭动着的运动（非线性系统），例如混沌的摆钟或绕着圆柱旋转的流体。在这里，Transformer 表现出色，但仅限于特定条件下。当研究人员给 Transformer 提供系统的完整图景（同时知道物体的位置和速度）时，它并没有比一个简单的计算器做得更好。这就像是给一名侦探一张完整的地图，而他其实只需要一个指南针。

然而，当研究人员隐藏了部分信息——只给 Transformer 位置信息而隐藏速度时——Transformer 变成了一个超级英雄。它开始扮演一名“穿越时空”的侦探。通过观察一系列过去的位移，它能够推断出隐藏的速度，并重建系统的完整状态。它本质上是在构建一种“延迟记忆”来填补缺失的部分，就像你可以通过观察一辆车在几秒钟前的位置来推测它的速度一样。论文表明，这才是 Transformer 发挥最佳作用的方式：通过缝合观测的历史记录来构建对现状的完整认知。

但问题在于，研究人员发现 Transformer 需要在脑中留出足够的“空间”来完成这项工作。如果他们强迫模型将复杂的历史压缩到一个极小的空间里，画面就会变得混乱并发生折叠，就像试图把一张巨大的地图塞进一个很小的信封里。论文显示，如果系统很复杂，Transformer 需要更大的内部空间来保持不同可能性之间的独立性。此外，他们还发现，如果系统是基于某个隐藏设置（比如风速）而变化的，除非你明确告诉它这个设置，否则 Transformer 可能会感到困惑。如果没有这个额外的线索，它可能会把两个在短期内看起来相似、但在后期行为迥异的场景混淆在一起。

最后，这篇论文并不是说 Transformer 是坏掉的，而是说它们并非魔法。它们是强大的工具，可以学习预测物理系统，但它们必须遵循特定的规则。它们在记忆中难以进行简单的减法运算，需要足够的空间来展开复杂的形状，并且有时需要我们提供一些帮助，以理解它们所观察的世界中的隐藏设置。通过理解这些规则，科学家们可以停止将这些模型视为神秘的黑匣子，转而开始构建它们，使其在预测真实运动的世界时更加可靠。

技术摘要：Transformer 在动力系统中的机理解析

问题陈述

尽管 Transformer 架构在时间序列预测方面取得了显著的经验性成功，并越来越多地应用于动力系统（从流体力学到神经科学），但其内部机制从动力系统的视角来看仍未得到充分理解。与具有成熟理论基础（关于稳定性、可观测性和可辨识性）的经典自回归（AR）和状态空间模型不同，Transformer 通常被视为黑盒。

这一差距至关重要，因为注意力机制模型正被部署于各种不同的动力学机制中进行通用或零样本预测。具体而言，目前尚不清楚 Transformer 能够忠实表示哪些类别的动力学行为，在何种条件下会成功或失败，以及它们的内部计算如何与经典的非线性动力学概念（如延迟坐标嵌入和吸引子重构）相联系。现有文献探讨了注意力机制与数值积分或算子学习之间的联系，但在单层 Transformer 操作与经典动力系统公式（例如 AR 模型、Takens 定理）之间建立直接的机理解构关系方面，尚未形成坚实的理论基础。

研究方法

作者采用了一种“自下而上”的机理解释方法，将分析限制在单层、单头、仅解码器（decoder-only）的 Transformer 上。这种极简架构允许隔离特定组件：因果自注意力机制和前馈网络（MLP）。

研究调查了两种主要的运行机制：

线性系统： 作者将注意力视为一种线性的、时变的自回归算子。通过移除残差连接和 MLP（仅关注注意力的消融实验），他们推导出了由注意力机制诱导的有效 AR 系数的闭式表达式。他们将这些系数与来自物理系统（例如单自由度及双自由度振荡器）的解析推导出的 AR 系数进行了对比。
非线性系统： 作者研究了全状态不可观测的情景（部分可观测性）。在这种情况下，Transformer 被视为一种自适应延迟坐标嵌入机制。注意力层聚合历史观测值以重构隐式状态，随后该状态由 MLP 处理以近似非线性流映射（flow map）。

研究使用了三种代表性的动力系统：

线性： 单自由度（Single-DOF）和双自由度（2-DOF）结构振荡器。
非线性 ODE： Van der Pol 振荡器。
非线性 PDE： Chafee-Infante 反应扩散方程和绕圆柱体的二维纳维-斯托克斯（Navier-Stokes）流场。

分析重点关注模型如何处理部分可观测性、时间上下文（输入 token 数 $n$ ）的作用、位置编码（PE）的影响，以及潜在维度（ $d_{lat}$ ）相对于吸引子固有维度（ $d_A$ ）的关系。

核心贡献与结果

1. 线性系统：凸性约束

在单头且仅含注意力的设定下，作者证明了 softmax 归一化对学习到的自回归算子施加了凸性约束。

机制： 注意力权重 $\alpha_{t,\ell}$ 是严格非负且总和为 1 的。因此，有效的滞后算子是单个矩阵的非负标量倍数。
失效模式： 对于需要混合符号自回归系数的线性系统（例如，为了表示相位反转而必须具有相反符号的轻微阻尼振荡器），单个注意力头无法忠实地表示这些动力学特性。这会导致“过度平滑”，并导致无法恢复共振峰或相干模态衰减脊。
成功模式： 当目标动力学允许具有同号系数的 AR 表示时，注意力机制能够成功捕捉振荡行为和阻尼特性。
可扩展性： 在多自由度系统中，如果时间上下文（ $n$ ）足够长以补偿缺失的空间观测，注意力可以恢复多个相互作用的模态，从而有效地起到延迟坐标嵌入的作用。然而，基本的符号约束仍然是单头架构的一个局限性。

2. 非线性系统：延迟嵌入与状态重构

对于非线性系统，作者发现 Transformer 的效用在部分可观测性下最为显著。

全观测性： 当全状态向量可用时，简单的前馈 MLP（学习时间步为 1 的映射）表现得与 Transformer 相当。由于系统已经是马尔可夫性的，注意力机制并没有提供显著优势。
部分可观测性： 当仅观测到部分变量（例如，只有位置而没有速度）时，Transformer 的表现显著优于 MLP。注意力机制充当了自适应延迟嵌入，通过聚合过去的观测值来消除由于瞬时值相同但相位不同的状态带来的歧义。
潜在维度与展开： 状态重构的质量关键取决于潜在维度（ $d_{lat}$ $d_{l a t}$ ）。
- 在 Chafee-Infante 系统（固有维度 $d_A=2$ ）中，将 $d_{lat}$ 设置为 2 会导致潜在表示塌缩成一条窄曲线，由于系统的对称性和架构约束，无法实现流形的“展开”。
- 将 $d_{lat}$ 增加到 3 则允许注意力机制先将延迟坐标展开为更丰富的中间表示，随后 MLP 再将其投影到内在的 2D 流形上。这表明 $d_{lat}$ 必须大于 $d_A$ ，以避免过早的压缩和折叠。
参数调节： 在纳维-斯托克斯圆柱流实验中，未将雷诺数（$Re $）作为显式输入进行训练的模型，其学习到的潜在空间中不同$ Re $下的极限环发生了重叠。这种非单射性导致了全流场重构效果不佳，特别是在尾迹区域。提供$ Re$ 作为显式输入可以解耦潜在空间，使极限环沿连续的参数依赖流形分离，从而实现准确的全场重构。

意义与主张

本文声称通过提供一个机理解释——即解释这些模型为何以及何时成功或失败——来弥合 Transformer 经验性能与经典动力系统理论之间的鸿沟。

可解释性： 作者认为，不应仅将 Transformer 视为通用的序列到序列回归器，而应将其视为数据自适应状态空间模型。注意力机制从过去的观测中构建隐式状态，而 MLP 则近似局部流映射。
理论极限： 研究确定了基本的表示限制，特别是由于 softmax 凸性导致单头注意力无法模拟线性系统中的混合符号依赖关系。这表明，对于某些物理机制，多头架构或替代的归一化方案可能是必要的。
设计指南： 研究结果为设计面向动力系统的注意力模型提供了实际指南：
- 确保时间上下文长度（ $n$ ）满足 $n \ge 2d_A + 1$ （根据 Takens 定理）以应对部分可观测性。
- 确保潜在维度（ $d_{lat}$ ）足够大，以便在投影前展开吸引子，特别是对于对称流形。
- 如果潜在空间无法唯一分离不同的动力学机制，请务必对系统参数（如雷诺数）进行显式调节。

作者总结道，虽然 Transformer 可以作为通用的时间积分器，但其归纳偏置（特别是关于频谱滤波和流形拓扑方面）必须与它们所建模的物理系统保持一致。他们警告说，不要在不了解这些底层机理解约束的情况下，将它们盲目视为通用的“黑盒”逼近器。