🤖 machine learning

On the Diverse Dynamical Behaviors Arising in Deep Linear Transformers

本文通过将 token 交互建模为广义库拉莫托（Kuramoto）系统，刻画了二维空间中深度线性 Transformer 多样化的长期动力学行为，揭示了内在的低维动力学、隐藏的哈密顿结构，以及在更高维空间中依然持续存在的聚类和振荡等鲁棒现象。

原作者： Sixu Li, Thomas Jacob Maranzatto, Jan Peszek, Trevor Teolis, Semih Akkoc, Konstantin Riedl, Sennur Ulukus, Nicolás García Trillos

发布于 2026-07-22

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Sixu Li, Thomas Jacob Maranzatto, Jan Peszek, Trevor Teolis, Semih Akkoc, Konstantin Riedl, Sennur Ulukus, Nicolás García Trillos

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个这样的世界：数据不再仅仅是纸面上静止的数字，而是一群在广袤、无形的城市中穿梭的微小旅行者。这就是机器学习的领域，特别是被称为 Transformer 的现代人工智能技术。你可能已经听说过它们；它们是驱动聊天机器人、翻译工具和图像生成器的引擎。在这些机器的核心，有一种被称为**自注意力（self-attention）**的机制。你可以把它想象成一个为数据点（称为“token”）提供的超强社交网络。当一个 Transformer 阅读句子时，每个词都会观察其他每一个词，以决定对方的重要性。这个过程逐层发生，就像一场“传声筒”游戏，信息在每一步都会得到精炼。

但谜团在于：虽然我们知道这些机器运行得非常出色，但我们往往并不理解它们内部是如何运作的。这就像你知道一辆车开得很快，却不了解引擎的工作原理。科学家们一直试图绘制出这些数据 token 在层与层之间移动时的“交通模式”。它们是步调一致地前进吗？它们会形成群体吗？它们会陷入循环吗？理解这一点至关重要，因为如果我们知道数据是如何移动的，我们就能构建更好、更安全、更高效的人工智能。这篇论文深入研究了这种“交通”，将数据 token 视为不是计算机代码，而是一群随着数学节奏起舞的粒子。

伟大的 Token 之舞：混沌与秩序的研究

在这篇论文中，一个由数学家和工程师组成的团队决定观察一下，当你将一个 Transformer 剥离到只剩其核心骨架时会发生什么。他们专注于一个被称为**线性 Transformer（Linear Transformer）**的简化版本。想象一个舞池，音乐简单且可预测，舞者是“token”（数据点）。研究人员想看看：如果我们让这些舞者在层与层之间进行交互，他们最终会停下来并在完美的直线中站定吗？他们会形成两个对立的群体吗？还是他们会只是不停地原地旋转？

为了弄清这一点，作者使用了一个聪明的技巧。他们意识到，在一个特定的二维设定下（想象 token 在一个平面圆圈上移动），Transformer 的复杂数学行为表现得完全像一个著名的物理模型——库拉莫托模型（Kuramoto model）。你可以把库拉莫托模型看作是一种描述萤火虫如何同步闪烁或摆钟如何最终同步跳动的方式。作者发现，他们的 Transformer token 本质上是“萤火虫”，它们仅通过一种特定的二阶节奏（一种“双重节拍”而非简单的节拍）进行交互。

由于这种联系，他们可以使用强大的数学工具（**渡边-斯特拉茨变换（Watanabe–Strogatz transformation）**和 Ott–Antonsen ansatz）来缩小问题规模。与其追踪数千个独立的舞者，他们可以用一个简单的方程来描述整个人群的行为。这就像是意识到，与其追踪体育场里的每一个人，你只需要追踪人群中移动的“波浪”即可。

令人惊讶的结果：不仅仅是一条直线

团队发现，这些 token 的行为完全取决于“舞蹈的规则”，而这些规则是由三个特定的矩阵（数字表）即 Key（键）、Query（查询） 和 Value（值） 设定的。通过改变这些数字，他们可以让 token 做出截然不同的反应：

大聚拢（“拥抱”）： 在许多情况下，token 的表现正如我们所预期的。它们聚集在一起。有时它们会全部挤成一个点（完美一致）。但通常，它们会分裂成两个对立的群体（对跖簇），位于圆圈的两侧。这就像一场辩论，每个人最终都会在两个极端立场之一达成共识。
永恒的旋转（“旋转木马”）： 这里变得奇妙起来。研究人员发现，在特定的设置下，token 确实会形成两个群体，但这些群体永远不会停止移动。它们在圆圈周围旋转，就像永不停歇的旋转木马。token 是聚集的，但它们从未停歇。这是作者此前在此背景下未曾预见的行为。
隐藏的哈密顿量（“秋千”）： 在另一种情景下，系统表现得像摆锤或秋千。如果参数设置得恰到好处，token 会在完美的、重复的循环中来回摆动。如果稍微微调参数，系统可能会突然从永远摆动切换到静止下来。这被称为分叉（bifurcation），它表明 Transformer 的行为对其设置极其敏感。

关于现实生活（“如果”与“事实”）

作者谨慎地指出，他们最详细的证明适用于简化的二维世界。然而，他们并未止步于此。他们使用更大型、更真实的模型（100 维和 200 个 token）进行了数值实验（计算机模拟）。

结果令人兴奋：他们在简单的二维世界中发现的那些奇异行为——如永恒的旋转以及在摆动与静止之间的突然切换——在更高维度的模拟中依然存在。这表明，这些复杂的非线性舞蹈不仅仅是数学上的奇趣，它们也可能发生在我们在日常生活中使用的庞大 AI 模型之中。

他们还将他们的“线性”模型与更常见的“Softmax”模型（现实世界 AI 中使用的模型）进行了比较。他们发现，虽然 Softmax 模型倾向于迫使所有人进入一个单一的、完美的拥抱，但线性模型则更加多样化，能够形成两个截然不同的群体或进行永恒旋转。这表明，“线性”简化版并非仅仅是一个玩具模型；它揭示了更复杂的模型可能也隐藏着的深层动态。

总结

这篇论文并不声称已经解开了所有 AI 的谜团。相反，它开启了一扇新的窗口。通过将数据 token 视为相互作用的粒子并使用物理学的语言，作者证明了 Transformer 能够展现出比仅仅“收敛于单一答案”更为丰富的行为。它们可以振荡、分叉和旋转。

作者在二维情况下通过数学证明了这些行为，并通过模拟暗示这些行为在更大、更复杂的系统中同样成立。他们不仅发现了 token 如何移动，还发现了它们如何移动，揭示了 Transformer 的内在世界是一个动态的、有时是混沌的、且具有优美结构的舞池。这一洞察有助于我们理解为什么 AI 有时会陷入循环，或者为什么它的行为不可预测，从而为未来构建更稳定、更可理解的人工智能铺平道路。

技术摘要：深度线性 Transformer 中产生的多样化动力学行为

问题陈述

本文旨在解决对 Transformer 架构内部数据变换缺乏数学理解的问题，特别关注深度仅编码器（encoder-only）Transformer 在推理时的动力学过程。尽管先前的研究在受限假设下（例如特定的矩阵结构和 Softmax 注意力机制）刻画了标记同步（token synchronization）和“秩崩溃”（rank collapse，即收敛至单点）现象，但这些系统在更通用的参数选择下的行为仍不明确。

作者研究了通过连续线性自注意力层演化的标记表示 $x_k(t)$ 的长期行为。其动力学被建模为单位球面 $S^{d-1}$ 上的耦合常微分方程（ODE）系统：
$\dot{x}_k(t) = P^\perp_{x_k(t)} \left( \frac{1}{n} \sum_{j=1}^n \beta \langle x_k(t), A x_j(t) \rangle V x_j(t) \right)$
其中 $A = Q^\top K$ 和 $V$ 分别是键/查询（key/query）矩阵和值（value）参数矩阵。核心问题在于：对于何种矩阵 $A$ 和 $V$ 的选择，系统会收敛至共识（聚类），又在何种选择下会出现其他长期行为（如振荡、分叉）？

研究方法

作者采用了相互作用粒子系统（interacting particle system）的视角，将标记（tokens）建模为粒子。其方法论不同于先前文献中使用的 Wasserstein 梯度流方法，而是专注于维度 $d=2$ 下的**线性自注意力（LSA）**模型（ $h(y)=y$ ）。

Kuramoto 重新表述： 作者证明了在 $d=2$ 时，LSA 动力学可以重新表述为具有**纯二阶谐波耦合（pure second-harmonic coupling）**的广义 Kuramoto 模型。通过将标记表示为单位圆上的角度 $\theta_k$ （即 $x_k = e^{i\theta_k}$ ），动力学仅取决于二阶参数 $R_2(t) = \frac{1}{n} \sum e^{i2\theta_j}$ 。
降维： 利用纯二阶谐波结构，作者应用了 Watanabe–Strogats (WS) 变换。这揭示了 $n$ -粒子系统本质上是低维的，其动力学仅由两个宏观变量（ $\alpha, \eta$ ）控制，且与 $n$ 无关。
Ott–Antonsen (OA) 假设： 对于一类特定的初始化情况，即双角度 $\Xi = 2\Theta$ 的分布位于“OA 流形”上（具体为缠绕柯西分布/wrapped Cauchy distributions）时，WS 系统进一步简化为一个关于 $R_2(t)$ 的复值 ODE。
稳定性分析： 为了解决 OA 假设的局限性（即需要特定初始化），作者建立了结构稳定性结果。他们证明了在某些参数区间内，在 OA 流形附近初始化的动力学表现出与在流形上初始化相同的长期行为，从而将理论结果扩展到了更广泛的初始条件类。
数值验证： 作者通过在高维（ $d=100$ ）环境下针对线性自注意力（LSA）和未归一化 Softmax 注意力（USA）进行的数值实验，验证了 $d=2$ 的理论发现。

核心贡献

本文做出了四个主要贡献：

纯二阶谐波 Kuramoto 表述： 作者表明，对于任意矩阵 $A$ 和 $V$ ，二维线性自注意力等价于具有纯二阶谐波耦合的 Kuramoto-Daido 模型。这建立了一个独立于特定参数值的内在低维结构，有别于 Wasserstein 梯度流框架。
OA 流形上的多样化长期行为： 通过分析 $R_2(t)$ $R_{2} (t)$ 的简化 ODE，作者根据 $A$ $A$ 和 $V$ $V$ 的性质识别了四种不同的动力学区间：
- 带收敛性的聚类（Clustering with Convergence）： 标记聚类成两个固定的对跖点（例如，当 $V=I$ 且 $A$ 满足特定的迹/行列式条件时）。
- 不带收敛性的聚类（Clustering without Convergence）： 标记形成两个对跖簇，但簇的位置会持续旋转（非收敛振荡）。
- 振荡（Oscillations）： 系统表现出持续的周期性振荡，而没有形成稳定的簇。
- 分叉（Bifurcations）： 系统经历鞍节点分叉，其中 $V$ 的微小变化会剧烈改变长期行为（例如，从振荡转变为聚类）。
- 注：这些行为包括振荡和分叉，作者指出这些行为在以往的 Transformer 动力学研究中尚未被刻画。
超越 OA 流形的结构稳定性： 作者证明，在特定参数区间（例如 $V=I$ 且 $A$ 的对称部分为正定，或 $A=I$ 且 $\lambda_{\max}(V) > 0$ ），向对跖点收敛的行为是鲁棒的。只要初始分布在有界 Lipschitz 距离下足够接近均匀分布，在 OA 流形附近初始化的动力学也会收敛到与流形上相同的状态。
高维持续性： 数值实验表明，在二维理论分析中识别出的定性行为（聚类、非收敛聚类和振荡）在更高维度（ $d=100$ ）的线性及 Softmax 注意力模型中依然存在。

结果

论文将序参数 $R_2(t)$ （以及随之而来的标记分布）的长期行为分为三类：

类型 1（收敛）： $|R_2| \to 1$ 且 $\arg(R_2) \to \text{常数}$ 。标记收敛至两个固定的对跖点。
类型 2（旋转簇）： $|R_2| \to 1$ 但 $\arg(R_2)$ 不收敛。标记聚类成两个不断旋转的对跖点。
类型 3（振荡）： $|R_2|$ 与 $\arg(R_2)$ 均不收敛。系统表现出持续的振荡。

具体发现包括：

情形 1 ( $V=I, A$ 任意)： 若 $\text{tr}(A) > 0$ 或 $\det(A) \le 0$ ，则发生聚类。若 $A$ 的对称部分是负定的，系统将收敛至一个内部点（不发生聚类）。
情形 2 ( $A=I, V$ 对称)： 若 $\lambda_{\max}(V) \ge 0$ ，则发生聚类。若 $\lambda_{\max}(V) < 0$ ，系统将在不发生聚类的情况下收敛。
情形 3 (非交换 $A, V$ )： 作者识别出一个区间，在此区间内，标记形成两个持续旋转的对跖簇（即不带收敛性的聚类）。
情形 4 (隐藏哈密顿结构)： 对于特定的类反对称 $V$ ，系统表现出隐藏的哈密顿结构，导致在 $v_{11} < v_{12}$ 时出现周期轨道（振荡），而在 $v_{11} \ge v_{12}$ 时出现收敛。

意义与主张

本文声称提供了首次理论刻画，将 Transformer 模型中的多样化动力学行为（特别是振荡和分叉）与权重矩阵的具体参数选择联系起来。

超越聚类： 该工作挑战了普遍认为 Transformer 动力学主要导致标记均匀化或秩崩溃的观点。它证明了线性 Transformer 可以根据 $A$ 和 $V$ 的不同，维持复杂的、非收敛的动力学（振荡、旋转簇）。
分析框架： 通过将 Transformer 动力学与 Kuramoto 型模型联系起来，作者提供了一个新的分析框架，该框架与 Wasserstein 梯度流方法既有区别又互为补充。该框架允许分析通用的矩阵 $A$ 和 $V$ ，而这些矩阵在梯度流假设下是难以处理的。
鲁棒性： 结构稳定性结果表明，这些多样化的行为并非理想化初始化（OA 流形）的产物，而是系统在广泛的初始条件下具有的鲁棒特征。
实际相关性： 作者指出，“不带收敛性的聚类”（旋转簇）行为在性质上类似于在“循环 Transformer”（反复应用的 LLM）中观察到的循环轨迹，这暗示了其在理解深度或循环 Transformer 应用动力学方面的潜在意义。他们还强调了这些动力学对参数扰动的敏感性，这可能与模型量化相关。

作者对研究范围的扩展保持谨慎，承认目前的严格低维归约仍局限于 $d=2$ 且针对线性注意力，将这些技术扩展到更高维度和非线性（Softmax）核函数仍是一个开放性问题。