技术摘要：低温区平均场 Transformer 浓度现象的量化

问题陈述

本文旨在数学化地表征在推理过程中，令牌（token）表示如何在深度仅编码器（encoder-only）Transformer 的自注意力层中演变。尽管 Transformer 是现代基础模型的支柱，但对其内部表示动态的严格理解仍是一个重大的分析挑战。

作者将单头注意力（不含全连接多层感知机）Transformer 的前向传播在无限深度极限下建模为连续时间相互作用粒子系统。在大令牌极限下，该系统由球面 $S^{d-1}$ 上的平均场连续性方程描述。核心问题在于量化令牌分布 $\rho^\beta_t$ 作为逆温度参数 $\beta$（其中 $\beta \to \infty$ 对应零温极限）和推理时间 $t$ 函数的浓度行为。具体而言，作者调查该分布是否收敛至由模型权重决定的特定极限分布，以及如果是，其发生的速率和时间尺度为何。

方法论

作者采用了相互作用多粒子系统分析和最优传输理论的工具。其方法包含三个主要组成部分：

1. 平均场公式化：他们通过 Transformer 连续性方程（公式 2）对令牌动态进行建模，该方程描述了球面上概率测度 $\rho^\beta_t$ 的演化。该方程整合了键（$K$）、查询（$Q$）和值（$V$）权重矩阵。相互作用项涉及由温度参数 $\beta$ 调节的、经 softmax 加权的值向量聚合。
2. 零温极限分析：他们分析了当 $\beta \to \infty$ 时的极限方程（公式 3）。在特定假设下（$B=Q^\top K$ 可逆且 $VB^\top$ 对称），他们确定了该零温流的平稳分布。他们利用李雅普诺夫型估计证明了零温方程的解以指数速度收敛至初始分布的特定投影。
3. 稳定性与耦合：为了弥合有限温度动态（$\rho^\beta_t$）与零温极限（$\rho_t$）之间的差距，作者在 Wasserstein 空间中推导出了定量稳定性估计。这依赖于定量拉普拉斯原理来界定两个方程向量场之间的差异。他们耦合这两个流，以推导 Wasserstein 距离 $W_2(\rho^\beta_t, \Pi_\sharp \rho_0)$ 的上界，其中 $\Pi$ 是由权重矩阵诱导的投影映射。

关键假设

理论结果依赖于以下假设：

• 假设 1：矩阵 $B = Q^\top K$ 可逆，且矩阵 $VB^\top$ 对称，其最大特征值与第二大特征值之间存在谱隙 $\gamma = \mu_1 - \mu_2 > 0$。
• 假设 2：初始分布 $\rho_0$ 不会以导致特定矩泛函发散的方式，将质量集中在 $VB^\top$ 主导特征空间的正交补上。
• 假设 3：初始分布在球面上具有严格正且 Lipschitz 连续的密度。这是定量拉普拉斯原理成立所必需的。

关键结果

1. 定量浓度界

主要结果（定理 1）提供了令牌分布 $\rho^\beta_t$ 与初始分布在投影映射 $\Pi$ 下的推前分布 $\Pi_\sharp \rho_0$ 之间 Wasserstein 距离的显式上界。该界按以下比例缩放：
$$W_2(\rho^\beta_t, \Pi_\sharp \rho_0) \lesssim \sqrt{\frac{\log(\beta+1)}{\beta}} e^{C_1 t} + e^{-c t}$$
该结果量化了温度参数 $\beta$ 与时间 $t$ 之间的相互作用。

2. 时间尺度机制

分析揭示了动态过程中的两个不同阶段：

• 早期阶段（$t \lesssim \log \beta$）：零温极限的指数收敛占主导地位。在此机制下，令牌分布迅速集中到矩阵 $VB^\top$ 的主导特征空间上。该分布可由 $\Pi_\sharp \rho_0$ 很好地近似。
• 晚期阶段（$t \gtrsim \log \beta$）：由有限温度引起的近似误差（界中的第一项）变得占主导地位。分布可能会偏离 $\Pi_\sharp \rho_0$。

3. 极限分布的识别

对于零温方程，作者将平稳分布识别为初始数据在 $VB^\top$ 主导特征空间上的投影。这是首个明确识别该平稳分布并证明其在 Wasserstein 距离下以指数速度收敛至该分布的结果（推论 2）。

4. 终端阶段与猜想

数值实验表明，对于有限 $\beta$ 和较大的 $t$，动态进入一个“终端阶段”，此时浓度从 $VB^\top$ 的主导特征空间转移到值矩阵 $V$ 的主导特征空间（或其幅度主导的对应空间）。作者提出了猜想 1，即在大时间尺度下，分布收敛至支撑在 $V$ 的主导特征空间上的平稳态。

意义与主张

本文声称提供了低温区平均场 Transformer 动态的首个定量收敛保证，超越了以往定性或渐近的结果。

• 亚稳态的量化：该工作严格确立了令牌分布在 $O(\log \beta)$ 量级的时间尺度上，在投影 $\Pi_\sharp \rho_0$ 附近保持亚稳态。这为实际有限深度 Transformer（在有限时间尺度上运行）为何常表现出与 $VB^\top$ 谱性质一致的稳定行为提供了理论依据。
• 连接理论与实践通过量化误差项 $\sqrt{\log(\beta+1)/\beta}$，作者阐明了零温近似有效的条件。他们指出，对于实际的有限深度模型，相关时间尺度通常处于亚稳态机制内，使得零温极限成为一个有用的分析工具。
• 与优化的联系：作者强调了自注意力动态与基于共识的优化（CBO）方法之间的结构相似性。通过利用相互作用粒子系统的技术（特别是定量拉普拉斯原理和李雅普诺夫方法），他们为 Transformer 动态提供了新的分析视角，补充了现有的梯度流解释。

作者对有限 $\beta$ 下的长时行为保持谦逊，承认其严格证明涵盖了直至 $t = O(\log \beta)$ 的非渐近机制。超出此尺度的行为由数值证据和启发式方法（猜想 1）支持，但仍属于未来理论研究的开放领域。