🤖 machine learning

Laplacian Heads Improve Transformers by Smoothing Token Representations

本文提出用拉普拉斯头替换 Transformer 中的一部分标准注意力头，以通过图扩散引入受控平滑，证明该改进通过增强令牌表示几何结构并挑战过度平滑本质上有害的观念，从而提升了监督学习、语言建模和自监督任务的性能。

原作者： Yuchong Zhang, Vardan Papyan

发布于 2026-05-18

📖 1 分钟阅读☕ 轻松阅读

原作者： Yuchong Zhang, Vardan Papyan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，Transformer（许多现代聊天机器人和图像识别器背后的 AI 模型）是一个由12 名侦探组成的团队，他们共同协作以理解一个故事或一幅图像。每位侦探（称为“注意力头”）都会审视整个场景，并向其他每位侦探低声传达一份摘要，帮助他们更新自己的理解。

在标准的 Transformer 中，所有 12 名侦探都只是低声传达他们的摘要。他们试图就场景的“平均”含义达成一致。有时，这效果极佳。但有时，团队过于一致，或者他们忽略了各个细节之间微妙的差异。

本文的作者张雨聪（Yuchong Zhang）和瓦尔丹·帕帕扬（Vardan Papyan）提出了一个简单的调整：如果有些侦探不再试图达成一致，而是转而关注差异，会怎样？

以下是他们想法的分解、工作原理以及他们的发现，使用了简单的类比。

核心理念：“平滑”与“扩散”

在标准设置中，每位侦探通过说“这是其他人认为的”来更新群体。这就像一群朋友试图达成共识。

作者将其中一些侦探替换为**“拉普拉斯头”（Laplacian Heads）。拉普拉斯头不再仅仅分享平均观点，而是做了不同的事情：它计算特定标记（一个词或一个像素）与群体平均值之间的差异**。

类比：热扩散
想象标记（数据片段）是图上的节点，就像地图上的城市。

标准注意力：就像城市议会会议，每个人都试图让自己的温度与区域的平均温度相匹配。
拉普拉斯头：就像热扩散过程。如果一个城市比其邻居太热，拉普拉斯头会通过扩散热量来帮助“降温”。它抚平了粗糙的边缘。

作者认为，虽然人们一直认为“平滑”（使事物过于相似）对 AI 有害，但受控的平滑实际上是一种超能力。

当他们尝试时会发生什么？

他们在三种不同类型的 AI 任务上测试了这种新的“拉普拉斯头”设置。在每种情况下，添加这些头都让 AI 变得更聪明。

1. 图像分类（识别图片）

问题：当 AI 查看一张猫的图片时，它有许多代表那只猫的标记（像素）。有时，AI 会混淆哪些像素属于猫，哪些属于背景。
解决方案：拉普拉斯头起到了胶水的作用。它们平滑了属于同一对象的标记，使它们紧密地粘在一起。
结果：AI 在区分“猫”和“背景”方面变得更好。猫的标记形成了一个紧密、整齐的簇，而背景标记则保持远离。这就像 AI 终于学会了看到“整只猫”，而不是一堆分散的像素。

2. 语言建模（预测下一个词）

问题：在句子“猫坐在……"中，AI 需要预测“垫子”。但不同的句子可能以“垫子”、“帽子”或“蝙蝠”结尾。AI 需要将导向“垫子”的词分组在一起，即使它们出现在不同的句子中。
解决方案：拉普拉斯头平滑了共享相同未来（下一个词）的词的表示。
结果：AI 在数学问题和逻辑谜题（如 GSM8K 和 ARC 基准测试）方面表现更好。它学会了将意义上“属于一起”的词分组，使其预测更准确。这就像整理图书馆，不仅仅是按书名，而是按书中的故事来整理。

3. 自监督学习（无标签学习）

问题：在这种模式下，AI 试图通过查看图像来学习，而无需被告知它们是什么。它需要弄清楚一个物体在哪里结束，另一个物体在哪里开始（分割）。
解决方案：拉普拉斯头帮助 AI 更清晰地看到物体的“形状”。
结果：当 AI 尝试在物体周围绘制边界（如头盔或球衣号码）时，线条更加清晰、准确。“平滑”帮助它忽略噪声，专注于物体的真实结构。

为什么这令人惊讶？

长期以来，研究人员认为“过度平滑”是敌人。他们认为，如果对数据平滑过度，一切看起来都会一样，AI 将失去区分事物的能力（例如将猫误认为狗）。

这篇论文颠覆了这一剧本。
作者表明，平滑本身并不坏。它就像降噪耳机。如果开得太大，你什么也听不到。但如果调节得当，它们会消除背景噪声（方差），让你更清晰地听到音乐（真实信号）。

通过使用拉普拉斯头，AI 学会了：

坍缩单个序列内的噪声（使句子或图像的部分保持一致）。
分离不同的类别（确保猫看起来不像狗）。

结论

这篇论文为 Transformer 架构引入了一种简单、免费的升级：用“差异”头替换一些“一致”头。

没有它：AI 试图将所有内容平均化，有时会感到困惑。
有了它：AI 学会了在组内平滑噪声，同时保持组之间的区分。

结果呢？一个更聪明、更准确的 AI，能够更好地识别图像、编写代码和解决逻辑谜题，仅仅是因为它学会了以正确的方式“平滑”其理解。

技术摘要：拉普拉斯头通过平滑 Token 表示提升 Transformer 性能

问题陈述

标准 Transformer 架构通过多头注意力和残差连接更新 Token 表示。在此公式中，每个注意力头 $i$ 计算一个 softmax 注意力矩阵 $P^{(i)}$ ，并通过值投影的加权和更新输入 $X$ ： $X \leftarrow X + \sum_i P^{(i)}XW_{Vi}W_{oi}$ 。

尽管该机制有效，但它缺乏对 Token 表示序列内方差的显式控制。文献中的主流观点，特别是关于图神经网络（GNN）和深度 Transformer 的观点，将“过度平滑”（即 Token 表示变得过于相似，失去区分度）视为一种有害的故障模式。因此，大多数先前的工作致力于通过归一化、边丢弃或多样性损失来防止平滑。本文挑战了 Token 过度平滑本质上有害的假设，转而提出受控的平滑可能对表示学习有益。

方法论

作者提出了一种无参数的架构修改：用拉普拉斯头（Laplacian heads）替换一部分标准注意力头。

拉普拉斯算子

在标准更新中，一个头计算 $P^{(i)}X$ ，这是 Token 的注意力加权平均值。提出的拉普拉斯头将注意力矩阵 $P^{(i)}$ 替换为图拉普拉斯算子 $I - P^{(i)}$ ，其中 $I$ 是单位矩阵。更新方程变为：
$X \leftarrow X + \sum_{i \in A} P^{(i)}XW_{Vi}W_{oi} + \sum_{i \in L} (I - P^{(i)})XW_{Vi}W_{oi}$
其中 $A$ 是标准注意力头的集合， $L$ 是拉普拉斯头的集合。

动机

本文为此修改提供了两个理论动机：

均值和方差的直接控制：标准注意力头更新 Token 表示的均值。相比之下，项 $(I - P^{(i)})X$ 计算每个 Token 与其注意力加权均值之间的差异。添加此差异使模型能够直接控制 Token 表示的序列内方差，这是标准 Transformer 所不具备的能力。
图扩散：如果将 Token 视为图中的节点，边权重由 $P^{(i)}$ 定义，那么 $I - P^{(i)}$ 就是随机游走归一化的图拉普拉斯算子。应用此算子对应于在 Token 图上进行单步热扩散，逐步平滑序列中的信号（Token 表示）。

主要贡献

架构提案：对 Transformer 架构进行简单、无参数的修改，将拉普拉斯头与标准注意力头集成在一起。
实证验证：证明该修改在三种不同的学习范式中提高了性能：监督分类、语言建模和自监督学习。
几何表征：详细分析了拉普拉斯头如何改变所学 Token 表示的几何结构，表明它们诱导了有益的“坍缩”和平滑形式，而非有害的过度平滑。

实验结果

1. 图像分类（监督学习）

在 CIFAR-10、CIFAR-100 和 ImageNet-1k 上使用 DeiT-3 系列（ViT-B）：

性能：添加拉普拉斯头一致地提高了 Top-1 准确率。随着拉普拉斯头数量的增加，提升几乎呈单调递增。
- 在 ImageNet 上，拥有 12 个拉普拉斯头的模型（ViT-B-12L）达到了82.32%的准确率，而基线模型为81.45%。
- 在 CIFAR-100 上，提升接近 2%（77.04% 对比 75.12%）。
几何结构：
- 方差分析（ANOVA）：拉普拉斯头显著降低了序列内方差，同时增加了类间方差。这表明同一序列内的 Token 向共同均值坍缩，而不同序列的均值则更有效地分离。
- 神经坍缩（Neural Collapse）：模型表现出向神经坍缩几何结构的更强收敛。Token 表示为每个类形成了分离良好、类似单纯形的簇（Simplex ETF），序列均值与全局类几何结构对齐。

2. 语言建模（自回归）

使用在 FineWeb-Edu 上预训练并在推理/代码基准上微调的 GPT-2 风格模型（5.61 亿参数）：

性能：带有拉普拉斯头的模型在 ARC-Easy、ARC-Challenge、MMLU、GSM8K 和 HumanEval 上的平均表现优于基线。
- 拥有 5 个拉普拉斯头的模型取得了最高的平均性能（30.06%），在 ARC-Easy（+16%）和 ARC-Challenge（+7%）上取得了显著提升。
几何结构：
- 谱衰减：拉普拉斯头产生了具有更快衰减谱的 Token 表示。当所有头均为拉普拉斯头时，解释 99% 方差所需的主成分数量减少了21%（从 547.7 降至 430.4）。
- 语言坍缩：模型显示出具有相同下一个 Token 预测的 Token 表示之间的可分离性增加，表明了一种更强的“语言坍缩”形式，即具有相似语义角色的 Token 聚集在一起。

3. 自监督学习（DINO）

在 ImageNet-1k 上使用 ViT-S 模型进行 DINO 预训练：

性能：拉普拉斯头提高了 ImageNet 上的线性探测准确率和 ADE20K 上的分割性能。
- ViT-S-5L 取得了最佳的 ADE20K mIoU（32.27%），而基线为（29.81%）。
几何结构：
- 分割：PCA 可视化显示，与基线相比，拉普拉斯头产生了更清晰的物体边界，并保留了更精细的细节（例如头盔形状、球衣号码）。
- 谱衰减：与语言建模类似，这些模型表现出更快的谱衰减，将图像内 Token 表示集中在低维子空间中。

意义与主张

本文认为，认为 Token 过度平滑普遍有害的主流观点是不完整的。相反，作者主张平滑是一种表示学习机制，在受控情况下可能是有益的。

任务特定收益：拉普拉斯头诱导的“平滑”不是一种故障模式，而是一种与任务目标一致的特性：
- 在监督分类中，它通过使序列内的 Token 坍缩并将序列均值与类几何结构对齐，促进了神经坍缩。
- 在语言建模中，它增强了语言坍缩，提高了具有相同下一个 Token 目标的 Token 的可分离性。
- 在自监督学习中，它将表示集中在低维子空间中，有助于分割等下游任务。
机制：通过在架构中显式引入图扩散（通过拉普拉斯算子），模型获得了直接控制序列内方差的能力，从而产生更鲁棒且几何结构更清晰的表示。

作者总结道，虽然他们的固定策略实现可能并非最优，但结果表明，平滑应作为表示学习的基本组成部分进一步研究，而不仅仅是作为一个需要缓解的问题。