📊 statistics

Which Question Is Your Attention Metric Answering? Attention Rows as Compositional Data

本文认为，标准的注意力度量往往会得出误导性的结论，因为它们未能区分模型对主导“汇”（sink）标记的关注与对内容标记的分布，因此，本文提议将注意力行视为成分数据（compositional data），以准确分离这些因素，从而避免模型分析和剪枝中的伪影。

原作者： Marios Papamichalis, Regina Ruane

发布于 2026-08-18

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Marios Papamichalis, Regina Ruane

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在驱动现代人工智能的庞大神经网络内部，存在着一种被称为“注意力”（attention）的机制，它允许系统决定在任何给定时刻，句子或图像的哪些部分是最重要的。当这种机制运行时，它会为每个单词或标记（token）生成一个概率列表，显示对每一个部分的关注程度。多年来，研究人员一直通过使用标准的数学工具来比较这些列表，以试图理解机器是如何思考的。他们假设，如果两个列表看起来相似，那么底层的思维过程也是相似的。然而，一项新的分析揭示了这一假设建立在一个隐藏的选择之上——科学家们在不知不觉中做出了这个选择，而这个选择可以完全扭转他们关于机器实际在做什么的结论。

问题的核心在于几乎所有大型语言模型中都存在的一种奇特行为：它们倾向于将大量的注意力倾注在单个无信息的标记上，通常是句子的第一个单词。研究人员称之为“注意力汇聚”（attention sink）。在许多情况下，这个单一的标记吸收了百分之八十甚至更多的总注意力，使得剩余的标记只能分享极小的剩余部分。当科学家想要比较两种不同的注意力模式时，他们面临着一个两难的选择。他们是应该在比较中包含这个占主导地位的第一个标记，还是应该将其移除以观察其余信息的分布情况？论文证明，这并非一个无关紧要的技术细节。根据研究人员选择哪种方案的不同，相同的两个注意力模式可能看起来几乎完全相同，也可能看起来截然不同。这意味着，过去数十年的研究——其中许多研究在没有明确说明如何处理第一个标记的情况下就进行了模式比较——其结论可能是基于一种任意的惯例，而非模型实际的结构过程。

为了解决这个问题，作者将注意力列表视为一种特定类型的数据，即“成分数据”（compositional data），在这种数据中，唯一重要的是各部分的相对比例，而非它们的绝对大小。通过应用一种专为这类数据设计的专门数学框架，他们能够将“汇聚”问题与“内容”问题分离开来。他们证明了社区使用的标准工具（如余弦相似度和熵）将这两个截然不同的问题混淆在了一起。当注意力汇聚变得更大时，这些标准工具会报告说注意力变得更加集中，且系统正在坍缩为一个更简单的状态。但新的分析表明，这往往是一种错觉。注意力并不一定是在有意义的内容上变得更加集中，仅仅是因为第一个标记占据了更多的聚光灯。当实际的注意力在有意义的单词之间的分布保持完全不变时，标准指标却会在大声疾呼发生了“坍缩”。

研究人员在十个不同的预训练模型上测试了这一理论，范围涵盖了从小型实验网络到拥有数十亿参数的巨型模型。他们发现，选择哪种惯例在相当多的案例中改变了最终的判定。在某些模型中，当包含汇聚点时，网络不同部分之间的对比结论，在切换到移除汇聚点后，近一半的情况发生了反转。例如，在包含汇聚点时被视为网络中最亲近邻居的一对注意力头，一旦移除汇聚点，就会变成疏远的陌生人。反之，在包含汇聚点时看起来毫无关联的注意力头，在移除后却可能看起来像是孪生兄弟。这种不稳定性意味着，那些科学家用来分类大脑不同部分功能的著名“头聚类”（head clustering）图谱，往往捕捉的是汇聚点的大小，而非各部分的实际功能。在对一个标准聚类流水线进行的重大重新分析中，一旦正确处理了汇聚点，数据中原本最显著的结构便完全消失了，这表明该结构是测量方法的产物，而非模型的特征。

这对训练和改进这些模型具有重要意义。论文表明，许多看起来像是“熵坍缩”（entropy collapse）——即模型在训练过程中变得不稳定或过度简化的迹象——实际上只是注意力汇聚变得更大的现象。在拥有十亿参数的模型中，百分之九十五的表观复杂度下降都是由于汇聚点占据了更多空间，而非内容本身变得不再多样化。这种区别至关重要，因为它改变了工程师应该如何修剪或移除网络中不必要的部件。当研究人员使用这种新的、分离了汇聚点的法来决定切除网络的哪些部分时，他们发现，使用旧方法可能会导致模型的性能崩溃，在某些情况下使错误率增加一百倍以上。新方法使他们能够识别并移除冗余部分而不破坏模型，但前提是必须先将汇聚点的噪声与内容的信号分离开来。

最终，这项工作并不是声称旧的数学方法是错误的，而是说它回答了一个与研究人员自认为在问的问题不同的问题。旧工具测量的是包括对第一个标记的巨大偏向在内的总分配量。新工具测量的是剩余的注意力如何在实际内容之间进行分配。作者提供了一份清晰的指南，说明了何时使用每种方法是安全的，以及何时会导致灾难。他们表明，对于具有强注意力汇聚的模型，标准方法在理解机器的内部逻辑方面是不可靠的。通过分离这两个通道，研究人员现在可以观察到模型注意力的真实几何结构，从而区分出一个系统是在真正简化其思维，还是仅仅让它的第一个标记主导了对话。这种分离提供了一个更诚实的视角来观察这些复杂系统如何组织信息，确保未来的发现是基于它们思想的内容，而非测量方式的特性。

技术摘要：作为组合数据的注意力行

问题陈述

Transformer 注意力机制为每个查询位置（query position）生成一个关于键（key）的概率分布。这些行位于单纯形（simplex）上，使其成为 Aitchison (1982) 定义下的组合数据（compositional data）：即仅携带相对信息的正部分向量。在现代大语言模型（LLMs）中，一个普遍存在的经验事实是存在注意力汇点（attention sinks），即大量的概率质量集中在单个坐标上（通常是第一个 token 或 [CLS]）。

标准的解释性工具——如余弦相似度、Jensen–Shannon (JS) 散度、欧几里得距离和香农熵（Shannon entropy）——将这些行视为标准的欧几里得向量。然而，这些度量是子成分不连贯的（subcompositionally incoherent）。这意味着，如果对包含汇点的完整注意力行进行比较，其结论可能会在掩盖汇点并重新归一化剩余内容后发生逆转。本文指出，该领域标准的总结方法在未报告约定（convention）的情况下，将两个不同的问题混为一谈：

汇点问题： 汇点 token 接收了多少注意力？
内容问题： 剩余的概率质量在内容 token 之间是如何分布的？

当汇点占据主导地位时（例如在 Llama-3.1-405B 中占比 >80%），标准度量会混淆这两个通道。一个具有大汇点且内容均匀的注意力头，可能在与其他具有大汇点但内容不同的头进行比较时，仅仅因为共享了汇点质量而显得“接近”，即便它们的实际内容分布是正交的。相反，丢弃汇点可能会人为地分离出那些共享相同内容分布的注意力头。这种对约定的依赖导致了分类体系的不稳定、误导性的剪枝决策以及对训练动态（如“熵塌陷”）的误解。

方法论

作者将**组合数据分析（Compositional Data Analysis, CoDA）**应用于注意力分析的测量方法中。

理论框架

Aitchison 几何： 本文将注意力行视为 Aitchison 单纯形中的点。它利用**中心对数比（Centered Log-Ratio, CLR）**变换将单纯形映射到欧几里得子空间，在该空间中，Aitchison 距离 ( $d_A$ ) 是自然的度量。
正交分解： 作者证明了 Aitchisson 距离可以精确地正交分解为一个汇点项和一个内容项：
$d_A(p, q)^2 = d_A^\perp(p, q)^2 + (b(p) - b(q))^2$
其中 $b(p)$ 是汇点平衡度， $d_A^\perp$ 是丢弃汇点并重新归一化后的内容成分之间的距离。
公理化特征： 本文通过五个源自 Transformer 自身对称性的公理刻画了 Aitchison 距离：扰动不变性（共享 logit 偏置）、幂次齐次性（温度缩放）、置换不变性、平行四边形法则以及度量性质。
熵分解： 香农熵被精确分解为 $H(p) = H_b(s) + (1-s)H(\pi)$ ，将汇点质量的二元熵 ( $s$ ) 与内容的条件熵 ( $\pi$ ) 分离开来。

实验方案

作者在来自五个家族（GPT-2, Pythia, Qwen2.5, Llama-3.2, ViT-B/16）的十个预训练模型上验证了这些理论主张。

逆转率测量： 他们采样了 50,000 组注意力头三元组，并测量了在“带汇点”与“丢弃汇点”两种约定下，经典度量与内容距离 $d_A^\perp$ 之间“最近邻”判定发生翻转的频率。
剪枝实验： 他们使用不同的距离度量（JS, $d_A^\perp$ , 全量 $d_A$ ）剪掉最冗余的注意力头（10–30% 稀疏度），并测量其对困惑度（针对语言模型）或 Top-1 一致性（针对 ViT）的影响。
下游测试： 他们预先设定并测试了关于分类稳定性（重新聚类 BERT/LLM 注意力头）、规模法则（汇点质量 vs 参数量）以及训练曲线（熵塌陷分解）的预测。

核心贡献

诊断对约定的依赖性： 本文证明（定理 1），对于任何一组三个注意力头，如果其中两个共享内容分布但汇点质量不同，而第三个共享汇点质量但具有镜像内容，那么经典度量（余弦、JS、欧几里得）会根据是保留还是丢弃汇点的约定，改变其“最近邻”的判定。这种逆转发生在正测度集上，这并非罕见的边缘情况，而是强汇点模型中的典型状态。
连贯的工具包： 作者引入了一个基于 Aitchison 几何的工具包：
- $d_A^\perp$ （内容距离）： 在丢弃汇点后的行上计算的 Aitchison 距离，它对汇点质量的变化具有不变性。
- $C_A^\perp$ （内容离散度）： 独立于汇点的内容集中度度量。
- 精确恒等式： 距离的正交皮塔哥拉斯分解以及熵分解的精确恒等式。
失效几何： 在强汇点机制下，经典成对差异性会塌陷为消失的带宽（例如，当汇点质量 $\ge$ 0.8 时，余弦相似度 > 0.94），使得最近邻排序和聚类结果成为汇点质量而非内容结构的产物。
经验验证：
- 逆转率： 在十个模型上，17–47% 的“最近邻”判定在不同约定间发生了翻转。
- 分类不稳定性： 使用“带汇点”和“不带汇点”对 BERT 和 Llama 注意力头进行重新聚类，得到的调整兰德指数（ARI）接近随机水平（0.01–0.05），表明标准流水线中的显著结构是约定的产物。
- 剪枝灾难： 在强汇点模型（如 Llama-3.2-1B）中，基于经典度量（JS）进行的剪枝会导致困惑度大幅上升（例如从 15.3 $\to$ 2094），而基于内容距离（ $d_A^\perp$ ）的剪枝则保持稳定。
- 熵塌陷： 训练过程中测得的熵塌陷主要由汇点的增长驱动，而非内容的锐化。对于 Pythia-1B，95% 的熵下降可归因于汇点质量的增加，而非内容塌陷。

结果与发现

度量稳定性： 内容距离 $d_A^\perp$ 无论是在投影后的全量行上计算，还是在显式丢弃行后计算，其结果都是一致的，提供了一个稳定、不受约定影响的内容相似度度量。
剪枝机制： 本文绘制了不同的剪枝机制图谱。在具有异质汇点质量（高跨头离散度）的模型中，经典度量会失效；在具有统一汇点的模型中，经典度量可能有效，但 $d_A^\perp$ 始终保持稳健。一个基于汇点离散度的冻结样本外预测器能够正确识别一个模型的机制，对另一个模型选择弃权，并在第三个模型上失败，这表明该规则是描述性的而非普适验证的。
训练动态： 熵的分解揭示了“熵塌陷”往往是一种“幻觉”塌陷，即由于汇点吸收了质量导致的现象，而实际的内容分布保持稳定甚至在扩张。

意义与主张

本文声称是首个将对数比几何（log-ratio geometry）引入注意力分析测量方法论的工作，也是首个明确分离汇点与内容通道的工作。

测量而非机制： 作者明确指出，他们并不声称 Transformer 在计算过程中使用对数比。相反，他们认为将注意力行作为组合数据进行分析，对于回答关于内容 token 之间相对分配的良定义问题是必要的。
对约定的自觉： 主要贡献在于证明了标准解释性结论（注意力头分类、剪枝评分、熵塌陷）往往是依赖于约定的人工产物。本文提供了分离这些通道的数学工具，使研究人员能够选择合适的估计量（含汇点或仅内容）并予以明确报告。
实际影响： 这种分离具有实际意义：使用错误的通道进行剪枝会导致灾难性的性能下降，而误解熵塌陷则会导致对训练稳定性的错误诊断。

本文得出结论：虽然经典工具包回答了一个依赖于约定的问题，但 Aitchison 工具包回答了一个良定义的问题，即精确地分离了“汇点问题”与“内容问题”。