💬 NLP

Characterizing the Expressivity of Local Attention in Transformers

本文通过证明在正则语言上，通过引入第二个时间算子严格扩展了模型的表达能力，为 Transformer 中局部注意力的质量提升提供了正式的理论解释，这一发现得到了实验的佐证，即混合全局 - 局部架构优于仅全局模型。

原作者： Jiaoda Li, Ryan Cotterell

发布于 2026-05-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Jiaoda Li, Ryan Cotterell

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个 Transformer 模型（现代 AI 聊天机器人背后的“大脑”）是一位超级智能的读者，试图逐字理解一个故事。为了理解当前的词，这位读者需要回顾它之前的词。

本文研究了这位读者为了做到最好，应该回顾多远。

回顾的两种方式

作者比较了读者收集信息的两种主要策略：

全局注意力（“图书馆借书卡”）：
这是标准方法。读者可以查看故事中迄今为止写下的每一个词，从第一个词一直到当前词的前一个词。
- 弊端： 随着故事变长，读者必须翻阅越来越多的页面。这变得缓慢且昂贵（二次方成本）。
- 擅长之处： 它非常擅长记住故事的开头以理解结尾。这就像拥有整本书的完美记忆。
局部注意力（“便利贴”）：
这是一种捷径。读者只被允许查看当前词之前的一小段固定窗口的词（例如，最后 5 个词）。
- 弊端： 它会忘记那个小窗口之前发生的一切。
- 令人惊讶的是： 尽管这似乎是一种更“愚蠢”的阅读方式（忽略大部分文本），但研究人员发现，使用这种方法模型往往比那些查看所有内容的模型表现更好且更快。本文提出了一个问题：为什么忽略大部分文本实际上会有所帮助？

读者的“逻辑”

为了回答这个问题，作者将 AI 不仅仅视为一台数学机器，而是视为一个逻辑谜题求解器。他们使用一种称为线性时序逻辑的系统（一种描述时间和顺序规则的方法）来精确描绘每种读者可以解决哪些类型的模式。

他们发现，这两种注意力方法就像两种不同的专用工具：

全局读者（过去算子）：
这位读者是擅长识别依赖于句子开头的模式。
- 类比： 它可以轻松回答：“这句话是否以单词'The'开头？”或者“我们是否在很远的开头看到了单词'cat'？”
- 局限性： 它难以处理严格依赖于句子结尾的模式（例如“这句话是否以句号结尾？”）。
局部读者（昨天算子）：
这位读者是擅长识别依赖于直接过去的模式。
- 类比： 它可以轻松回答：“这句话是否以单词'the'结尾？”或者“单词'dog'是否紧接在这个词之前出现？”
- 局限性： 它无法记住句子的开头。如果规则依赖于第一个词，这位读者就会失败。

重大发现：它们是最佳搭档，而非对手

本文证明，这两位读者是互补的。其中一个并非另一个的“较弱”版本；它们擅长不同的事情。

如果你只使用全局读者，你会错过直接过去的细微细节。
如果你只使用局部读者，你会错过从开头开始的全局图景。

魔法解决方案：混合团队
作者表明，如果你将它们结合起来——赋予模型一些“眼睛”去查看整个故事（全局），同时赋予一些“眼睛”去 intensely 关注最后几个词（局部）——你就能得到最强大的读者。

“窗口为 1"的惊喜：
最惊人的发现是关于局部窗口的大小。你可能会认为查看最后 10 个词比只查看最后 1 个词更好。
- 本文的主张： 不。最强大的局部注意力实际上是只查看紧挨着的最后一个词（窗口大小为 1）。
- 为什么？ 只查看直接的前驱词，能为模型提供最精确的“昨天”信息。将窗口扩大到 2、4 或 10 个词实际上会稀释这种能力，使模型在识别某些模式时表现更差。

现实世界的证明

作者不仅做了数学推导；他们还进行了实验：

形式语言测试： 他们给模型出谜题（例如“找出所有以'ab'结尾的字符串”）。
- 仅使用全局的模型在“以……结尾”的谜题上失败了。
- 仅使用局部的模型在“以……开头”的谜题上失败了。
- 混合模型（全局 + 大小为 1 的局部） 完美地解决了所有问题，即使是在比训练时长得多的字符串上也是如此。
真实文本（WikiText-2）： 他们在实际的英语文本上测试了这一点。
- 带有“窗口为 1"的混合模型始终写出了更好、更连贯的文本（更低的“困惑度”），优于那些只查看所有内容或只查看大窗口的模型。

结论

本文解决了一个谜团：局部注意力不仅仅是一个节省计算机资源的廉价技巧；它实际上为 AI 的“大脑”增添了一种新的“超能力”。

通过结合“长程记忆”（全局）与“高度专注的短期记忆”（局部，特别是只查看最后一个词），模型变得比单独使用任何一种方法都要严格更聪明。这就像拥有一位知晓世界完整时间线的历史学家，同时也拥有一位痴迷于你脚下脚印的侦探。在一起，他们可以解决任何案件。

以下是 Jiaoda Li 和 Ryan Cotterell 所著论文《Characterizing the Expressivity of Local Attention in Transformers》（表征 Transformer 中局部注意力的表达能力）的详细技术总结。

1. 问题陈述

Transformer 架构依赖于全局注意力机制，该机制聚合所有先前 token 的信息，导致二次方计算复杂度（ $O(N^2)$ ）。为了缓解这一问题，局部注意力将聚合限制在固定大小的前驱窗口内，将复杂度降低为线性（ $O(N)$ ）。

虽然局部注意力主要出于效率考虑，但实证研究表明，即使在计算预算保持不变的情况下，它通常也能提高模型质量（例如在机器翻译和语言建模中）。这提出了一个理论谜题：为什么限制感受野（一种看似“更弱”的机制）有时会带来更好的性能？

作者旨在通过从形式语言可识别性的角度，正式表征不同注意力模式（全局、局部和混合）的表达能力，从而解决这一谜题。

2. 方法论

本文采用形式语言理论方法，将 Transformer 架构与**线性时序逻辑（LTL）**及代数自动机理论联系起来。

理论框架：
- 作者将固定精度 Transformer 分析为语言识别器。
- 他们将注意力机制映射到 LTL 的子集：
  - 全局注意力： 对应 LTL[P]（过去算子），允许回溯任意远的距离，但仅能检查过去事件的存在性。
  - 局部注意力（窗口大小 $k$ ）： 对应 LTL[ $Y_{\le k}$ ]（有界昨天算子），检查条件是否在过去 $k$ 步内成立。
  - 混合注意力： 对应 LTL[P, $Y_{\le k}$ ]，结合了上述两种算子。
- 他们利用代数表征（语法半群、语法幺半群）和自动机理论属性（DFA 配置）来证明这些逻辑片段之间的严格分离。
实验验证：
- 形式语言识别： 作者训练 Transformer 识别特定类别的形式语言（例如以 'a' 结尾的字符串、包含 'ab' 的字符串、有界 Dyck 语言），并测试不同长度下的泛化能力。
- 自然语言建模： 他们在 WikiText-2 数据集上进行了轻量级的下一 token 预测实验，使用 GPT-2-small 风格的架构。
- 变量： 他们比较了三种注意力模式（仅全局、仅局部、混合），跨越不同的窗口大小（ $k \in \{1, 2, 4, \dots\}$ ）和位置编码（Learned, RoPE, SiPE）。

3. 主要贡献

A. 理论表征

全局注意力 = LTL[P]： 重申全局注意力对应于具有单一过去算子的逻辑，能够识别左确定性多项式，但在某些基于后缀的任务中会失败。
局部注意力 = LTL[ $Y_{\le k}$ ]： 证明局部注意力对应有界时序逻辑。关键在于，他们表明 LTL[P] 和 LTL[ $Y_{\le k}$ ] 是不可比的。
- 全局注意力无法识别由特定后缀定义的语言（例如以 'a' 结尾的字符串）。
- 局部注意力无法识别由特定前缀定义的语言（例如以 'a' 开头的字符串）。
混合注意力 = LTL[P, $Y_{\le k}$ ]： 证明结合全局和局部注意力严格扩大了可识别正则语言的类别。混合模型可以识别局部可测试语言（确定语言的超集），这是纯全局或纯局部注意力都无法完全捕捉的。
窗口大小 $k=1$ 的最优性： 从理论上证明，在局部注意力家族中，当不存在位置编码时，窗口大小为 $k=1$ （仅查看直接前驱）比更大的窗口（ $k > 1$ ）具有更强的表达能力。这是因为 $k=1$ 引入了“昨天”算子（ $Y$ ），这是最强大的局部算子。

B. 实证发现

形式语言上的泛化：
- 混合模型（特别是 $k=1$ 的情况）在 LTL[P, Y] 中可定义的所有语言上实现了完美的泛化（100% 准确率），包括那些仅全局或仅局部模型失败的语言。
- 仅全局模型在基于后缀的任务（LTL[Y]）上失败。
- 仅局部模型在基于前缀的任务（LTL[P]）上失败。
- 窗口大小： 在没有位置编码的情况下， $k=1$ 始终优于 $k=2$ 和 $k=4$ 。
自然语言（WikiText-2）：
- 带有 $k=1$ 的混合注意力在所有位置编码方案（Learned, RoPE, SiPE）中始终实现了最低的困惑度。
- 混合模型与仅全局模型之间的性能差距显著（例如，在 learned 嵌入下困惑度降低了约 69 点）。
- 有趣的是，仅局部模型有时优于仅全局模型，这支持了它们是互补的而非一方严格“更好”的理论。
位置编码的作用：
- 如果位置编码充当“模态谓词”（允许模型计数步数）， $k=1$ 与 $k>1$ 局部注意力之间的理论差距可以被填补。
- 然而，在实践中，标准编码（RoPE, SiPE）并未完全弥补缺乏局部注意力的缺陷，混合模型仍然表现更优。

4. 意义

解决“局部注意力悖论”： 本文首次正式解释了为什么局部注意力能提高性能。它不仅仅是一种速度优化；它引入了一种互补的归纳偏置（通过 $Y$ 算子跟踪直接前驱的能力），这是全局注意力所缺乏的。
设计指南： 结果强烈表明，混合架构（混合全局和局部头）在理论和实证上都是优越的。此外，他们主张对局部头使用 窗口大小为 1，因为它通过捕捉直接前驱而不增加大窗口带来的深度开销，从而最大化表达能力。
理论桥梁： 这项工作巩固了神经网络架构设计与形式逻辑之间的联系，提供了一个严格的视角来预测模型在需要特定类型长程或局部依赖的任务上的能力。

总之，作者证明了局部注意力并非全局注意力的退化，而是必要的补充。通过结合全局视角（过去事件的存在）与局部视角（直接历史），混合 Transformer 实现了最丰富的正则语言识别片段，从而在形式任务和自然语言建模中均取得了更优越的性能。