🤖 AI

Average Attention Transformers and Arithmetic Circuits

本文证明，配备算术电路和平均硬注意力机制的 Transformer 编码器具有计算能力，可模拟在实数环、有理数环及中间环上具有无界加法、二元乘法和符号门的常数深度算术电路。

原作者： Lena Ehrmuth, Laura Strieker

发布于 2026-05-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Lena Ehrmuth, Laura Strieker

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有两台不同类型的超级计算机，试图解决同一个谜题。

计算机 A 是一台Transformer。你可能知道它们是现代 AI 聊天机器人背后的“大脑”。它们以能够一次性审视整个句子而闻名，能够找出哪些词彼此最为重要（这个过程称为“注意力”），然后将这些信息混合在一起，生成新的句子。

计算机 B 是一台算术电路。你可以把它想象成一条由数学机器组成的巨大、僵硬的工厂装配线。它有用于输入数字的插槽，内部有齿轮，这些齿轮只能执行特定的操作：将数字相加、相乘，或者检查一个数字是正数还是负数。

这篇论文提出了一个简单的问题：如果我们给这两台计算机分配相同的工作，它们的能力是否相当？

重大发现

作者发现，如果你对 Transformer 稍作调整，它就能与特定类型的算术电路完美匹配。

以下是他们用来使两者匹配的“秘诀”：

“平均”技巧：Transformer 不再只挑选一个最重要的词（就像一位严格的老师只挑选第一名学生），而是让它挑选所有同等重要的词，并取它们的平均值。
“数学”替换：通常，Transformer 内部有一个“大脑”（称为前馈网络），负责进行复杂且杂乱的计算。作者将这个杂乱的“大脑”替换为一个干净、简单的算术电路。

类比：工厂与厨师

想象你正在试图制造一台复杂的机器。

算术电路就像一家工厂。你投入原材料（数字）。这些材料沿着传送带移动。在每一个站点，机器要么将两个东西相加，要么将它们相乘，要么检查它们是否为零。工厂非常快速且精确，但它的深度是固定的；它无法在单次通过中执行无限多的步骤。
标准 Transformer 就像一位厨师，他品尝汤，决定哪种食材是“最好”的，然后加入一点点那种食材。这对于调味来说很棒，但很难用厨师来建造工厂。
“平均注意力”Transformer（即本文中的那一种）就像一位既是厨师又是工厂经理的人。
- 厨师不再只挑选一种食材，而是查看所有并列“最佳”的食材，将它们混合在一起（取平均值），然后使用工厂机器（算术电路）来处理这种混合物。

论文证明，这位“厨师 - 经理”能够完全做到“工厂”（算术电路）所能做的一切，反之亦然。

它们能做什么？

作者表明，这种特定类型的 Transformer 可以模拟以下电路：

瞬间将巨大的数字列表相加。
将数字相乘。
检查一个数字是正数、负数还是零。

他们将这种能力类别称为FSAC0。你可以把它想象成一个“超快数学俱乐部”，无论数字列表有多大，它都能在固定的短时间内完成这些特定任务。

限制条件（“游戏规则”）

要实现这种魔力，需要遵循几条规则：

数字：如果你使用的是“完美”数字（如分数或实数），而不是计算机通常使用的四舍五入数字，数学效果最好。
编码：为了证明 Transformer 能够执行电路的任务，作者必须先将电路的指令写成一份长长的数字列表。这就像在厨师烹饪之前，先将蓝图翻译成购物清单。
没有“软”注意力：如果 Transformer 试图表现得“柔和”（即给许多事物赋予较小的权重，而不仅仅是平均顶部的那些），它就会失去这种特定的超能力。它必须“强硬”且果断地决定要平均哪些数字。

核心结论

这篇论文并没有说这将使你的手机更快或治愈疾病。相反，它是一个理论突破。它在两种截然不同的数学和 AI 思维方式之间画出了一条直线。

它告诉我们：“如果你构建了一台使用‘平均注意力’并将其大脑替换为简单数学电路的 Transformer，你就制造出了一台在数学上等同于特定类型算术工厂的机器。”

这有助于科学家通过将 AI 模型与人们熟知的数学工厂规则进行比较，来理解 AI 模型的真实极限和能力。

技术摘要：平均注意力 Transformer 与算术电路

问题陈述
现有对 Transformer 表达能力的理论分析主要集中于有限字母表上的判定问题，将 Transformer 与布尔电路类（如 $AC^0$ 、 $TC^0$ ）或逻辑形式体系进行比较。这些结果仅限于语言识别。本文旨在填补理解 Transformer 作为作用于实数或有理数向量的序列到序列函数的计算能力方面的空白。作者通过将 Transformer 编码器与算术电路直接进行比较，以刻画其表达能力；算术电路利用加法、乘法和符号函数等操作在半环上计算函数。

方法论
作者将一种广义 Transformer 模型（基于 Hao 等人，2022 年）适配为在任意半环上运行。关键的方法论选择包括：

模型定义：他们定义了“平均注意力电路 Transformer"，其中标准的前馈网络被算术电路取代，且注意力机制采用“平均硬注意力”（即关注所有具有最大注意力分数的向量）。
电路族：他们分析了三类具有常数深度和多项式规模的算术电路族：
- $FNC^0_R$ ：有界扇入。
- $FSAC^0_R$ ：半无界扇入（无界加法，二元乘法）。
- $FAC^0_R$ ：无界扇入（无界加法和乘法）。
  这些类通过添加 sign 函数进行了扩展，以处理不连续操作。
模拟构建：
- 电路到 Transformer：为了模拟电路，作者将电路的图结构（门和边）编码为向量序列。每个向量代表一条边或一个门，包含前驱/后继的索引、门类型和数值。
- 注意力机制：他们设计了特定的注意力函数（ $f^{att}_E$ 和 $f^{att}_V$ ），使向量能够基于索引匹配关注其前驱。
- 池化与激活：他们利用平均硬注意力池化来聚合来自前驱的值。关键在于，他们构建了激活函数，能够根据向量中编码的门类型选择适当的操作（加法、乘法或恒等运算）。
- 处理缩放：由于平均注意力会将结果缩放 $1/k$ （其中 $k$ 是被关注的向量数量），该构建包含计数前驱并重新缩放输出以恢复正确算术值的机制。

主要结果
本文确立了这些特定 Transformer 的计算能力与算术电路类之间的精确对应关系：

上界：对于任意半环 $R$ ，平均注意力电路 Transformer 计算的函数包含在类 $FSAC^0_R[\text{sign}]$ 中。即使对于具有典型平均注意力的标准 Transformer，只要其激活函数被限制在相同的电路类中，该结论也成立。
下界（模拟）：如果底层半环 $R$ $R$ 是有理数（ $\mathbb{Q}$ $Q$ ）的 $\mathbb{Z}$ $Z$ -有序环扩张，那么对于 $FSAC^0_R[\text{sign}]$ $F S A C_{R}^{0} [sign]$ 中深度为 $K$ $K$ 的任意电路族，都存在一个具有 $2K$ $2 K$ 层的 Transformer 可以模拟整个族。
- 该模拟适用于使用平均注意力的无界扇入电路。
- 对于半无界扇入电路，该构建可调整为使用标准点积注意力。
- 对于有界扇入电路，该构建可进一步限制为使用最左或最右硬注意力。
特定定理：
- 定理 4.5：一个维度为 7 且具有 $2K$ 层的 Transformer 可以模拟任意深度 $\le K$ 的无界扇入 $R$ -电路（其中 $R$ 是 $\mathbb{Q}$ 的 $\mathbb{Z}$ -有序扩张）。
- 定理 4.11：一个维度为 9 且具有 $2K$ 层的 Transformer 可以模拟任意 $FSAC^0_R[\text{sign}]$ -电路。

意义与主张
作者声称，他们的结果通过架起机器学习理论与代数计算领域之间的桥梁，为 Transformer 表达能力提供了新的视角。

理论等价性：他们证明了平均注意力 Transformer 在计算上等价于具有无界加法、二元乘法和符号门的常数深度算术电路类（ $FSAC^0_R[\text{sign}]$ ）。
局限性：本文明确指出，这种等价性依赖于 Transformer 使用算术电路（或等效函数）作为激活函数。具有前馈网络的标准 Transformer 无法模拟这些电路，因为前馈网络本质上无法执行模拟所需的两个任意输入的乘法。
非一致性：作者澄清道，虽然 Transformer 可以模拟特定的电路族，但这并不意味着 $FSAC^0_R[\text{sign}]$ 中的每个函数都由单个 Transformer 计算，因为电路族是一种非一致的计算模型。
未来潜力：本文表明，代数计算领域的理论进展可能有益于机器学习理论，反之亦然，且理论结果可能激发实际发展，尽管未提出具体应用。

该工作作为预印本（2026 年 5 月）由汉诺威莱布尼茨大学理论计算机科学研究所发布。