💬 NLP

Probability Distributions Computed by Autoregressive Transformers

本文刻画了自回归 Transformer 语言模型所能表达的概率分布，论证了其自回归与概率特性能够提升表达能力，并打破非概率语言识别器中存在的等价性。

原作者： Andy Yang, Anej Svete, Jiaoda Li, Anthony Widjaja Lin, Jonathan Rawski, Ryan Cotterell, David Chiang

发布于 2026-05-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Andy Yang, Anej Svete, Jiaoda Li, Anthony Widjaja Lin, Jonathan Rawski, Ryan Cotterell, David Chiang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，将 Transformer（像 ChatGPT 这类工具背后的 AI 模型）视为一位非常聪明但略显僵化的机器人图书管理员。多年来，研究人员通过向它提出一个简单的“是或否”问题来研究这位管理员：“这本特定的书是否属于‘科幻小说’区？”如果机器人回答“是”，该书就被接受；如果回答“否”，则被拒绝。这就是论文中所称的“分类器”。

然而，在现实世界中，我们并非仅仅要求图书管理员对书籍进行分类。我们要求它“创作”故事。我们给它提供开头的几个词，它便猜测下一个词，接着再猜下一个，如此往复，从而生成一个概率分布（即对接下来内容的猜测）。这就是论文中所称的“自回归模型”。

这篇论文提出了一个根本性问题：这位机器人更擅长创作故事，还是更擅长分类书籍？或者反过来说，它分类书籍的能力是否足以让我们完全了解其创作故事的能力？

以下是他们研究发现的简要解析，辅以简单的类比：

1. 两种思维方式

作者们意识到，大多数先前的研究将 Transformer 视为一位“法官”（分类器），而我们实际使用的 AI 则像一位“说书人”（自回归模型）。

法官：审视整个句子，然后判定“真”或“假”。
说书人：审视到目前为止的句子，然后说：“下一个词有 90% 的概率是‘猫’，有 10% 的概率是‘狗’。”

2. “布尔”世界（简单情况）

想象一个机器人只处理非黑即白（真/假）的世界。

发现：在这个简单世界里，法官和说书人本质上是同一个人。如果机器人能正确分类一本书，它也能创作出遵循相同规则的故事，反之亦然。
局限：尽管它们能力相当，但说书人有时需要一套更为复杂的内部“操作手册”（逻辑）才能完成与法官相同的工作。这就好比法官能瞬间识别出某种模式，而说书人却必须编写一份冗长复杂的食谱，才能逐字生成同样的模式。

3. “实数加权”世界（复杂情况）

现在，想象机器人处理的是灰色地带（概率，如 0.5、0.9 等）。这才是真实 AI 的运作方式。

发现：在这里，法官和说书人并非同一回事。它们拥有不同的超能力。
- 说书人更灵活：它能够生成某些类型的概率模式，而法官根本无法识别这些模式。
- 法官更僵化：存在一些特定的概率模式，法官能够识别，但说书人却无法生成，因为说书人必须遵循严格的规则，以确保其概率总和始终为 100%。
类比：把法官想象成一名能瞬间识破假身份证的保安。说书人则是一名试图伪造假身份证的伪造者。有时，伪造者能造出保安无法识破的假身份证（因为保安只对照特定的名单进行检查）。但有时，伪造者受限于纸张和墨水的规则，无法制造出某种保安能轻易识破的特定类型的假身份证。

4. “时间旅行”逻辑

该论文使用一种称为“线性时序逻辑”（LTL）的特殊逻辑来描述这些机器人能做什么。这就像是一套关于时间旅行的规则：

“昨天”（Y）：回看前一个词。
“历史上”（H）：回看所有之前的词。
“自从”（S）：从某个特定点开始回看。

作者们发现：

如果机器人能访问“昨天”和“历史上”（即具备回看能力），那么法官和说书人是平等的。
如果机器人受到限制（例如，它只能回看几步，或者仅使用“历史上”），那么说书人就会变得严格优于法官。说书人能够处理那些受限的法官无法处理的模式。

5. “计数”问题

该论文还研究了擅长计数的机器人（例如计算字符串中有多少个'a'）。

先前的研究表明，作为法官，这些机器人只能根据其规模计数到某个限度。
然而，作为说书人，它们实际上能处理稍微复杂一点的计数任务。逐词预测下一个词的行为，赋予了它们比一次性判断整个字符串多出的一点点“脑力”。

总结

主要的结论是：我们不能假设 Transformer 作为“法官”（识别模式）所能做到的，与其作为“说书人”（生成文本）所能做到的完全相同。

在简单的、非黑即白的情境中，它们大体上是相同的。
在复杂的、涉及概率的现实世界情境中，“说书人”拥有“法官”所不具备的独特能力，反之亦然。

这意味着，当科学家测试 AI 能力时，需要格外谨慎。仅仅因为一个机器人在“分类测试”中失败，并不意味着它在“创作故事”时也会失败；同样，一个擅长分类的机器人，可能在遵循生成故事的具体规则时遇到困难。该论文提供了一张地图，帮助我们确切地理解这些差异究竟存在于何处。

技术摘要：自回归 Transformer 计算的概率分布

问题陈述

关于 Transformer 表达能力的现有理论工作主要将 Transformer 视为语言识别器（分类器），即输入为完整字符串，输出为二元分类（接受/拒绝）。然而，Transformer 的主要实际应用是作为语言模型（自回归器），通过给定前缀预测下一个符号的概率分布，从而逐 token 生成字符串。

本文解决了一个根本性的差距：目前尚不清楚关于 Transformer 在识别设定下表达能力的理论结果，有多少能延续到语言建模设定中。具体而言，作者研究了为布尔分类器建立的 Transformer 等价类（例如，与线性时序逻辑或无计数器自动机的等价性），在 Transformer 被用作实值或布尔自回归器时是否依然成立。

方法论

作者构建了一个形式化框架，用于在两个权重域中比较作为分类器与作为自回归器的 Transformer：

布尔半环 ( $\mathbb{B}$ )：权重为 $\{0, 1\}$ （假/真）。
实数半环 ( $\mathbb{R}_{\geq 0}$ )：权重为非负实数（概率）。

他们定义了一个状态编码器为一个函数，将字符串前缀映射到状态序列，其中位置 $i$ 的状态仅依赖于前缀 $w_{\leq i}$ 。利用这一抽象，他们分析了四种具体配置：

布尔分类器：将完整字符串映射到布尔值。
布尔自回归器：将前缀映射到下一个 token 的分布（布尔权重）。
实值分类器：将完整字符串映射到实数值。
实值自回归器：将前缀映射到下一个 token 的概率分布。

本研究聚焦于具有固定精度的唯一硬注意力 Transformer (UHATs) 和 Softmax 注意力 Transformer (SMATs)。这些模型与以下对象进行了比较：

线性时序逻辑 (LTL) 及其片段（例如 $TL[P] $，$ TL[H]$）。
无计数器确定性有限自动机 (cfDFAs) 和 无计数器非确定性有限自动机 (cfNFAs)。

核心方法论涉及在这些形式化系统之间构建归约，以确定它们在分类器和自回归模式下是否能相互模拟。

主要贡献与结果

1. 布尔分类器与自回归器的等价性

完整 LTL：在布尔半环中，LTL 分类器和 LTL 自回归器是等价的。只要逻辑包含“昨天”( $Y$ ) 和“历史上”( $H$ ) 算子，作为布尔自回归器的 Transformer 就能定义与作为分类器的 Transformer 相同的语言。
转换复杂度：尽管等价，但将自回归器转换为分类器（特别是移除 $Y$ 算子）可能需要公式规模呈指数级膨胀。本文证明，除非 $P = PSPACE $或$ P = NP$，否则为某些片段构建多项式时间的等价转换是不太可能的。

2. 受限片段中的分歧（布尔情形）

当限制时序算子的集合（例如，限制为不含 $Y$ 的 $TL[H] $或$ TL[P]$）时，自回归器变得比分类器具有更严格的表达能力。

示例：语言 $(ab)^*$ 可由布尔 $TL[\emptyset]$ 自回归器定义，但无法由任何 $TL[H] $或$ TL[Y]$ 分类器定义。
推论：具有特定注意力机制的 Transformer（如左向 UHATs 或固定精度 SMATs，它们对应于这些片段）作为自回归器可以识别的语言，作为分类器则无法识别。

3. 实值设定中的分歧

在实数半环中，表达能力格局发生了显著变化：

分类器与自回归器：它们是不可比的。
- 存在可由实值自回归器表达但无法由实值分类器表达的加权语言（例如 $(\frac{1}{2}a)^*$ ，这需要无限多个不同的权重）。
- 存在可由实值分类器表达但无法由实值自回归器表达的加权语言（例如 $(1a)^*$ ，这不是一个归一化的概率分布）。
UHATs 与 cfDFAs：在实值设定中，作为自回归器的 UHATs（及 LTL）等价于无计数器 DFA。然而，它们比加权无计数器 NFA 严格表达能力更弱。
- 本文展示了一个无法确定化（无法转换为等价的加权 DFA）的无计数器加权 NFA，表明在实值加权设定中，非确定性增加了 Transformer（建模为确定性状态编码器）无法捕捉的表达能力。

4. 计数算子的影响

本文重新审视了关于具有计数能力的 Transformer（例如注意力内部具有任意精度的 SMATs，等价于 $TL[\#]$ ）的结果。

先前的工作表明，这些 Transformer 作为分类器可以识别特定语言。
本文表明，作为自回归器，这些模型略微更强大，能够识别它们作为分类器无法识别的语言（例如 $L_{k+2}$ ，而分类器仅限于 $L_k$ ）。这解释了先前文献中理论识别界限与实证符号预测性能之间的差异。

意义与主张

本文声称提供了一种原则性的方法来解释现有的关于 Transformer 表达能力的实验。

验证：在许多情况下（特别是完整布尔 LTL），语言识别文献中的结果确实可以迁移到语言模型。例如，由于 UHATs 作为分类器无法识别奇偶校验 (PARITY)，它们作为自回归器也无法做到这一点。
注意事项：作者强调，不能盲目地假设识别结果适用于生成。
- 实值权重：从布尔权重到实值权重的转变打破了布尔情形中发现的等价性（例如 DFA 与 NFA 之间的等价性）。
- 自回归与分类：自回归可以在受限逻辑片段（布尔情形）中严格增加表达能力，并改变可表达的加权语言类别（实值情形）。
未来方向：作者建议未来的工作应将这些结果扩展到对数精度 Softmax 注意力、位置编码以及实值设定中的“思维链”推理，并指出目前证明自回归器不可表达性的技术是有限的。

总之，本文确立了虽然作为语言模型的 Transformer 与作为识别器的 Transformer 共享大部分理论基础，但转向自回归和实值概率会在计算表达能力上引入微妙但关键的差异，特别是关于非确定性的力量以及可用的特定时序算子。