🤖 machine learning

Fixed Universal Transformers

本文介绍了“通用 Transformer”（universal transformers），这是一类固定参数的模型，能够通过特定的编码目标模型描述的输入嵌入来模拟给定类中的任何 Transformer，证明了这种通用性既是可构建的也是通用的，并表明 Transformer 的表达能力主要取决于其输入表示而非其学习到的权重。

原作者： Jingwen Liu, Alexandr Andoni, Daniel Hsu

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jingwen Liu, Alexandr Andoni, Daniel Hsu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你拥有一座巨大且极其复杂的机器工厂。工厂内部有成千上万台不同的机器，每台机器都设计用于执行非常特定的任务：一台负责分拣袜子，另一台负责烤面包，还有一台负责修车。通常情况下，要让一台机器执行一项新工作，你必须重新布线、更换齿轮并重新编写它的程序大脑。这是一个缓慢且昂贵的过程。

这篇论文介绍了一个新概念，叫做**“通用 Transformer”（Universal Transformer）**。你可以把它想象成一台单一的、超灵活的机器，它只需通过插上一个不同的 USB 驱动器（即“输入嵌入”，input embedding），就能变成上述任何一台特定的机器。

以下是其工作原理的拆解，使用了简单的类比：

1. 核心思想：“通用机器”

在计算机世界中，我们有“通用图灵机”的概念——即一台可以运行任何其他计算机程序的单一计算机，只要你给它正确的代码。

作者提出了一个通用 Transformer。

机器： 这是一个固定的 AI 模型。它的内部“布线”（权重和参数）是固定不变的。它永远不会改变。它就像一个拥有永久大脑的机器人。
USB 驱动器（嵌入）： 这是唯一会发生变化的东西。作者展示了你可以将另一个 AI 模型的整个描述编码进这段输入数据中。
结果： 当你向这个通用 Transformer 输入一个特定的“USB 驱动器”时，它会立即表现得就像那台目标机器一样。如果你更换了 USB 驱动器，它就会瞬间变成另一台机器。

类比： 想象一个万能遥控器。遥控器本身（硬件）永远不会改变。但通过按下不同的按钮（输入嵌入），你可以让它表现得像电视遥控器、车库门控制器或无人机控制器。论文证明了 Transformer 可以通过这种方式实现对“其他 Transformer”的模拟。

2. 他们是如何构建它的？

论文展示了构建这种通用 Transformer 的两种方法：

“蓝图”法（稀疏构建）： 作者设计了一个非常特定的、具有结构的机器。这就像建造一个拥有庞大且有序的空槽位图书馆的机器人。当你给它一个新的“USB 驱动器”时，机器人知道该如何填充这些特定的槽位以模仿新任务。这种方法很精确，并且使用了大量的空间（它是“稀疏”的），但它保证了任务的完成。
“彩票中奖”法（随机初始化）： 这是令人惊讶的部分。作者发现，如果你只是构建一个 Transformer，并让其内部权重完全随机（就像用掷骰子的方式来设定齿轮），它几乎注定会成为一个通用 Transformer。你不需要仔细设计布线。只要你的“USB 驱动器”（嵌入）足够大，这个随机机器就可以仅仅通过调整输入来学习模仿任何其他机器。

3. “为什么”以及“规模有多大”

论文提出了一个问题：这个 USB 驱动器需要多大？

规模规则： 你想要模仿的机器越复杂（层数越多、注意力头越多），USB 驱动器就需要越大。作者计算出了所需的精确大小。这就像是在说：“如果要复制一台简单的计算器，你需要一个小型的 USB 闪存盘；如果要复制一台超级计算机，你需要一个巨大的硬盘。”
极限： 他们还证明了，如果你试图把 USB 驱动器做得太小，复制复杂机器在数学上是不可能的。信息量被压缩进微小输入的程度存在一个硬性限制。

4. 它奏效了吗？（实验）

作者不仅做了数学推导，还进行了测试。他们尝试让这个通用 Transformer 解决两个棘手的逻辑谜题：

括号平衡问题： 检查一串括号（如 ((()))）是否平衡。
多跳推理（Multi-hop Reasoning）： 一个模型必须根据一系列线索进行推理的游戏（例如：“如果 A 是 B，且 B 是 C，那么 A 是什么？”）。

结果：

他们采用了这个固定不变的通用 Transformer。
他们只训练了“USB 驱动器”（输入嵌入）。
成功： 机器学会了完美地解决这些谜题！
加分项： 即使他们使用的是“随机机器”（即内部齿轮仅为随机噪声），只要添加了一些标准的稳定器（如残差连接和层归一化），它仍然能表现得几乎与经过充分训练的机器一样出色。

5. 核心启示

这篇论文最重要的信息是对 AI 工作方式的一种视角转变。

通常，我们认为一个 AI 的“智能”来自于它学到的权重（内部大脑）。这篇论文表明，Transformer 的强大力量在很大程度上实际上取决于你如何向它喂入信息。

如果你拥有一个通用 Transformer，你不需要为每一项新任务都重新训练整个大脑。你只需要找到正确的“钥匙”（输入嵌入），来解锁你所需的特定行为。这表明，“大脑”可能更像是一个灵活的模板，而“知识”本质上只是关于你如何呈现数据的问题。

简而言之： 你不需要为每一份工作准备一个新大脑。你只需要一个合适的说明书（嵌入），将其插入到一台通用机器中即可。

技术摘要：固定通用 Transformer (Fixed Universal Transformers)

问题陈述

本文探讨了一个问题：是否可以在对输入嵌入进行适当修改的前提下，使用一个单一的、参数固定的 Transformer 架构来模拟给定类中的任何其他 Transformer。这一概念借鉴了计算理论中的通用图灵机 (Universal Turing Machine) 和 通用电路 (Universal Circuits) 的类比。不同于通用近似 (universal approximation)（即通过调整模型参数来逼近任意函数）或 图灵完备性 (Turing-completeness)（即一个网络族可以通过特定的参数来模拟任何图灵机），本研究在更严格的意义上研究了通用性 (universality)：在这种“通用” Transformer 中，内部权重（注意力矩阵和数值矩阵）是固定的（要么是显式构造的，要么是随机初始化的），而对目标 Transformer 的模拟是通过改变输入嵌入矩阵 $E$ 来实现的。

作者的动机源于最近的实证研究发现（Zhong 和 Andreas, 2024），这些研究表明，语言模型的许多能力存在于随机初始化的 Transformer 中，仅需训练嵌入层和解嵌入层即可。本文旨在从理论上形式化这一现象，并确定这种通用性成立的条件。

研究方法

1. 形式化定义

作者将通用 Transformer (UT) 定义为一个具有 $H$ 个头、 $L$ 层以及嵌入维度 $m$ 的 Transformer。它由固定矩阵 $\{R^l_{Q}, R^l_{K}, R^l_{V}\}$ 和解嵌入矩阵 $U$ 参数化。给定一个具有参数 $\{W^l_{Q}, W^l_{K}, W^l_{V}, W^l_{O}\}$ 和嵌入维度 $d$ 的目标 Transformer $T$ ，若存在一个嵌入矩阵 $E \in \mathbb{R}^{d \times m}$ 使得对于所有输入序列 $X$ 都有：
$\text{UT}(X, E) = T(X)$
则称 UT 模拟了 $T$ 。在此过程中，嵌入 $E$ 充当了编码目标参数的“程序”。

2. 理论构建

论文提供了关于此类通用 Transformer 存在的两个主要理论结果：

显式稀疏构建 (Explicit Sparse Construction)： 作者构造了一个具有 $\{0, 1\}$ 取值的固定 UT。研究表明，当 $m = O(Ld) $（单头情况，$ H=1 $）以及$ m = O(HLd) $（多头情况，$ H \ge 2 $）时，嵌入维度$ m$ 是足够的。该构造将目标 Transformer 的权重编码进嵌入 $E$ 中，并利用固定的 UT 参数通过注意力路径的树状结构来路由和读取这些权重。该构造也扩展到了循环（权重共享） Transformer，其中参数在各层之间共享。
随机通用性 (Random Universality)： 作者证明了通用性是一个泛性质 (generic property)。如果 Transformer 的参数是从绝对连续分布（例如 i.i.d. 高斯分布）中抽取的，那么只要嵌入维度满足相同的界限（$m = O(HLd)$），则所得的 Transformer 以概率 1 是通用的。该证明依赖于展示实现模拟所需的代数条件仅在测度为零的集合上（即某些矩阵变为秩亏损时）才会失效。

3. 下界 (Lower Bounds)

论文为“注意力匹配 (attention-matching)”方法确立了一个关于嵌入维度 $m$ 的下界，在这种方法中，通用 Transformer 必须重现目标 Transformer 的精确注意力矩阵。定理 4.1 表明，对于 $H \ge 2$ ，即使在输入维度为 1 的最简单情形下， $m$ 也必须随深度 $L$ 指数级增长（具体为 $m \ge HL/2$ ）。这凸显了表示由多头注意力诱导的指数级数量的计算路径的复杂性。

4. 实证评估

作者在两个算法任务上验证了其理论：

括号平衡 (Dyck-1)： 判断括号序列是否平衡。
$k$ -hop 感应头 (Induction Heads)： 感应头机制的推广，需要递归地检索 Token。

他们对比了三种模型：

稀疏通用 Transformer (Sparse Universal Transformer)： 使用定理 3.1 中的显式构造。
随机通用 Transformer (Random Universal Transformer)： 使用随机初始化的固定参数。
全训练 Transformer (Fully-trained Transformer)： 标准的端到端训练 Transformer。

在所有实验中，仅训练嵌入矩阵 $E$ 和解嵌入矩阵 $U$ ；所有的内部注意力及数值参数保持固定。

核心结果

理论发现

存在性： 通用 Transformer 既可以通过显式的稀疏参数存在，也可以通过随机初始化的参数存在。
维度： 所需的嵌入维度与层数和头数呈线性比例关系 ($O(HLd)$)。
普适性： 随机初始化的 Transformer 几乎处处是通用的，这表明 Transformer 的“表达能力”本质上在于其结构，而非其特定的学习权重。
下界： 对于注意力匹配策略，嵌入维度必须随深度指数级增长，这表明在不匹配注意力模式的情况下，将所有可能的 Transformer 空间压缩到低维嵌入中存在根本限制。

实验发现

括号平衡： 在仅考虑注意力的设置下，稀疏通用 Transformer 达到了 100% 准确率（稀疏型）和 94.4%（随机型），与全训练模型持平。
感应头 (Induction Heads)： 在仅考虑注意力的设置下，性能并不理想（例如， $k$ $k$ -hop 任务中约为 30-40%，而全训练模型约为 99%）。然而，添加标准组件显著提升了性能：
- 添加残差连接 (residual connections) 和层归一化 (layer normalization) 使稀疏通用 Transformer 在所有感应任务上达到了 100% 准确率，并使随机通用 Transformer 达到了 85.7%–96.1%。
- 添加 MLP 层（冻结且随机初始化）进一步提升了随机通用 Transformer 的表现。
优化： 结果表明，标准的基于梯度的优化可以成功学习通用 Transformer 所需的嵌入，以解决复杂的算法任务，前提是架构包含残差连接和层归一化等稳定组件。

意义与主张

本文声称，Transformer 的大部分表达能力存在于其输入表示（嵌入）中，而非其学习到的内部权重。通过形式化“通用 Transformer”的概念，作者为以下方面提供了理论基础：

模型重编程 (Model Reprogramming)： 通过仅修改嵌入层，将预训练（或固定）的模型适配到新任务的能力。
随机初始化 (Random Initialization)： 解释了为什么随机初始化的 Transformer 通常表现出令人惊讶的能力，因为它们本质上能够通过合适的嵌入来模拟特定任务的 Transformer。
效率 (Efficiency)： 表明对于某些类别的任务，人们可能不需要学习完整的 Transformer 参数，而是学习一个紧凑的嵌入，从而“编程”一个固定的、通用的骨干网络。

作者保持了谦逊的态度，指出其理论下界特别适用于“注意力匹配”策略，并且将这些结果扩展到更现实的包含 MLP 和归一化层的架构（虽然在实证上是有前景的）仍是一个开放的理论方向。他们还澄清，其工作并未改变 Transformer 架构本身，而是重新诠释了输入嵌入的角色。