🤖 machine learning

Understanding the Parameter Space Geometry of Transformers Encoding Boolean Functions

本文通过证明此类函数在参数空间中占据极小的区域，解释了为什么 Transformer 无法学习像 PARITY 这样敏感的布尔函数，因为随机初始化几乎必然导致模型计算出包含低敏感性字符串的函数，而敏感函数本质上并不具备这些字符串。

原作者： Blanka Köver, Alexandra Butoi, Anej Svete, Michael Hahn, Ryan Cotterell

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Blanka Köver, Alexandra Butoi, Anej Svete, Michael Hahn, Ryan Cotterell

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，Transformer（许多现代聊天机器人背后的那种 AI）是一个由可调节旋钮和拨盘组成的巨大且复杂的迷宫。这个迷宫就是“参数空间”。当我们训练一个 Transformer 时，我们本质上是在尝试在这个迷宫中寻找一条特定的路径，以解决某个特定的谜题，比如判断一串 0 和 1 中 1 的个数是奇数还是偶数（这种任务被称为 PARITY）。

这篇论文提出了一个简单但深刻的问题：仅仅因为迷宫中存在一条路径，是否意味着我们真的能找到它？

以下是利用日常类比对他们研究结果的解读：

1. “大海捞针”问题

作者发现，对于某些棘手的谜题（如 PARITY 或只关注第一个位的 “FIRST” 函数），Transformer 拨盘的最佳设置隐藏在迷宫中一个极其微小的区域内。

类比： 想象参数空间是一个巨大的足球场。那些“简单”的谜题（如计算 1 是否比 0 多，即 MAJORITY）其解空间就像一整片草坪那么大。但那些“困难”的谜题（如 PARITY）其解空间却只有一颗沙粒大小。
结果： 当我们开始训练 Transformer 时，我们通常会随机选择足球场中的一个点（随机初始化）。随机落在那个单粒沙子上的概率几乎为零。即使数学上说解是存在的，训练过程（就像一个试图向上爬坡的徒步旅行者）也几乎无法找到它，因为目标实在太小了，根本无法撞见。

2. “敏感度”计

为了理解为什么这些解如此难以寻找，作者研究了所谓的敏感度（sensitivity）。它衡量了如果你改变输入中的单个比特，答案会发生多大的变化。

高敏感度（困难的谜题）： 对于 PARITY，翻转任何一个比特都会改变答案。这就像一个灯开关，触摸房间里的任何一根电线都会让灯亮或灭。论文称这些为“敏感型”函数。
低敏感度（简单的谜题）： 对于 MAJORITY，翻转一个比特通常不会改变答案，除非计数正好处于平局。这就像一个投票系统，除非选票非常接近，否则增加一票很少会改变胜负。

3. “低敏感度偏差”

该论文最重大的发现是关于迷宫的几何结构。他们发现，如果你在迷宫中随机选取一个点（一个随机初始化的 Transformer），它所构建的机器几乎肯定会具有一种“低敏感度偏差”。

隐喻： 想象这个迷宫的设计使得大多数随机路径都会导向一台“僵硬”或“懒惰”的机器。这台机器会忽略输入的微小变化，它只在输入发生剧烈变化时才会做出反应。
后果： 由于迷宫是这样构建的，随机选取的机器几乎总会有一些“安全区”（即翻转一个比特也不会改变结果的输入）。
- MAJORITY 有很多这样的安全区（呈指数级数量）。因此，机器可以轻松学习它。
- PARITY 和 FIRST 则零安全区。每一个输入都是敏感的。
- 冲突： 论文证明，对于长输入，一个随机初始化的 Transformer 必须拥有一些安全区。因此，它在数学上不可能学会 PARITY 或 FIRST，因为它无法匹配那些没有安全区的函数。机器的“形状”根本无法契合这些谜题。

4. 训练后会发生什么？

你可能会想：“但如果我们训练得足够辛苦，难道我们找不出那根针吗？”

作者进行了实验并发现，即使经过训练，“低敏感度偏差”往往仍然存在。

对于 MAJORITY： 训练成功找到了那片巨大的解空间。机器学会了这项任务。
对于 PARITY： 训练试图将机器推向那颗微小的沙粒，但由于那颗沙粒实在太小了（一个“测度为零”的集合），训练通常会失败或陷入停滞。机器永远无法完全掌握谜题真正的逻辑。

总结“规则”

论文根据输入字符串的长度 ( $N$ ) 建立了一条清晰的规则：

如果一个函数拥有的“安全”输入非常少（即翻转一个比特不会改变答案的情况，如 PARITY 或 FIRST），随着输入变长，Transformer 将证明无法学会它。解实在太小，无法被寻获。
如果一个函数拥有许多“安全”输入（如 MAJORITY），Transformer 可以学会它，因为其解空间足够大，可以通过随机搜索被发现并通过训练进行优化。

简而言之： 这篇论文解释了 Transformer 不仅仅是“不擅长”某些任务，它们在结构上就对这些任务存在偏见。它们的学习景观就像是一片山脉，其中“敏感型”任务的山峰如此微小，以至于在随机搜索中是不可见的；而“鲁棒型”任务的山峰则宽阔且易于攀登。

技术摘要：理解编码布尔函数的 Transformer 参数空间几何结构

问题陈述
Transformer 在“表达能力”（存在能够计算某种函数的参数设置）与“可学习性”（优化算法找到这些设置的能力）之间存在着已被广泛记录的差距。虽然理论研究已经证实 Transformer 可以表达某些布尔函数，但实证证据表明，它们在学习敏感函数（即翻转单个输入位极有可能改变输出的函数）时表现得非常乏力。PARITY 函数是一个典型的例子。先前的研究将其归因于模型对低“平均敏感度”函数的偏好，但将敏感度与参数空间几何结构联系起来的精确机制仍不明确。具体而言，目前尚不清楚敏感函数之所以不可学习，是因为它们在参数空间中占据了趋于零的体积，从而导致随机初始化或基于梯度的优化算法难以找到它们。

方法论
作者分析了编码二进制字母表上布尔函数的软注意力（soft-attention）Transformer 的参数空间 $\Theta$ 的几何结构。分析根据层归一化（layer-norm）分母中的稳定常数 $\epsilon$ 分为两种情况：

情况 $\epsilon > 0$ ： 作者首先证明，当 $\epsilon$ 远离零时，Transformer 关于其参数是一致 Lipschitz 连续的。这种一致稳定性意味着累积的“放大效应”（输入变化的放大）相对于输入长度 $N$ 是有界的。因此，对于足够大的 $N$ ，翻转单个位的变化对输出的影响会消失（ $O(1/N)$ ）。由此产生的填充论证表明，可识别的布尔函数数量被限制为一个与 $N$ 无关的常数，使得非常数布尔函数在渐近意义上是不可识别的。
情况 $\epsilon = 0$ ： 这是本文的研究重点。在这种情况下，层归一化分母可能趋于零，从而导致无界放大。作者开发了一个测度论框架，用于分析随机初始化的 Transformer 计算具有特定敏感度属性的函数的概率。
- 敏感度剖面（Sensitivity Profile）： 作者没有仅仅依赖于平均敏感度，而是引入了“敏感度剖面”，定义为所有输入字符串敏感度值的分布。
- 放大分析（Blowup Analysis）： 他们证明，对于给定的输入字符串 $x$ ，只要层归一化输入的方差不会变得过小，那么在参数的随机扰动下，放大效应是有界且高概率受控的。
- 测度论论证： 通过使用小立方体覆盖参数空间，并应用关于每个立方体内放大效应的概率界限，他们将该结果扩展到了整个参数空间。他们利用第一 Borel-Cantelli 引理，将这些结果聚合到所有足够大的输入长度 $N$ 上。

核心贡献与结果

测度为零的不可学习性： 核心理论结果（定理 4.5）证明，对于任何足够大的输入长度 $N$ ，一个随机初始化的 Transformer 几乎处处（almost surely）计算出的函数都拥有一种具有大量敏感度为零的字符串的特性（具体而言，至少有 $N^{\frac{D-1}{2L} - 5}$ 个这样的字符串）。
敏感度剖面约束： 因此，任何缺乏敏感度为零的字符串（即每个输入都有非零敏感度的函数）在参数空间中占据的是勒贝格测度为零的子集。
特定函数的不可学习性： 基于上述结论，作者证明了诸如 PARITY、m-SPARSE PARITY 以及 DICTATOR 函数（包括 FIRST 函数）在 $N$ 较大时对于随机初始化的 Transformer 是可证明不可学习的。这些函数的最小敏感度 $\ge 1$ （或对于稀疏变体为 $m$ ），这意味着它们不存在敏感度为零的字符串。
与平均敏感度的区别： 分析表明，平均敏感度不足以预测可学习性。例如，FIRST 函数具有较低的平均敏感度（等于 1），但由于它缺乏敏感度为零的字符串，因此在较大的 $N$ 下是不可学习的。相反，MAJORITY 虽然具有较低的平均敏感度，但拥有指数级的敏感度为零的字符串，这使得它能占据参数空间的正测度区域。
关于 MAJORITY 的猜想： 作者猜想 MAJORITY 是可学习的，因为其丰富的敏感度为零的字符串对应于参数空间的一个正测度子集。
实证验证： 对随机初始化和训练后的 Transformer 进行的实验证实，敏感度谱系严重向零倾斜。即使在针对 PARITY 等任务进行训练后，模型也无法实现正确的敏感度剖面；然而，在针对 MAJORITY 和 FIRST（在中等长度下）进行训练的模型则成功学习了任务，并展现出了预测的敏感度聚类现象。

意义
本文为观察到的 Transformer 对低敏感度函数的归纳偏好提供了理论解释。通过将焦点从平均敏感度转向完整的敏感度剖面，并分析参数空间的测度论性质，作者证明了像 PARITY 这样的函数的不可学习性不仅仅是优化的失败，而是一种基本的几何约束：表示此类函数所需的参数设置占据了一个测度为零的集合。这意味着随机初始化几乎肯定会错过这些设置，而受限于初始化先验的梯度优化也不太可能到达这些区域。这项工作澄清了表达能力与可学习性之间的界限，表明对于足够长的输入，Transformer 从根本上无法识别那些缺乏敏感度为零字符串的语言。