🤖 machine learning

Representational Capacity: Geometric Limits on Feature Representation in Transformer Language Models

本文提出了一种通过分析近正交特征方向的几何极限来估计 Transformer 语言模型表示容量的框架，揭示了容量对正交性约束具有指数级的敏感性，并引入了一个相比传统界限能显著提高预测准确性的修正公式。

原作者： Alexander Guha

发布于 2026-06-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Alexander Guha

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心问题：大脑能容纳多少东西？

想象你拥有一个巨大的、空旷的仓库（这就是 AI 模型的“大脑”或潜空间/latent space）。仓库的大小由其维度（ $d_{model}$ ）决定。

长期以来，人们一直认为：“如果我有一个拥有 4,000 个货架的仓库，我只能存储 4,000 件不同的物品。” 如果一件物品是“猫”，另一件是“狗”，它们必须放在完全不同、互不接触的货架上。

但本文指出，AI 模型要聪明得多。它们使用了一种叫做**叠加（Superposition）*的技巧。它们不是把“猫”放在一个货架上，把“狗”放在另一个货架上，而是将它们排列得使得它们几乎*在不同的货架上，但又略微重叠。这就像在图书馆里把书堆叠得非常紧凑，彼此相互倚靠，但你仍然能分辨出它们。

本文探讨的问题是：我们到底能在仓库里堆叠多少件物品，才不至于让它们发生碰撞并变成一团乱麻？

关键发现：“倾斜”的极限

作者发现，为了让这些“倾斜”的物品发挥作用，它们不能倾斜得太厉害。它们必须保持接近垂直（正交）的状态。如果倾斜得太厉害，AI 就会产生混乱。

他们测量了这个“倾斜”极限，称之为 $\epsilon$ (epsilon)。

低 $\epsilon$ （严格）： 物品几乎完美地直立着。它们可以塞进海量的物品，但必须非常小心不要碰撞。
高 $\epsilon$ （宽松）： 物品到处乱歪。如果不发生碰撞，它们就无法塞入很多物品。

令人惊讶的是： 研究人员观察了数十个 AI 模型，发现它们分为两个截然不同的组别：

“混乱型”组： 这些模型的 $\epsilon$ 较高。它们的“书”倾斜得太厉害，以至于并没有有效地利用叠加技巧。
“有序型”组： 这些模型的 $\epsilon$ 非常低。它们让“书”保持近乎完美的直立状态，从而能在极小的空间内装下数百万个概念。

旧的数学理论错了

此前，科学家使用一个著名的数学规则（Johnson-Lindenstrauss 引理）来预测能容纳多少物品。该规则是基于如果随机将物品扔进一个房间时，这些物品的行为。

本文指出：“对于经过训练的 AI 来说，这种数学理论完全是错误的。”

旧数学： 预测一个拥有 4,000 个货架的仓库只能容纳大约 8 到 300 件不同的物品。
现实情况： 同一个模型却容纳了 32,000 个单词（其词表）以及数百万个其他概念。

旧的数学之所以失败，是因为它假设物品是随机放置的。但 AI 模型是被训练为**优化器（optimizers）**的。它们并不只是随手扔东西进去，而是通过精心排列，尽可能多地塞入物品，就像一位顶尖的俄罗斯方块高手。

新公式：关键在于比例

作者创建了一个新公式来修正数学模型。他们发现，你能塞进多少东西，不仅取决于物品的数量，还取决于物品与仓库规模之间的比例。

可以这样理解：

如果你有一个小房间，你只能让少数人紧挨着站立。
如果你有一个巨大的体育场，你可以容纳庞大的人群，但更重要的是密度（每平方英尺的人数）而非总数。

他们的新公式表明，经过训练的模型可以比旧的随机数学预测的容量高出好几个数量级。

权衡：稳定性 vs 容量

关于更大的模型（即拥有更多“货架”的模型），这里有一个最有趣的发现：

你可能会认为，更大的模型会尝试通过增加倾斜度（提高 $\epsilon$ ）来尽可能多地塞入更多物品。但研究发现事实恰恰相反。

更大的模型实际上站得更直了。

它们选择保持物品的高度分离（低 $\epsilon$ ），即便这从技术上减少了它们可能能存储的物品总量。

原因： 作者认为这是在容量（Capacity）（你能存储多少东西）与稳定性（Stability）（你能多可靠地找到它们）之间的一种权衡。
如果倾斜得太厉害，你可能会存储更多东西，但你会面临当 AI 试图调用这些物品时发生碰撞的风险。更大的模型似乎更看重不发生碰撞，而非单纯追求最大化存储。

简要总结

仓库： AI 模型将概念存储为多维空间中的方向。
技巧： 它们通过使这些概念“近乎正交”（几乎垂直，但略微倾斜）来进行打包。
极限： 在它们变得混乱之前，存在一个严格的倾斜极限。这个极限被称为 $\epsilon$ 。
类别： 有些模型很混乱（高 $\epsilon$ ），但最好的模型非常有序（低 $\epsilon$ ）。
数学修正： 旧的数学说它们只能装下很少的东西。新的数学（基于它们实际的训练方式）显示它们可以容纳数百万个东西。
教训： 随着模型变大，它们并不会试图把仓库塞到极限。相反，它们保持极其有序的排列，以确保不会产生混乱，从而优先考虑稳定性而非纯粹的容量。

技术摘要：Transformer 语言模型中的表示容量

问题陈述

本文探讨了理解基于 Transformer 的语言模型中特征表示几何极限的一个基本空白。虽然模型维度（ $d_{model}$ ）是控制参数量和潜空间大小的主要超参数，但其在决定最大可表示特征数量方面的具体作用仍未得到充分探索。

现有的理论，特别是线性表示假设（特征作为潜空间中的方向存在）和叠加假设（模型通过使用近正交方向来表示比维度更多的概念），表明可表示特征的数量受限于潜空间的几何结构。然而，标准的理论界限，例如约翰逊-林登斯特劳斯（Johnson-Lindenstrauss, JL）引理，依赖于随机投影的假设。本文认为，这些标准界限极大地低估了经过训练的表示的填充效率，无法解释为什么维度在数千级的模型能够支持数万甚至数百万规模的词表和特征集。

研究方法

1. 通过嵌入（Embeddings）估计容许偏差（ $\epsilon$ ）

作者提出使用嵌入矩阵作为衡量整个潜空间近正交约束的可测量代理。

原理： 在初始化时，随机权重将正交的独热（one-hot）标记向量映射到 $R^{d_{model}}$ ，由于高维几何特性，这会产生近正交的嵌入。训练过程保留了这种结构，同时开发出了一个在余弦相似度分布中对应的“右尾”，对应于有意义的词汇和语义关系。
指标定义： 作者将 $\epsilon$ （对完美正交性的容许偏差）定义为偶然相似性与有意义关系之间的边界。他们通过启发式方法将其估计为嵌入矩阵成对余弦相似度分布的 $\mu + 2\sigma$ ，其中 $\mu$ 和 $\sigma$ 分别是均值和标准差。
分类： 该指标被应用于数十个开源模型，根据它们对近正交性的遵循程度进行分类。

2. 推导调整后的容量公式

本文批判了标准的 JL 引理，该引理认为近正交向量 $k$ 的数量缩放为 $k \leq \exp(d \cdot \epsilon^2 / C)$ 。

经验失效： 将标准公式（即使使用了经验强化的常数）应用于像 Llama 2 7B 这样的训练模型时，得到的容量估计（例如约 277 个方向）比实际词表大小（32,000）低了几个数量级。
优化模拟： 为了表征优化后向量的填充效率，作者初始化了随机单位向量，并最小化 Gram 矩阵非对角线元素的高指数惩罚项（模拟梯度下降）。
公式调整： 通过拟合模拟数据，作者推导出了一个修改后的关系式，其中容量取决于向量与维度的比例（ $k/d$ ），而不仅仅是原始计数 $k$ 。新的关系式为：
$\epsilon = \sqrt{\frac{C \cdot \ln(k/d)}{d}} \implies k \leq d \cdot \exp\left(\frac{d \cdot \epsilon^2}{C}\right)$
这一单参数修改将预测误差相对于标准 JL 界限降低了两个数量级。

3. 定义表示容量

通过结合从嵌入中估计的 $\epsilon$ 和调整后的公式，本文将**表示容量（Representational Capacity）**定义为用于嵌入、解嵌入（unembeddings）和特征的可区分近正交方向的数量的定量上限。

关键结果

1. 两类截然不同的模型类别

对数十个模型的分析揭示了基于 $\epsilon$ 的两类分化：

第一类（高 $\epsilon$ ）： $d_{model}$ 较低且相似度分布较宽（ $\epsilon > 0.2$ ）的模型。这些模型在嵌入层面缺乏近正交结构，并且似乎并未以同样的方式利用叠加效应。其中许多模型使用了绑定的嵌入/解嵌入矩阵。
第二类（低 $\epsilon$ ）： $d_{model}$ 较高且分布紧密聚集在零附近（ $\epsilon < 0.1$ ）的模型。这些模型保持了严格的近正交约束，符合主动使用叠加效应的特征。

2. 容量估计与敏感性

量级： 对于第二类模型，表示容量跨度从 $\sim 10^5$ 到 $\sim 10^{10}-10^{11}$ 。例如，Llama 2 7B（ $d_{model}=4096, \epsilon=0.0645$ ）的容量估计约为 4000 万个方向，足以容纳其词表以及通过稀疏自编码器（SAE）提取的数百万个特征。
敏感性： 容量对 $\epsilon$ 具有指数级的敏感性。容许偏差的微小增加（例如从 0.05 增加到 0.09）会导致容量发生六个数量级的跃迁，这使得 $\epsilon$ 比 $d_{model}$ 本身成为更为主导的杠杆。
缩放趋势： 在第二类模型内部，较大的模型倾向于追求更紧密的正交约束（更低的 $\epsilon$ ），而非最大化原始容量。这表明存在一种权衡：较大的模型优先考虑内部稳定性和可靠的特征检索，而非单纯的几何空间。

意义与主张

本文声称提供了第一个用于估计 Transformer 特征表示几何极限的定量框架。其主要贡献包括：

对理论界限的经验修正： 它证明了标准的几何界限（JL 引理）对于训练后的模型是不充分的，并提供了一个经过经验调整的公式，使其与观察到的填充效率相一致。
量化共享资源： 它将“表示容量”定义为一个有限的几何资源，由嵌入、解嵌入和特征共同分享，并受模型对重叠容忍度（ $\epsilon$ ）的控制。
诊断洞察： 该框架揭示了并非所有模型都以同样的方式利用叠加效应；高 $\epsilon$ 模型与低 $\epsilon$ 模型之间的区别表明了它们组织潜空间时的基本结构差异。
设计启示： 作者指出， $d_{model}$ 的选择目前通常是启发式的（2 的幂次），但在理论上可以由容量目标来引导。他们假设存在一个有用的容量“天花板”，超过此界限后，增加几何空间带来的收益会递减，且较大的模型可能会自然地向更紧密的正交性收敛以维持稳定性。

局限性与注意事项

论文明确指出了以下局限性：

假设性的泛化： 认为嵌入几何反映更广泛潜空间（包括中间特征）的假设是一个有动机的假设，而非已证实的定论。
启发式阈值： 用于估计 $\epsilon$ 的 $\mu + 2\sigma$ 阈值是启发式的。由于容量对 $\epsilon^2$ 具有指数级的敏感性，绝对容量值可能并不可靠，尽管模型间的相对比较仍具有信息价值。
几何 vs 计算： 推导出的容量是一个关于几何可能性的界限，而非计算利用率。它并未考虑模型的架构（深度、注意力头）是否能有效地学习或处理最大数量的可用方向。
数据稀缺： 关于较大模型倾向于更紧密正交性的观察是基于 $d_{model} > 6000$ 的有限数据点得出的。