🤖 machine learning

Causal Dimensionality of Transformer Representations: Measurement, Scaling, and Layer Structure

本文引入“因果维度”（kappa）作为一种模型内在指标，用于量化 Transformer 层因果影响的有效秩，揭示出尽管表示能力随稀疏自编码器宽度的增加而线性增长，但因果能力却在一个与模型规模无关且在不同网络深度呈现不同结构模式的次线性水平上趋于饱和。

原作者： Nilesh Sarkar, Dawar Jyoti Deka

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Nilesh Sarkar, Dawar Jyoti Deka

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个庞大而复杂的工厂（即 AI 模型），它接收原材料（文本）并产出成品（答案）。在这个工厂内部，成千上万名工人（神经元）彼此传递便条。长期以来，研究人员一直试图通过给每位工人贴上姓名牌来理解这座工厂，希望能看清谁在做什么。

本文提出了一种新方法，用于计算究竟有多少工人对工厂的产出是真正必要的，从而揭示了一个令人惊讶的差距：实际“存在”的工人与真正“重要”的工人数量之间存在巨大差异。

以下是他们研究发现的分解，辅以简单的类比：

1. “姓名牌”问题（SAE）

研究人员使用一种名为**稀疏自编码器（Sparse Autoencoder, SAE）**的工具。你可以将其想象成一本巨大的词典，试图为 AI 拥有的每一个独特的“思想”或“特征”赋予一个唯一的姓名牌。

旧假设： 如果你让词典变得更大（增加更多姓名牌），你就会认为发现了更多真正能改变 AI 答案的重要事物。
现实： 作者通过将词典扩大 64 倍进行了测试。他们发现，虽然姓名牌的数量（被激活的特征）爆炸式增长了15.6 倍，但真正重要的特征数量（如果移除这些特征，AI 的答案就会改变）仅增长了4.35 倍。

类比： 想象一座图书馆。如果你将图书馆的规模扩大一倍，书籍的数量（表征能力）也会翻倍。但作者发现，即使你将图书馆扩大 64 倍，那些真正包含解决特定谜题“秘密代码”的书籍数量也仅略有增长。大多数新书只是同一老故事的变体。

2. “因果楔形”

作者将这种差距称为表征 - 因果楔形（Representational-Causal Wedge）。

表征： AI 脑海中能容纳多少不同的“想法”。
因果： 其中有多少想法实际上驱动了最终决策。
发现： AI 可以容纳海量的想法，但其中只有极小一部分是真正拉动杠杆以做出最终决策的“老板”。其余的只是“背景噪音”或冗余副本。

3. “魔法数字”（因果维度）

本文定义了一个特定数字 $\kappa$ （卡帕），它代表 AI 特定层级中“老板”级想法的真实数量。

发现： 他们计算了一个 20 亿参数 AI 的这个数值，发现约为 1,990。
令人惊讶的是： 这个数字是内在的。无论你让 AI 变大 3.5 倍（从 20 亿参数增加到 90 亿参数），“老板”级想法的数量都保持不变。
类比： 想象一个 2 人乐队和一个 100 人的管弦乐队演奏同一首歌曲。100 人的管弦乐队拥有更多的乐器（参数），但他们只是把同样的 3 首核心旋律演奏得更响亮、和声更丰富。独特旋律的数量（因果维度）并没有改变；只是有更多的音乐家在演奏它们。

4. “深化”效应

随着你深入 AI 内部（从第一层到最后一层），信号的“音量”会下降。

发现： 随着深入网络，识别重要特征所需的信号强度会减弱 20 倍。
类比： 想象一个“传话”游戏。第一个人说话声音很大。当消息传到第一个人时，它已变成耳语。如果你在末端使用设定为“大声”的麦克风去听，你会以为没人说话。你必须将灵敏度调高很多，才能在深层网络中听到重要部分。

5. “过滤器”与“选择器”（重大转折）

本文测试了如果用随机的、杂乱的“编码器”（决定激活哪些特征的部分）替换 AI 的编码器会发生什么。

结果： 当他们使用随机编码器时，“重要”特征的数量爆炸式增长了9 倍。
结论： 训练好的编码器并不是在挑选最佳特征的“选择器”。它是一个过滤器（或抑制器）。它的主要工作是关闭背景噪音。
类比： 将编码器想象成夜店门口的保镖。你可能认为保镖是为了挑选“酷”的人（特征）放行。但本文表明，保镖实际上是为了把人群挡在外面。如果你移除保镖（使用随机的编码器），夜店就会变得混乱不堪，挤满了不该进来的人。“酷”的人一直都在；保镖只是确保噪音不会淹没他们。

这意味着什么的总结

更大尺寸 $\neq$ 更复杂： 让 AI 模型变大并不一定赋予它们更多类型的思维；这只是让它们有更多方式来表达相同的内容。
“老板”数量是固定的： 无论模型有多大，一个层级能处理的独立“老板”概念数量都有一个硬性上限。
可解释性需要新的焦点： 如果你想理解 AI 如何思考，不要只寻找“最响亮”的特征。你需要观察系统如何过滤掉噪音，因为真正的结构就藏在那里。

本文得出结论：我们拥有了一种新的、可测量的方法来计算 AI 层级的真正“思考能力”，而事实证明，这种能力比我们之前认为的要小得多，也稳定得多。

技术摘要：Transformer 表示的因果维度

问题陈述

稀疏自编码器（SAE）已成为将 Transformer 残差流分解为可解释、单义特征字典的标准工具。该领域的一个普遍假设是，表示容量（在任何输入上激活的特征数量）与因果容量（其扰动实际改变模型行为的特征数量）呈线性缩放关系。如果这一假设成立，那么简单地增加 SAE 的宽度将成比例地扩大可用于机械可解释性的因果相关特征集。

本文挑战了这一假设，论证随着 SAE 的扩展，表示容量与因果容量显著分化。作者认为，该领域缺乏对 SAE 宽度与因果影响之间关系的系统性表征，因此需要一种新的指标来量化 Transformer 层的内在因果结构。

方法论

1. 定义因果维度 ( $\kappa$ )

作者引入了因果维度，记为 $\kappa(L, M, T)$ ，定义为第 $L$ 层期望雅可比矩阵外积的有效秩：
$\kappa(L, M, T) = \text{eff-rank}(\Sigma_L), \quad \text{其中 } \Sigma_L = \mathbb{E}_{x \sim T} [J_L(x)^\top J_L(x)]$
此处， $J_L(x)$ 是模型输出相对于第 $L$ 层残差流的雅可比矩阵。 $\kappa$ 代表了残差流中因果影响输出的有效方向数量。作者证明了 $\kappa \le \min(d, |V|)$ ，其中 $d$ 是模型维度， $|V|$ 是词汇表大小。

2. 通过 SAE 宽度扫描与归因修补进行估计

由于精确计算 $\Sigma_L$ 是不可行的（每个输入需要 $d$ 次反向传播），作者提出了一种使用归因修补（Attribution Patching, AtP）结合SAE 宽度扫描的一致估计量：

归因修补：用作因果影响的一阶代理。特征 $i$ 的得分为 $AtP_i = \mathbb{E} [|\frac{\partial \mathcal{L}}{\partial f_i} \cdot f_i(x)|]$ ，衡量该特征对损失的影响。
宽度扫描：作者在 Gemma-2-2B（第 12 层）上训练 SAE，宽度范围从 16,384 到 1,048,576 个特征，共七个宽度。
指标：他们统计超过校准绝对阈值 $\epsilon$ （设定为参考宽度下 AtP 得分的第 98 百分位）的特征数量 $N_{causal}(m)$ 。
一致性：在满足覆盖性、忠实性且无死特征的假设下， $N_{causal}(m)$ 收敛于一个谱计数，该计数为 $\kappa$ 提供了下界。

3. 实验控制

该研究采用了严格的控制措施以隔离因果信号：

匹配- $\ell_0$ ：控制不同宽度下平均激活特征数量，防止由稀疏度漂移引起的混淆。
尺度不变性：在匹配的相对深度下比较 Gemma-2-2B 和 Gemma-2-9B。
架构不变性：测试 TopK、JumpReLU 和标准 ReLU SAE。
消融实验：进行四单元编码器/解码器消融，以区分特征选择与稀疏性过滤。
合成真值：在玩具模型中测试已知因果方向的恢复情况。

主要结果

1. 表示 - 因果楔形

在 Gemma-2-2B 第 12 层上，将 SAE 宽度增加 64 倍（从 16k 到 1M）导致：

表示增长：激活特征数量（ $N_{repr}$ ）增加了 15.6 倍。
因果增长：因果活跃特征数量（ $N_{causal}$ ）仅增加了 4.35 倍。
这种分化被称为表示 - 因果楔形，表明表示容量呈线性增长，而因果容量呈次线性饱和。

2. $\kappa$ 的估计

将饱和曲线拟合到 $N_{causal}(m)$ 轨迹得出的估计因果维度为：

$\hat{\kappa} \approx 1,990$ （由于 SAE 宽度的硬件限制，置信区间较宽，但比率稳健）。
$\hat{\kappa} / d_{model} \approx 0.86$ ：模型在通用文本上因果地利用了其几乎所有表示维度，但该数值是有界的，并不随 SAE 宽度增长。
参与比率：下界 $\kappa_{PR} \approx 280$ 表明因果影响具有重尾谱分布。

3. 不变性与结构

尺度不变性：尽管参数量增加了 3.46 倍（Gemma-2-2B 对比 9B），但在匹配的相对深度下，因果计数保持相同（ $N_{causal} = 328$ ）。这表明 $\kappa$ 由任务多样性决定，而非参数量。
深度衰减：跨越八个层级，识别前 2% 特征所需的绝对归因阈值从第 1 层到第 23 层下降了 20 倍，表明因果信号强度随深度衰减。
架构不变性： $N_{causal}$ 的次线性增长在 TopK、JumpReLU 和标准 ReLU 架构中均成立。

4. 机械洞察：编码器作为过滤器

四单元消融实验的一个关键发现是，用随机正交投影替换训练过的编码器会使 $N_{causal}$ 膨胀 9.27 倍。

推论：训练过的编码器主要充当稀疏性过滤器（抑制背景特征），而非特征选择器。
后果：关注编码器特征标签的可解释性工作可能存在误导；解码器结构以及被抑制特征的路由可能更为关键。

5. 验证与控制

几何特权：因果特征在解码器空间中与非因果特征在几何上（幅度或余弦相似度）无区别。
合成恢复：AtP 未能恢复玩具模型中的真实因果方向（召回率 = 0），证实 AtP 测量的是通过解码器路由的激活模式，而非对因果基的直接恢复。
任务特定恢复：在特定任务电路（Marks 等人，2025）上，前 5% 的 AtP 特征恢复了 98.2% 的真实值，支持一种“分层结构”，即高 AtP 核心跨任务共享，周围环绕着特定任务的晕轮。

意义与主张

该论文确立了 $\kappa$ 作为 Transformer 层的一种可测量的、模型内在的属性。其主要贡献包括：

理论定义：将因果维度定义为因果雅可比矩阵的有效秩，并证明其上界。
实证表征：证明因果容量随 SAE 宽度呈次线性可恢复，且对模型扩展不变，反驳了更宽的 SAE 能线性扩展因果可解释性的假设。
机械重构：识别训练过的编码器为稀疏性过滤器，表明“因果集”是由编码器对噪声的抑制而非特定概念的选择所定义的。
实际影响：当前的 SAE 宽度（例如 1M）仅捕获了估计因果维度（ $\hat{\kappa}$ ）的约 72%，这意味着要实现完整的因果枚举，需要显著更宽的 SAE（约 2.6M），而这目前在计算上是不可行的。

作者得出结论，“楔形”是 Transformer 表示的基本属性，由因果子空间维度的饱和所驱动，可解释性工作必须考虑这种非线性缩放以及编码器在过滤背景特征中的特定作用。