🤖 machine learning

Geometric and Behavioral Stratification in Transformer Residual Streams

本文将预测方向识别为 Transformer 残差流中一个特权的、由内容定义的锚点，它在几何与行为上将高维计算分层为狭窄且结构化的预测近端接口以及广阔且随规模变化的补集，从而揭示了线性读取如何与复杂的内部表示共存。

原作者： Nelson Guda

发布于 2026-08-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Nelson Guda

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图理解一个巨大的、超级聪明的机器人大脑是如何运作的。这个大脑是由一种被称为“Transformer”的技术构建的，这种技术是当今我们使用的许多 AI 聊天机器人和写作工具背后的引擎。这些机器人并不像人类那样思考；相反，它们通过一个庞大的、高维度的“残差流”（residual stream）来处理信息。你可以把这个流想象成一条由数字组成的巨大、旋转的河流，在机器人的每一层中流动。在每一步中，机器人都会向这条河流中加入新的信息，而在最后一步，它必须决定下一个词要说什么。

长期以来，科学家们认为，如果我们将机器人做大（通过增加参数或让河流变宽），机器人的决策方式也会以同样的方式变得更大、更复杂。他们假设机器人的“决策”部分会扩张以填满所有新增的空间。但这项新研究提出了一个不同的问题：如果机器人实际上保持其决策通道狭窄且固定，而将额外的空间用于完全不同的用途呢？作者本质上是在尝试绘制这条河流的地形图，以观察“真正的”思考发生在哪里，以及机器人在哪里仅仅是存储它的笔记。他们想知道机器人的内部地图是有序的，还是遵循某种隐藏的、特殊的规则。

论文的核心发现：“预测锚点”

在这项研究中，Nelson Guda 及其同事观察了 18 个不同的 AI 模型，范围从小型模型（70 亿参数）到大型模型（1200 亿参数）。他们想要观察这些模型如何组织它们的内部“河流”数据。他们发现，这些模型并不是随机漂浮的；它们围绕着一个非常特定的、移动的目标来组织一切：即预测方向。

想象一下，机器人正在尝试猜测句子中的下一个词。它的脑海中有一个“目标”——即指向那个词的特定大脑方向。研究人员发现，机器人将这个目标视为一个特殊的锚点。它大脑中的一切都是相对于这个锚点来衡量的。

“窄门” vs. “巨型仓库”

最令人惊讶的发现是，那个真正决定下一个词的部分其实非常小，并且无论机器人变得多大，它的大小都保持不变。作者称之为预测接口（prediction interface）。

类比： 想象一个巨大的、多层的仓库（机器人的大脑）。在这个仓库内部，有一个极其狭窄的小门（预测接口），通向外部世界（下一个词）。
发现： 无论仓库是房子大小还是城市大小，那扇门的大小都保持完全一致。研究人员发现，这个“门”只使用了大约 4 到 10 个维度（仅占大脑总空间的极小部分）。
大脑的其余部分： 仓库的其余部分——即“预测远端补集”（prediction-distal complement）——是巨大的。随着模型规模的扩大，这个仓库变得越来越大，但那扇门并没有。额外的空间并不是用来把门做宽，而是用来在门周围建造一个巨大的存储区。

为什么这很重要：“信号 vs. 噪声”的游戏

为什么机器人要保持这样一个如此狭小的门？论文指出，这是为了保持信号的清晰。如果门很宽且很杂乱，那么来自巨大仓库的噪声就会与决策混杂在一起。通过保持门狭窄而仓库巨大，机器人可以利用巨大的仓库进行所有复杂的计算，但它只让干净、清晰的“信号”通过这扇狭小的门来进行选择。

研究人员发现，“仓库”（补集）实际上承担了大量的重任。尽管它远离决策门，但如果你改变仓库中数据的方向，机器人的输出会立即变得疯狂。然而，如果你只是减小仓库中的数据量（而不改变其方向），机器人依然可以正常运行。这表明机器人关心的是数据“指向哪里”，而不是数据“有多大”。

“反聚类”之谜

这里有一个研究人员发现的奇怪转折。当他们观察机器人如何对相似的提示词（例如关于数学的问题 vs. 关于历史的问题）进行分组时，他们原本预期“仓库”会是混乱且无序的。然而，他们发现情况恰恰相反：仓库的表现出了某种“反向特征”。

门（预测接口）： 这部分非常擅长区分不同的提示词组。它能将数学问题与历史问题隔离开来。
仓库（补集）： 这部分是“反判别性”的。它实际上会将属于同一组的提示词推得更远，并将不同组之间的提示词拉得更近。

把它想象成一场派对。 “门”是检查身份证并区分 VIP 和常客的保安。而“仓库”则是舞池。在舞池里，VIP 们可能在混乱地绕圈跳舞，而常客们则挤在一起。仓库似乎在进行一种特殊的平衡行为，以确保即使“门”看到了不同的东西，最终的结果（下一个词）仍然是有意义的。

“任务框架” vs. “故事线”

研究人员还测试了当我们“扰乱”大脑的不同部分时会发生什么。他们发现机器人行为中存在一个清晰的层级结构：

“立场”层（最靠近门的部分）： 如果你干扰大脑中最靠近决策门的部分，机器人会立即忘记它应该在做什么。它可能会停止写故事而开始提供语法建议，或者从一个乐于助人的助手变成一个愤世嫉俗的评论家。它会瞬间改变对话的“框架”（frame）。
“轨迹”层（稍远一点）： 如果你干扰下一层，机器人会保持相同的框架（它仍然是一个乐于助人的助手），但会改变故事的“内容”。它可能会开始谈论一只猫而不是一只狗，但它仍在讲述一个故事。
“动态”层（移动的部分）： 研究人员还发现，巨大的仓库有一个“静态”部分（像是一个永久性的脚手架）和一个“动态”部分（像是一个每秒都在更新的移动信封）。如果冻结动态部分并使其无法更新，机器人会立即崩溃。它需要这种不断的更新来持续生成文本。

这意味着什么

这篇论文表明，随着 AI 模型变得越来越大、越来越聪明，它们并不是在决策方面变得更“宽”，而是变得更擅长将更复杂的计算压缩进那个围绕着固定窄门而存在的巨大仓库中。

这改变了我们评估这些模型的方式。如果我们只看最终答案（从门里出来的东西），我们可能会错过模型在仓库内部所做的 99% 的工作。模型可能在那个巨大的、隐藏的空间里进行着极其复杂的推理，但由于门非常狭窄，我们无法看到它。作者建议，要真正理解 AI，我们需要观察仓库内部，而不仅仅是观察那扇门。

简而言之，这篇论文揭示了这些巨大的 AI 大脑是如何组织得像一座拥有一个微小且不变的城门的堡垒。魔力发生在城门后那片广阔而隐秘的庭院中，那里才是真正开展工作的地方，而城门本身的作用仅仅是确保最终传达出的信息干净且清晰。

技术摘要：Transformer 残差流中的几何与行为分层

问题陈述

近期的研究已经证实，经过训练的 Transformer 模型开发出了“特权基底”（privileged bases）——即具有不同于残差流其余部分的统计特性的特定坐标轴。然而，这些特权方向的功能角色和几何本质仍不明确。虽然先前的研究识别出这些轴是异常的坐标集，但并未解释它们究竟选择了哪些特定方向，以及它们如何组织模型的高维计算。

本文旨在解决 Transformer 计算的高维性（数千个维度）与线性读取（向词表 Logits 的单次投影）的低维性之间的差距。作者研究了预测方向（即模型当前预测的 Token 的 Unembedding 向量）是否作为一个由内容定义的特权锚点，从而组织了残差流的几何结构与行为。

方法论

作者引入了 PDSF（以预测为锚点的子空间特征分解，Prediction-anchored Decomposition of Subspace Features），这是一种坐标系，用于将每一层中的残差流状态 ( $h$ ) 划分为四个严格正交的分量，其顺序按与当前预测方向 ( $\hat{u}$ ) 的接近程度排列：

P (Predictive, 预测性): $h$ 在当前 argmax token 的归一化 unembedding 向量 $\hat{u}$ 上的秩-1 投影。
D (Discriminative, 判别性): 在移除 $P$ 后的残差中提取的前- $k$ 个 PCA 方向。
S (Situational, 情境性): 在同时移除 $P$ 和 $D$ 后的残查中提取的前- $k$ 个 PCA 方向。
F (Framework/Complement, 框架/补余): 正交的剩余部分，代表了残差流中绝大部分的维度。

$P + D + S$ 的组合区域被称为预测接口（prediction interface），而 $F$ 被称为预测远端补余（prediction-distal complement）。

实验设置：

测试平台： 涵盖 6 种架构家族（Llama, Gemma, Mistral, Mixtral, Qwen, GPT-OSS）、参数规模从 7B 到 120B 的 18 个 Transformer 模型，包括基础模型和指令微调版本。
提示词集： 三组旨在探测不同变化的结构化集合：
- SpecA: 受限提示词，具有固定的答案但表面形式多样（224 个提示词）。
- SpecB: 开放式叙事续写（80 个提示词）。
- Diverse: 跨越 8 种语言范式的提示词（叙事、代码、数学等）（84 个提示词）。
干预手段： 作者采用了针对性干预，包括单次传递扰动、持续旋转扰动（在约 70% 深度处应用 Haar 测度旋转）以及幅度衰减，以测试因果作用。

核心贡献与结果

1. 尺度不变的预测接口

预测近端子空间（ $D$ 和 $S$ ）的有效维度是低维且尺度不变的。

在受限提示词上，无论隐藏维度（ $d_{model}$ 范围从 2,880 到 8,192）如何， $D$ 的有效秩始终保持为个位数（平均 $\approx 4$ ）。
接口的维度由提示词的语义复杂度决定，而非模型的宽度。
指令微调强化了接口内部的组织结构（增加了判别性并降低了对改写/释义的敏感性），但并未扩大其维度。
结论： 规模化的提升增加了预测远端补余（ $F$ ）的大小，而非预测接口的大小。

2. 几何分层：正交性与流形复杂度

正交性： 预测方向与残差流的主方差轴几乎正交（平均角度 $\approx 84^\circ$ – $86^\circ$ ）。高方差方向被移离了读取轴。
流形复杂度梯度： 沿预测接近度轴存在陡峭的流形复杂度梯度。
- 预测近端 ( $D$ ): 高度折叠、具有结构的几何形状（高信息密度）。
- 预测远端 ( $F$ ): 平坦、均匀的几何形状。
- 与标准的基于方差排序的 PCA 控制组相比，当相对于预测方向进行测量时，这种梯度在语言异质性较高的提示词上表现得更为陡峭。

3. 补余中的反判别性

与“歧视性随远离预测方向而消失”的预期相反，补余部分 ( $F$ ) 表现出反判别性（anti-discrimination）。

来自同一语义组的提示词在 $F$ 空间中系统性地比不同组的提示词距离更远。
这表明 $F$ 携带了提示词特定的配置，用以补偿预测近端状态的变化，从而实现相似的读取结果。

4. 方向优于幅度（薄壳假设）

本文验证了“薄壳假设”：残差流的变化是由方向而非幅度驱动的。

通过旋转破坏补余 ( $F$ ) 的方向会导致立即且严重的输出发散。
在保持方向不变的情况下减小 $F$ 的幅度（衰减）对结果影响微乎其微。
这证实了补余作为计算所需的定向基质，尽管它与读取轴的对齐度较弱。

5. 行为分层

持续的旋转干预揭示了与预测接近度轴对齐的行为层级：

子空间 $D$ (即时框架): 破坏导致立即发散（平均首次发散 token $\approx 1.2$ ）以及频繁的任务框架偏移（例如，从回答问题转变为元评论）。
子空间 $S$ 与 $F\text{-topK}$ (轨迹): 破坏导致延迟发散（ $S$ 的平均首次发散 token $\approx 5.6$ ， $F\text{-topK}$ 为 $\approx 6.5$ ）以及在保留原任务框架内的内容替换。
这表明 $D$ 控制响应的初始框架，而 $S$ 和 $F$ 的高方差部分控制后续的轨迹。

6. 补余的静态/动态划分

补余 $F$ 进一步按时间动态进行组织：

它分为静态支架（时间均值）和动态包络（Token 到 Token 的更新）。
动态包络是具有因果负载能力的：注入“陈旧的”（延迟一步的） $F$ 会导致第一个 token 处的普遍输出发散。
旋转动态包络的方向会导致灾难性失败（失败率 92.3%），这与旋转 $D$ 或 $S$ 导致的重定向截然不同。

意义与主张

本文声称确立了预测方向作为一个特权的、由内容定义的锚点，它以一种不同于先前描述的基于坐标轴的方式，组织了残差流的几何结构。

架构约束： 研究结果表明，线性读取施加了一种“信噪比”约束，迫使模型将预测相关的结构隔离到狭窄的、尺度不变的接口中，同时将其计算基质（ $F$ ）正交地扩展。
评估盲区： 由于残差流的大部分（补余部分）与读取轴弱对齐，基于输出的评估指标（Logits、下一 Token 准确率）可能低估了随着规模扩大，模型内部发生的计算和结构性变化。
可解释性： 几何分层提供了一个特征级的解释框架，表明任务框架驻留在 $D$ 中，而轨迹和状态维护驻留在 $S$ 和 $F$ 中。
几何 vs. 方差： 本文认为几何组织不仅仅是方差结构的影子；通过锚定预测方向，可以揭示方差分析本身无法捕捉到的组织原则（如 $F$ 的反判别性和行为层级）。

作者总结道，理解 Transformer 残差流的最佳方式不是将其视为弥散的高维激活，而是将其视为分层的几何体，其特征是一个固定的预测接口，嵌入在一个动态维护的、具有因果负载能力的基质之中。