🤖 machine learning

Geometric Evolution Maps: Extracting Stable Concept Probes from Transformer Residual Streams

本文介绍了几何演化映射（GEMs），这是一种追踪 Transformer 残差流中概念方向轨迹的方法，旨在识别表征趋于稳定的“交接层”，从而在不同架构中比传统的固定层或峰值分数方法提取出更可靠的概念探针。

原作者： James Henry

发布于 2026-05-26

📖 1 分钟阅读☕ 轻松阅读

原作者： James Henry

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个 Transformer 人工智能模型，它就像一座巨大的多层工厂：原始想法从底层进入，经过层层处理，最终在顶层变成成品。

长期以来，试图理解人工智能“思考”内容（例如它是否理解“愤怒”、“真相”或“危险”）的研究人员遵循一条简单的规则：只看最顶层。 他们假设，当一个想法到达最终层时，它已经完全成型并稳定下来。

本文认为这条规则是错误的。这就像试图通过只看最终装盘的菜肴来理解食谱，却忽略了食材在到达那里之前，在每一层楼都被以完全不同的方式切碎、混合、加热和搅拌的事实。

以下是本文发现并提出之内容的简明分解：

1. 问题：想法像陀螺一样旋转

作者发现，当人工智能“思考”某个概念（如“讽刺”或“威胁”）时，它在内部记忆中表征该想法的方式，随着在工厂楼层间的上升而剧烈旋转。

类比：想象一群人试图搭建人体金字塔。在底层，他们只是互相抓着手，在原地旋转，试图找到平衡。他们四处散乱。
数据：论文测量了这种“旋转”。在大多数情况下，想法在组装过程开始时的方向，与其最终结束时的方向几乎完全不同（就像指向北方与指向南方）。
错误：如果你试图在想法仍在工厂中间旋转时对其进行“探测”（检测），你可能会捕捉到它指向错误的方向。你可能会误以为人工智能正在思考“危险”，而实际上它只是在组织各个部分，以便最终思考危险。

2. 解决方案：“交接”层

作者引入了一种名为**几何演化图（Geometric Evolution Maps, GEMs）**的新方法。GEMs 不再猜测应该查看哪一层，而是追踪想法在工厂中向上移动的过程，以找到它停止旋转并锁定到位的确切时刻。

类比：想象一场接力赛。跑步者（层）来回传递接力棒（概念）。有一段时间，接力棒在摇晃，传递得很笨拙。但随后，有一个特定的时刻——交接——跑步者终于接住了接力棒，稳住了握持，并开始直线奔跑。
发现：论文发现，这种“稳固的握持”发生在特定的楼层，他们称之为交接层（Handoff Layer）。一旦想法经过这一层，它就不再旋转，并一直保持稳定直到顶层。
结果：如果你想了解人工智能在想什么，你不应该看最顶层（那里可能已经漂移），也不应该看中间层（那里仍在旋转）。你应该确切地查看交接层，因为在那里，想法已经稳定在其最终的、稳定的形态中。

3. 理论测试

研究人员在 23 种不同的人工智能模型（从小型到超大型）和 17 种不同的概念（如“讽刺”、“紧迫性”、“欺骗”等）上测试了这一理论。

比较：他们将新的“交接”方法与旧的“峰值”方法（查看想法似乎最响亮的那一层，即使它仍在旋转）进行了比较。
结果：交接方法在**68%**的情况下表现更好。在许多情况下，它的准确性显著更高。
局限：它在较大的模型中效果最好。在非常小的模型中，“旋转”有时过于混乱，或者工厂太短，导致想法在到达顶层之前没有足够的时间稳定下来。

4. 不同类型工厂的特殊规则

论文注意到，不同类型的人工智能工厂表现不同：

标准工厂（MHA）：这些工厂几乎总是有一个清晰的“交接”层，想法在此稳定。新方法在这里效果极佳。
分组工厂（GQA）：这些工厂具有更复杂的内部结构。它们有时会更早稳定，或者表现不同，因此“交接”方法的支配地位较弱，但仍然有用。
“近顶”规则：有时，想法稳定得太晚，几乎就在最顶层。如果你在那里检查想法，可能会不小心将其与最终的“包装”步骤（准备输出）混淆。作者制定了一条特殊规则来处理这些罕见情况，确保它们不会因包装过程而产生混淆。

5. 这意味着什么（以及不意味着什么）

证明的内容：论文证明，人工智能概念不是静态的；它们是动态的过程，在稳定之前会移动和旋转。要理解它们，必须找到它们停止移动的时刻。
未声称的内容：论文不声称这使人工智能更安全，或者我们现在可以完美控制人工智能的行为。它只是提供了一种更好的“显微镜”，以观察人工智能的想法究竟在哪里是稳定的。
一个失败案例：论文承认有一个特定的小型模型（gpt2）打破了规则。在这个微型工厂中，“交接”发生得离顶层太近，导致该方法被包装过程混淆。这是一个已知的局限性，而非一般理论的缺陷。

总结

将人工智能的大脑想象成一条河流。过去研究它的方法是查看河流终点的海洋，假设那里的水是平静的。本文则说：“不，水一直在向下翻滚和旋转。”

几何演化图就像是一个漂浮在河上的传感器，等待水流停止漩涡并直线流动的确切时刻。一旦找到那个平静点（交接层），它就拍摄一张快照。这张快照比在顶部或底部拍摄的任何快照，都能更清晰、更准确地反映人工智能实际上在想什么。

技术摘要：几何演化图（GEMs）

问题陈述

从 Transformer 残差流中提取的线性探针，其可靠性仅取决于提取它们的具体层。现有文献依赖三种天真的启发式方法进行层选择：探测最后一层、探测分离分数峰值所在的层，或探测一个固定的中后层。

本文指出，这些方法未能考虑到一个基本的结构现实：Transformer 残差流中的概念表示并非静态。它们逐渐涌现，在组装阶段（即概念分配区，CAZ）内经历显著的定向旋转，仅在主要 CAZ 之后的特征“交接层”才稳定为固定方向。在分离峰值（发生在 CAZ 内部）或 CAZ 入口处进行探测，提取的是尚未稳定的方向，从而导致概念探针不可靠。

方法论：几何演化图（GEMs）

本文提出了几何演化图（GEMs），这是一种追踪概念在残差流激活中完整定向轨迹的方法，旨在识别概念方向稳定下来的精确层。

核心定义

概念方向（ $u^{(l)}$ ）：在每一层 $l$ ，主导概念方向定义为正负对比对平均残差流激活之间的 $L_2$ 归一化差值（均值差）。
角速度（ $\omega^{(l)}$ ）：方向变化率计算为 $\omega^{(l)} = 1 - |u^{(l)} \cdot u^{(l-1)}|$ 。高速度表示活跃旋转；低速度表示稳定。
概念分配区（CAZ）：概念发生主要分离事件的层范围，通过 Fisher 归一化分离分数检测。
交接层（ $L_H$ ）：操作定义为 CAZ 结束后紧接着的第一层，其角速度降至阈值（ $\epsilon = 0.05$ ）以下。这是概念方向“锁定”的层。
稳定探针：提取的探针是交接层处的单位向量 $u^{(L_H)}$ 。

自适应宽度规则

在通过消融评估探针时，本文引入了自适应宽度规则（ $w$ ）。默认情况下，从 $L_H$ 开始消融 3 个连续层。然而，对于接近最后一层的交接（ $L_H/N > 0.85$ ），消融 3 层可能会延伸至未嵌入准备区，从而稀释信号。针对这些情况，该规则设定 $w=1$ ，以在收敛点精确提取方向。

主要贡献

GEM 的形式化：一种计算交接层并提取稳定概念方向的可行方法。
旋转的实证验证：证明了概念方向在组装过程中发生显著旋转。在 391 个概念×模型对（23 个模型，17 个概念）中，CAZ 内的平均入口 - 出口余弦（EEC）为0.233，93.9% 的配对显示 EEC < 0.5。这证实了在 CAZ 入口或分离峰值处探测捕捉到的方向与最终稳定状态正交。
交接探针的优越性：GEM 提取的探针在68.5%（268/391）的试验中至少与峰值层探针一样精确，并在66.2%（259/391）的试验中严格优于后者。针对每模型比例进行的 Wilcoxon 符号秩检验证实了显著性（ $p=0.010$ ；排除 gpt2 后 $p=0.0036$ ）。
架构特定发现：
- MHA 与 GQA：MHA 模型在 78.3% 的试验中倾向于交接层，而 GQA 模型仅占 47.1%。
- 规模：GEM 结构甚至存在于 70M 参数模型中，但在 >500M 参数范围内探针质量显著提升。
方向特异性控制：消融特定概念方向对分离的抑制中位率比随机方向消融高出377 倍（45.6% 对比 0.24%），证实该效应由概念方向本身承载，而非仅仅是深度。
深度匹配控制：一项将 GEM 与相同相对深度的非稳定层进行对比的对照实验证实，稳定标准额外贡献了**+32.5 个百分点**的分离抑制，排除了提取深度作为唯一驱动因素的可能性。
结构化失败模式：
- gpt2：被识别为真正的失败模式，由于在 12 层模型中靠近未嵌入层，在交接层进行消融病态地增加了分离。
- OPT-6.7b：在较小语料库中最初表现为失败（41% 的改进），但在 $N=250$ 时达到 76% 的改进，表明初始发现依赖于语料库大小。

结果与观察

交接深度：大多数概念在模型深度的最后 15–30% 内稳定。安全相关和认识论概念（如 threat_severity、certainty）交接最深（平均相对深度 $\ge$ 0.86），而句法概念（如 specificity、plurality）交接较早。
中继结构：在 pythia-6.9b 上进行的多节点消融实验揭示，概念通常存在于因果中继中。最深的 GEM 节点是最集中的因果干预点，但浅层节点在因果上位于上游（在 9/15 个多节点概念中观察到交叉干扰）。
自适应宽度有效性：近最终规则（ $w=1$ ）在 75.9% 的触发情况（60/79）中提高了探针质量，这些情况的平均增益为 +7.44 个百分点。

意义与主张

本文声称，GEM 提供了本研究计划中 CAZ 验证和 PRH 论文所基于的提取方法论。其主要意义在于：

修正探针提取：确立交接层处的“稳定”方向是概念的几何精确表示，优于在分离峰值处发现的瞬态方向。
映射组装动态：提供了一种可视化和量化概念“旋转”的方法，揭示概念并非静态，而是在稳定之前经历动态组装过程。
因果表征：证明 GEM 识别了因果中继中最可及的干预点，尽管它并不声称捕捉概念编码的全部（这仍然是分布式的）。

本文对其范围保持谦逊：它不声称解释概念编码的完整机制（例如注意力子层与 MLP 子层的具体贡献），也不声称捕捉所有概念信息，仅捕捉信号足够大以至于可以被隔离和测试的分布“峰值”。它明确指出，行为消融（测量下游输出变化）已设计但尚未大规模运行。