💬 NLP

Function-Vector Heads Are Two Populations: Writers and Cancellers in In-Context Learning

本文通过揭示功能向量头由两个对立的子群体——促进正确规则的“写入者”和抑制这些规则的“取消者”——组成，挑战了功能向量头是一个同质群体的假设，而这些子群体在仅基于幅度的排序中是不可见的，但在被识别并消融后会对模型性能产生显著影响。

原作者： Han-yu Wang

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Han-yu Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，将一个大型语言模型（比如那些能与你聊天的模型）想象成一个庞大的管弦乐团，正试图根据几个示例来解开一个谜题。在这个管弦乐团中，有一些特定的乐手被称为注意力头（attention heads）。长期以来，研究人员一直认为最重要的乐手就是那些演奏音量最大的乐手。他们假设，如果一个乐手演奏得非常大声，那么他一定是在帮助乐团奏出正确的曲调。

然而，这篇论文发现这个假设是错误的。事实证明，“音量最大”的乐手实际上属于两个完全不同的、对立的群体：书写者（The Writers）和取消者（The Cancellers）。

以下是该论文发现内容的详细拆解，使用了简单的类比：

1. 巨大的误解：音量 vs. 方向

以前，研究人员观察这些乐手并根据音量（即他们对答案贡献了多少）对他们进行排名。他们假设排名前 20 的最响亮的乐手都是“助手”。

本文作者意识到，仅有音量是不够的，你还需要知道方向。

书写者（Writers）： 这些乐手演奏出一个响亮的音符，将乐团推向正确的答案。
取消者（Cancellers）： 这些乐手也演奏出一个响亮的音符，但他们是将乐团推向错误的答案。他们正在积极地试图抵消正确的答案。

类比： 想象一场拔河比赛。

书写者是把绳子向终点线拉的那一队。
取消者是另一支同样用力拉绳子的队伍，但他们是在相反的方向上拉。
如果你只看他们拉的力量（强度），你会认为他们都是同样重要的“拉力者”。但如果你观察方向，你会看到他们正在互相博弈。

2. 发现：两个群体

研究人员在几种不同的模型（从小型到大型）和不同类型的逻辑谜题上进行了测试。他们发现，在几乎所有情况下，“顶尖”的乐手都会分裂成这两个对立的阵营。

“书写者”将正确答案的概率推高。
“取消者”将正确答案的概率推低。

当研究人员静音（消融/ablated）了取消者时，模型的解题能力反而变好了。这就像是移除了拔河队中的一名破坏者；突然之间，“书写者”可以毫无阻力地将绳子拉向终点线。

3. 为什么之前的研究漏掉了这一点

论文解释说，早期的研究（例如 Todd 等人，2024 年的研究）使用了一种仅观察贡献“响度”的方法。因此，他们无意中收集到了书写者和取消者的混合体，但这种混合情况会随着谜题的不同而改变。

在某些谜题中，“取消者”的声音更大，因此旧方法认为他们是主要的助手。
在其他谜题中，“书写者”的声音更大，因此旧方法认为他们才是主要的助手。

本文指出，由于忽略了“符号”（方向），之前的研究本质上是在混淆英雄与反派，误以为他们都是“响亮的助手”。

4. 取消者仅仅是错误吗？

研究人员想要确保“取消者”不仅仅是模型中损坏的部分或偶然的噪声。他们进行了多次测试，以证明它们是系统中真实存在的、具有功能的组成部分：

它们阅读的内容不同： 书写者关注示例中的“标签”（答案）。取消者则关注“格式”（标点符号和空格）。它们观察的是页面的不同部分。
它们是由内容驱动的： 取消者并非只是随机地抑制答案；它们是专门试图抑制刚刚在示例中展示出来的那个答案。
它们不是“复制抑制器”： 论文排除了这些仅仅是通用的“不要复制”机制的可能性。它们是针对特定任务逻辑的。

5. “L11.H4”角色研究

论文深入研究了一个特定的乐手——L11.H4，以观察它是如何工作的。

这个乐手在逻辑谜题中是一个“取消者”（它试图推向错误答案）。
然而，如果将谜题改为词汇任务（如匹配反义词），同一个乐手会转换角色，变成一个“书写者”（它帮助正确答案）。
教训： 这个乐手本身并不天生“好”或“坏”。它的职责是抑制刚刚被演示的内容。如果演示的是正确答案，它就抑制它（取消者）；如果演示的是错误答案（在不同语境下），它就会抑制错误的答案，从而有效地帮助正确的答案（书写者）。

6. 总结

主要结论是，我们不能将 AI 模型中最“活跃”的部分视为一个单一且统一的群体。

旧观点： “这些是最重要的 20 个注意力头。让我们利用它们来引导模型。”
新观点： “这前 20 个头实际上是一场内战。一半在推动模型走向正确的地方，另一半则在推动模型走向错误的地方。如果你想引导模型，你需要让‘取消者’保持沉默，而不只是放大‘书写者’。”

这篇论文并不声称这使得模型变得“安全”或已准备好用于医疗或法律等现实世界应用。它只是指出，为了理解这些模型如何从示例中学习规则，我们必须承认其内部的“乐手”经常在相互博弈，而不是协同工作。

技术摘要：函数向量头（Function-Vector Heads）是两种群体：书写者与取消者

1. 问题陈述

在机械解释性（mechanistic interpretability）领域，函数向量（Function-Vector, FV）头通常被识别为一组具有较大因果贡献的稀疏注意力头，它们对上下文学习（ICL）规则任务起作用。标准的识别流程（例如 Todd 等人，2024）通过量级（magnitude）对这些头进行排名（例如使用直接对数贡献 Direct Logit Attribution 或 AIE），并将排名靠前的集合视为一个同质的功能类（homogeneous functional class）。

本文挑战了这样一个隐含假设，即高量级的头会一致地推动模型向所展示的规则靠拢。作者指出，仅基于量级的排名掩盖了一个关键的结构异质性：顶层集合可能包含具有相反因果效应的头。如果这一假设失效，标准的聚合方法（如转向向量 steering vectors）可能会在无意中混合相互抵消的力量，从而导致次优或矛盾的干预结果。

2. 研究方法

作者提出了一个保持符号（sign-preserving）的识别流程，并在三个模型家族（Pythia, Qwen2.5, GPT-2）和六个规模（410M–12B）上进行了严格的验证框架。

改进的直接对数贡献（Refined DLA）： 作者不再按绝对量级进行排名，而是计算每个头对正确减去错误对数差值（ $\Delta \ell$ ）的有符号贡献。他们应用了基于置换的错误发现率（FDR）控制（ $q=0.10$ ），以识别出一个包含正向和负向贡献者的候选 FV 头集合。
路径补丁验证（Path Patching Validation）： 通过路径补丁来隔离直接效应，从而验证候选头。根据其相对于提示词摆动（prompt swing）的直接效应大小，将头划分为两个群体：
- 书写者（Writers, $W$ ）： 具有正向直接效应（ $\ge +5\%$ 的摆动）的头，其作用是推高正确 Token 的对数几率。
- 取消者（Cancellers, $C$ ）： 具有负向直接效应（ $\le -5\%$ 的摆动）的头，其作用是压低正确 Token 的对数几其。
标准判定（The Canonical Verdict）： 通过对分组消融（零消融或均值消融）进行的四条件测试来验证这两个对立群体的存在：
1. 消融 $W$ 会显著降低正确对数几率（ $\Delta \ell_W < 0$ ）。
2. 消融 $C$ 会显著增加正确对数几率（ $\Delta \ell_C > 0$ ）。
3. 两者的符号相反。
4. 联合消融（ $W \cup C$ ）显示出**衰减（attenuation）**现象（即该效应小于单个效应之和），表明它们在同一个读取端（readout）上运行，但方向相反。
人工制品排除（Artifact Rejection）： 作者排除了六种关于“取消者”信号的其他解释：
1. 归纳重叠（Induction Overlap）： 取消者头并非简单的归纳头。
2. 注意力汇点（Attention Sinks）： 该效应并非由于关注格式前缀或 BOS Token 产生的人工制品（通过基于每源 DLA 分桶进行验证）。
3. 通用重要性（Generic Importance）： 取消者并非仅仅是具有随机符号的高注意力头。
4. 秩-1 复制抑制（Rank-1 Copy-Suppression）： 该机制并非简单的对复制 Token 进行秩-1 抑制（不同于 GPT-2 L10.H7）。
5. V-级联（V-Cascade）： 该效应并非由于通过特定的 V 组合级联抑制上游书写者而导致的。
6. 秩-最近对照（Rank-Nearest Controls）： 具有相似量级的随机头并不表现出相同的取消行为。

3. 关键结果

群体划分： 在 15 个单元格（6 个主要的 Pythia 单元格 + 9 个扩展单元格）中，FV 头集清晰地分裂为书写者和取消者。标准判定在 13/15 个单元格中成立。
与前人工作的非对称重叠： 仅基于量级的排名（Todd 等人，2024）倾向于局部占优的子群体。
- 在**层级化（Hierarchical）**任务中，Todd 的前 20 个头捕获了 64% 的取消者，但仅捕获了 4% 的书写者。
- 在**模块化（Modular）**任务中，Todd 的前 20 个头捕获了 59% 的书写者，但仅捕获了 8% 的取消者。
取消者的因果影响： 对取消者群体进行零消融处理，在 6/6 个主要单元格中产生了持续的 +0.13 到 +0.29 nats 的对数增益，以及 +2 到 +7 个百分点的准确率提升。
结构性区别：
- QK 源（QK Sources）： 书写者将注意力集中在演示标签上；取消者则将注意力质量转向格式前缀 Token 并远离标签。
- OV 几何结构（OV Geometry）： 书写者和取消者的写入方向（OV）几乎正交（垂直分量均值为 0.96），这使得它们可以在同一个读取端共存，而不会在残差流中完全抵消。
- 层分布： 取消者聚集在早期到中期层，通常位于同一单元格内某个书写者的下游，从而排除了后期抑制的可能性。
案例研究 (L11.H4)： Pythia-410M 中的主导取消者被识别为一个“分布式偏差内容读取器（distributed-bias content reader）”。它的角色根据任务模板而翻转（在规则任务上是取消者，在反义词任务上是书写者），这支持了以下假设：它抑制的是“被演示的内容”而非无条件的对数抑制。它不符合秩-1 复制抑制或 V-级联的模板。

4. 重要性与主张

本文声称，FV 头群体并非同质类，而是一个包含两个对立子电路的结构属性。

方法论修正： 标准的“仅量级”排名不足以识别 FV 头的完整功能景观。它系统性地遗漏了与主导信号相反的子群体，导致不完整的电路模型。
干预含义： 本文区分了消融（ablation）、移植（transplant）和加性转向（additive steering）。
- 消融： 移除取消者可以提高性能。
- 移植： 将头替换为其任务均值（这有效地中和了取消者的特定逐提示行为）相比于仅书写者的移植，能提高性能。
- 转向： 作者明确表示，他们并不声称将两者结合的聚合转向向量是实际转向操作的正确做法。因为 $W$ 和 $C$ 具有相反的符号，将它们聚合为一个向量可能会稀释转向效果。群体层面的识别旨在定义哪些头需要进行干预，而不一定是指明如何进行聚合。
泛化性： 该现象在不同的模型架构（GPT-NeoX, Llama-style, Conv1D）和规模下均有观察到，表明这是 Transformer 实现上下文规则遵循的一种基本属性，而非特定模型或任务的产物。

5. 局限性

作者对其研究范围保持了谦逊的态度：

任务范围： 主要分析限于短小的、闭合标签的合成 ICL 任务（层级化和模块化规则）以及两种词汇 ICL 模板（反义词、国家-首都）。它不涵盖长文本生成或开放式指令遵循。
机制泛化： 虽然存在两个群体的结论是群体层面的发现，但对于主导取消者（L11.H4）的具体机械特征描述（即“分布式偏差内容读取器”）并未推广到整个取消者群体。
转向主张： 本文并未提出使用识别出的群体进行基于向量的转向能提高实际模型控制能力的积极主张。消融带来的准确率提升并不自动转化为经过进一步调优后在加性转向向量上的优势。