🤖 machine learning

Logit-Contribution Scoring Identifies Non-Literal Retrieval Heads

本文介绍了一种名为 Logit-Contribution Scoring (LOCOS) 的新方法，该方法通过衡量输出值电路对答案标记的贡献，来识别大型语言模型中的非字面检索头，并证明了消融这些特定头部会显著降低长文本合成性能，同时保留其他能力。

原作者： Aryo Pradipta Gema, Beatrice Alex, Pasquale Minervini

发布于 2026-07-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Aryo Pradipta Gema, Beatrice Alex, Pasquale Minervini

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

把大型语言模型（LLM）想象成一位才华横溢但工作过度的图书管理员，他读遍了整个互联网。当你提问时，这位管理员并不仅仅是喊出一个他背下来的随机事实；他会扫描整个巨大的图书馆（即“上下文”），以找到持有答案的那本书或那一页。

长期以来，研究人员一直认为他们确切知道这位图书管理员是如何找到这些答案的。他们认为管理员只是指向书中与答案匹配的精确词汇，然后将其抄写下来。这被称为字面检索（literal retrieval）。

然而，这篇论文的作者发现，这位图书管理员其实要聪明得多。通常情况下，答案并不是对书本词汇的直接复制。相反，图书管理员会阅读一个句子，理解其含义，然后基于这种理解写出一个新的答案。这就是非字面检索（non-literal retrieval）。

问题：错误的侦探

该论文指出，以往用于确定图书管理员大脑中哪部分（称为“注意力头”，attention head）在工作的研究方法，就像是一个只观察侦探如何看图书管理员指在哪里，却不看他写下了什么的侦探。

旧方法（基于注意力的）： 想象一个侦探在观察图书管理员。如果管理员为了回答“谁住在巴黎？”而指向“埃菲尔铁塔”这些词，侦探会说：“太棒了！那个注意力头正在发挥作用。”
现实情况： 有时，图书管理员指向“埃菲尔铁塔”，但写下的却是“由纪”（因为文中提到由纪住在埃菲尔铁塔附近）。旧的侦探会错过这一点，因为“指点”（注意力）与“书写”（答案）并不匹配。旧方法认为管理员只是在进行复制，而不是在理解。

解决方案：LOCOS（“书写感知型”侦探）

作者引入了一种名为 LOCOS（对数贡献评分，Logit-Contribution Scoring）的新方法。你可以把 LOCOS 想象成一个既观察“指点”又观察“书写”的侦探。

LOCOS 会追问：“这个特定的脑区是否真的帮助写出了正确的答案？”

它观察的是“输出值”（Output-Value, OV）电路。这是将图书管理员读到的信息转化为最终答案的机制。
如果一个注意力头指向“埃菲尔铁塔”，但其“书写机器”（OV 电路）成功地将“由纪”这个词推到了答案纸上，LOCOS 会给该注意力头高分。
如果一个注意力头指向“埃菲尔铁塔”，但其“书写机器”推导出了一个随机的词或者什么都没写，即使其“指点”动作很强，LOCOS 也会忽略它。

实验：“沉默”测试

为了证明他们的理论，研究人员对几种不同的 AI 模型（如 Qwen、Gemma 和 OLMo）进行了“沉默测试”。

设置： 他们提取了由 LOCOS 识别出的前 50 个注意力头，并在 AI 的大脑中将它们“关闭”（消融，ablated）。
结果：
- 当他们关闭 LOCOS 识别的注意力头时，AI 回答非字面问题的能力崩溃了。在一项测试中，得分从健康的 0.40 直接降到了 0.00（完全失败）。
- 当他们关闭由旧方法识别的注意力头时，AI 的表现仍然保持得相当不错（得分约为 0.29）。
- 类比： 这就像试图驾驶一辆汽车。如果你拆掉了引擎（LOCOS 注意力头），车就会停死；如果你拆掉了后视镜（旧方法注意力头），车仍然可以行驶，只是变得笨拙了一些。

为什么这很重要（根据论文观点）

该论文声称，LOCOS 发现了一组隐藏的“检索头”（retrieval heads），而旧方法完全错过了它们。这些是 AI 中负责执行意义合成而非仅仅是复制文本的特定部分。

特异性： 当他们关闭这些注意力头时，AI 停止了回答上下文相关的问题，但仍能进行数学运算或回忆通用事实（如“巴黎在法国”）。这证明了这些头是专门用于从文本中检索信息的，而非具备通用的智能。
“非字面”差距： 旧方法只能找到那些进行“复制粘贴”的注意力头。而 LOCOS 找到了那些真正通过“思考”文本来构建新答案的注意力头。

总结

简而言之，这篇论文说：“我们找到了一种更好的方法，可以识别出 AI 中哪些部分真正理解并综合长文本中的信息。旧方法只能看到那些进行复制粘贴的部分。通过关闭我们发现的这些新的‘智能’部分，AI 完全失去了基于上下文回答问题的能力，这证明了这些部分才是长上下文理解的真正引擎。”

技术摘要：Logit-Contribution Scoring 识别非字面检索头

1. 问题陈述

大语言模型（LLMs）经常从相关上下文片段的语义含义而非字面复制 Token 来合成答案。虽然现有的机械解释性工作已经识别出了负责上下文访问的“检索头”（retrieval heads），但目前的检测方法在本质上局限于字面检索（literal retrieval）。

现有的检测器（例如 Wu et al., 2025; Fu et al., 2025）依赖于注意力权重可观测值（attention-weight observables）。它们奖励那些被关注的源 Token 与生成的答案 Token 相匹配的头。这种“Token 匹配”标准成功识别了执行复制粘贴操作的头（字面检索），但无法检测执行非字面检索（non-literal retrieval）的头。在非字面场景中，模型可能会关注一个源短语（例如“埃菲尔铁塔”），但通过其输出值（OV）电路合成一个不同的答案 Token（例如“Yuki”）。基于注意力的评分仅捕捉了头在“读”什么位置，却忽略了它在“写”什么内容，从而错失了非字面合成发生的关键机制。

2. 方法论：Logit-Contribution Scoring (LOCOS)

作者引入了 Logit-Contribution Scoring (LOCOS)，这是一种“写感知型”（write-aware）检测器，它根据注意力头对最终答案 Logit 的贡献而非其注意力分布来评估注意力头。

核心机制

LOCOS 将注意力头的操作分解为两个电路：

QK 电路： 决定头在“读”哪里（注意力权重 $\alpha$ ）。
OV 电路： 决定头向残差流“写”什么（输出投影 $W_O v$ ）。

该方法通过将注意力头的 OV 电路输出投影到正确答案 Token 的解嵌入方向（unembedding direction, $u_{y_t}$ ）上，从而为头 $(l, h)$ 评分。

三步程序

逐位置 Logit 贡献：
对于生成 Token $y_t$ 的解码步骤 $t$ ，通过头 $(l, h)$ 对源位置 $j$ 的贡献计算如下：
$\phi^{(l,h)}_{t,j} = u_{y_t}^\top o^{(l,h)}_{t,j} = \alpha^{(l,h)}_{t,j} \cdot u_{y_t}^\top W^{(l,h)}_O v^{(l,h)}_{t,j}$
该标量 $\phi$ 捕捉了完整的流水线：一个头即使拥有高注意力 ( $\alpha$ )，如果其 OV 输出与答案方向正交，其贡献也可能接近于零。相反，一个具有中等注意力的头，如果其 OV 电路将关注的表示转化为与答案对齐的向量，则可以具有高贡献。
空间对比：
为了分离检索特有的信号，LOCOS 将来自针尖（needle）位置（相关上下文范围 $[s_\tau, e_\tau)$ ）的贡献与非针尖（off-needle）位置进行对比。
$\Phi^{(l,h),+}_t = \sum_{j \in \text{needle}} \phi^{(l,h)}_{t,j}$
$\Phi^{(l,h),-}_t = \frac{e_\tau - s_\tau}{N_t - (e_\tau - s_\tau)} \sum_{j \notin \text{needle}} \phi^{(l,h)}_{t,j}$
重缩放因子确保非针尖之和在长度上与针尖之和具有可比性。单个步骤的分数是两者的差值： $\Phi^{(l,h),+}_t - \Phi^{(l,h),-}_t$ 。这种空间对比（单步内的针尖 vs. 非针尖）取代了先前工作中使用的时间对比（答案 vs. 非答案步骤）。
聚合：
最终得分 $S_{l,h}$ 是在模型生成正确答案的所有解码步骤中，这些空间对比的平均值，并在所有成功尝试的基准测试中进行聚合。负分表示其对答案 Logit 的贡献主要源自非针尖位置的头。

3. 核心贡献

写感知检测： 本文确立了识别非字面检索需要测量 OV 电路的输出，而不仅仅是注意力权重。
LOCOS 算法： 一种单次前向传播方法，通过将贡献投影到答案 Logit 上，并对比针尖与非针尖来源来为头评分。
因果验证： 通过均值消融（mean-ablation）实验，作者证明了 LOCOS 能够识别出对非字面检索具有因果关键作用的头，而基于注意力的基准方法则无法做到这一点。

4. 实验结果

该方法在 NoLiMa 基准测试（一个非字面“大海捞针”任务）上进行了评估，涵盖了三个模型家族：Qwen3 (8B, 14B, 32B)、Gemma-3 (12B, 27B) 和 OLMo-3.1 (32B)。

消融性能 (NoLiMa)

优越的退化性： 与所有基于注意力的基准方法（Wu/NIAH-scored, Wu/NoLiMa-scored 以及随机头）相比，对前 $k$ 个 LOCOS 头进行均值消融会导致 ROUGE-L 更剧烈的下降。
Qwen3-8B 个案研究： 消融前 50 个 LOCOS 头使 ROUGE-L 从 0.401 骤降至 0.000。相比之下，最强的注意力基准（Wu/NIAH）在相同深度下仍保留了 0.292 的 ROUGH-L。
特异性： 消融 LOCOS 头会严重破坏上下文检索，但对参数化召回（例如城市-国家关联）和算术推理几乎没有影响。这证实了所识别的头是检索特有的，而非通用的重要输出头。

字面 vs. 非字面特异性

消融前 $k$ 个 LOCOS 头会同时降低非字面 (NoLiMa) 和字面 (NIAH) 检索的表现。
然而，在 NoLiMa 上的下降幅度显著更高。这表明虽然 LOCOS 捕捉了与两种机制都相关的头，但它能独特地识别出负责非字面合成的子集，而这是 Token 匹配检测器所遗漏的。

下游迁移

在下游长文本基准测试（MuSiQue 和 BABILong）中，消融前 50 个 LOCOS 头会导致性能显著下降，尤其是在 Qwen3 系列上（例如，Qwen3-8B 在 MuSiQue 上的准确率从 0.55 降至 0.08）。
LOCOS 与基于注意力的基准之间的排名随基准测试的不同而变化，这表明多跳问答任务同时征用了字面和非字面的检索电路。

层分布

对于 Qwen3 系列和 Gemma-3-27B，LOCOS 分数高度集中在后层。
作者指出，这种集中可能受到“直接路径假设”（靠近输出的头对 Logit 的影响更直接）的影响，但因果补丁（causal patching）实验表明，后层模式并非仅仅是人工痕迹。

5. 重要性与主张

本文声称 LOCOS 提供了首次对非字面检索头的机械性识别。

先前工作的局限性： 现有的检测器由于奖励那些被关注的 Token 与生成的 Token 相匹配的头，因此对非字面检索是“盲目”的。这忽略了那些关注一个源并合成不同答案的头。
机械性洞察： 通过测量 OV 电路向答案方向的投影，LOCOS 捕捉了合成所需的“写”操作。
实际效用： 被识别出的头对于长文本推理具有因果关键性。这一发现对于以下方面具有意义：
- 可解释性： 为 LLM 如何访问和合成上下文提供更准确的映射。
- 效率： 通过仅保留负责检索的特定头，而非采用统一或基于注意力的启发式方法，实现更具针对性的 KV 缓存压缩。
- 缓解幻觉： 提供一种识别并干预未能正确检索相关上下文之头的机制。

作者对泛化性保持谨慎，指出其发现是针对所测试的架构（标准仅解码器 Transformer）和 NoLiMa 基准测试的。他们并不声称 LOCOS 识别了所有检索机制，而是强调其成功分离了被 Token 匹配标准所遗漏的子集。