💻 computer science

How Language Models Process Negation

本文研究了大型语言模型中否定的机制性处理，揭示出尽管准确率低下源于高层注意力捷径，但模型内部同时采用了抑制性和建构性机制——其中后者占主导地位——以正确处理否定短语。

原作者： Zhejian Zhou, Tianyi Zhou, Robin Jia, Jonathan May

发布于 2026-05-06

📖 1 分钟阅读☕ 轻松阅读

原作者： Zhejian Zhou, Tianyi Zhou, Robin Jia, Jonathan May

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，将大型语言模型（LLM）比作一位技艺高超但略显分心的图书管理员，正在尝试回答一个问题。你提供的论文《语言模型如何处理否定》（"How Language Models Process Negation"）探讨了当你提出一个涉及“不”字的棘手问题时，这位图书管理员的“大脑”内部会发生什么。

以下是他们研究发现的简述，分解为几个简单的概念。

1. 问题：图书管理员被“不”字搞糊涂了

研究人员最初有一个简单的观察：如果你问现代人工智能“什么动物不是两栖动物？”，它往往会给出错误的答案，比如“青蛙”（而青蛙是两栖动物）。这看起来像是人工智能完全忽略了“不”字。

然而，这篇论文揭示了一个令人惊讶的反转：人工智能实际上完全理解“不”字。 只是它的理解被一层坏习惯所掩盖。

2. 两种竞争机制：“构建”与“捷径”

为了理解人工智能是如何思考的，研究人员考察了它处理否定句的两种不同方式。他们将这两种方式比作人们解决谜题的两种不同方法：

假设 1：“抑制”策略（橡皮擦）
想象你有一份动物清单。要回答“不是两栖动物”，你会拿出清单，找到“两栖动物”，然后用橡皮擦把它们划掉。剩下的就是其他所有东西。
- 论文的发现： 人工智能确实会这样做一点点，但这并不是它运作的主要方式。
假设 2：“构建”策略（建筑师）
想象一下，人工智能不是擦除，而是构建一个全新的心理图景。当它听到“不是气体”时，它不仅仅是想到“气体”然后划掉它。它会在脑海中主动构建一个新的概念：“固体”。它构建了一个关于对立面是什么样子的心理模型。
- 论文的发现： 这才是赢家。 人工智能主要像一位建筑师。它主动构建否定概念的代表（例如，将“不是气体”转化为“固体”），并利用这一代表来寻找答案。

3. 反派：“捷径”习惯

那么，既然人工智能如此擅长构建这些“否定概念”，为什么它仍然会答错呢？

论文识别出人工智能“大脑”中的一群“坏分子”，具体位于较深层（即人工智能开口说话前的最后步骤）。研究人员称这些为**“捷径注意力头”**。

类比： 想象人工智能是一个正在参加考试的学生。这个学生知道正确答案（因为他构建了“不是气体”=“固体”的概念）。但是，就在他写下答案之前，他大脑中一个懒惰的部分窃窃私语：“嘿，我在训练数据中见过‘两栖动物’和‘青蛙’这两个词一起出现过一百万次。直接写‘青蛙’吧，省点时间！”
结果： 这种“捷径”压倒了聪明的“构建”工作。人工智能忽略了逻辑，仅仅根据哪些词通常一起出现来进行猜测。

4. 解决方案：关掉坏习惯

研究人员测试了一个巧妙的技巧来证明这一点。他们使用了一种称为**“注意力下沉”**（Attention Sinking）的方法。

类比： 想象你在听一个合唱团。“捷径”就像是后排一个声音很大、跑调的歌手，淹没了独唱者。研究人员并没有试图教合唱团唱得更好，而是简单地让那个声音很大、跑调的歌手静音。
结果： 当他们“静音”（消融）了这些位于较深层的特定捷径模块后，人工智能在否定问题上的准确率飙升。它突然开始给出正确的答案，这证明了理解否定的能力一直存在，只是被捷径所掩盖。

5. 思想的旅程

这篇论文精确地描绘了思想在人工智能内部的传递过程：

早期层（搬运工）： 人工智能接收“不”字，并将其含义在物理上移动到紧邻它所否定的词的位置（例如，将“不”移动到“气体”旁边）。
中间层（构建者）： 奇迹发生在这里。人工智能构建新概念（“固体”）并将其向前推进。同时，它微弱地尝试抑制旧概念（“气体”）。
晚期层（破坏者）： 就在人工智能即将开口说话时，“捷径”头开始起作用。它们看到“气体”和“两栖动物”这两个词，试图强行将答案拉回到最常见的关联上，忽略了人工智能刚刚构建的“固体”概念。

总结

论文得出结论：大型语言模型并不擅长理解“不”字。它们实际上非常擅长，利用一种复杂的“构建”方法来构建否定短语的含义。

然而，它们被训练过程中学到的坏习惯（捷径）所淹没。这些捷径非常强大，经常覆盖正确的逻辑，导致错误。通过识别并暂时关闭这些捷径，研究人员表明，人工智能真正的逻辑能力远比其最终输出所显示的要强大得多。

简而言之： 人工智能知道答案，但它有一个走捷径的坏习惯。如果你阻止它走捷径，它就能答对。

技术摘要：语言模型如何处理否定

问题陈述
大型语言模型（LLM）在处理涉及否定的查询时经常失败（例如，“一种不是两栖动物的动物是__"），往往输出正面概念（“青蛙”）而非正确的否定概念（“狗”）。尽管先前的机械可解释性（MI）研究已确立模型通过证据的加性聚合来处理事实回忆，但否定并不符合这一范式。本文调查了大型语言模型的内部机制，以确定它们是否具备处理否定的能力，以及如果具备，为何这种能力未能体现在最终输出中。作者针对模型如何处理否定的两个竞争性假设进行了探讨：抑制假说（模型促进相关概念并抑制被否定的标记）和构建假说（模型显式地为否定短语构建新的表示，例如将“不是气体”表示为“固体”的向量）。

方法论
本研究采用了一个包含 648 个提示的受控数据集，形式为"X 不是 Y 而是 Z"，使用的模型包括 Llama-3.1-8B、Mistral-7B 以及各种 OLMo2 检查点。作者应用了一系列观察性和因果可解释性技术：

敏感性指标：作者定义了一种基于对数几率差异的敏感性指标，以确定模型是否在内部区分正面和负面提示，即使准确率较低。
注意力下沉（Attention Sinking）：一种受注意力下沉现象启发的新颖消融方法。通过限制注意力头仅关注自身和第一个标记，作者有效地使特定的注意力模块失效。他们应用累积注意力下沉（从特定点到末尾消融所有层），以识别“捷径”机制所在的层。
路径修补（Path Patching）和 LogitLens：这些技术用于追踪因果路径。路径修补将负面提示的注意力输出替换为正面提示的注意力输出，以观察预测翻转。LogitLens 将中间隐藏状态投影到词表上，以解释内部表示的语义内容。
稀疏自编码器（SAEs）：用于将 MLP 输出分解为稀疏潜在特征，从而识别促进否定概念的具体神经元。
基于 LLM 的标注：使用外部 LLM（gpt-oss-120b）的自动化流水线，对内部注意力头所促进的标记是否与“非 Y"或原始概念"Y"在语义上相关进行标注。

主要发现

机制共存：本文证明，大型语言模型拥有能够正确处理否定的内部机制，但这些机制往往被后期层中的“捷径”机制所掩盖。
捷径注意力头：作者识别出模型中至后期层（通常超过模型深度的 50%）中的特定注意力头，这些头在负面提示上促进正面答案。这些头依赖于虚假相关性（例如“两栖动物”和“青蛙”的共现），而非逻辑否定。通过注意力下沉消融这些头，显著提高了否定准确率（例如，在 Llama-3.1-8B 上从约 50% 提升至约 68%）。
以构建为主导的处理：正确否定的主要机制是构建，而非抑制。
- 早期/中期层：注意力头将否定标记（“不”）的表示移动到被否定概念（"Y"）的位置。
- 中期层构建：因果上重要的注意力模块（在 Llama-3.1-8B 中约为第 14 层）显式地构建否定表示（ $\bar{Y}$ ）。LogitLens 分析显示，这些层在超过 80% 的情况下促进与否定概念语义相关的标记（例如，将“不是气体”对应为“固体”）。
- 抑制：虽然模型确实抑制了原始概念"Y"，但其程度小于对否定概念的构建。
MLP 的作用：后期层的 MLP 放大了构建的否定表示，促进正确的最终答案。SAE 分析揭示了直接实例化这些否定概念的具体潜在特征。
预训练起源：导致失败的捷径机制可追溯至预训练的早期阶段，模型在此阶段形成了在负面提示上倾向于正面答案的偏差。

主要贡献

否定失败的诊断：作者表明，大型语言模型在否定任务上的失败并非由于缺乏内部能力，而是后期层中捷径机制占主导地位所致。
干预方法：引入注意力下沉作为一种即插即用的干预手段，无需额外训练即可缓解捷径行为并恢复否定准确率。
机制性解释：提供了否定处理的详细因果图谱，确立了模型同时实现了构建和抑制，其中构建是主导机制。本文系统地识别了注意力如何将“不”移动到"Y"，如何构建 $\bar{Y}$ ，以及 MLP 如何促进最终答案。

意义
本文认为，低下的黑盒准确率可能掩盖了有能力的内部机制的存在。通过揭示大型语言模型是竞争机制（正确的否定处理与捷径启发式）的集合，这项工作强调了彻底检查模型内部以全面审计模型能力的必要性。研究结果加深了我们对大型语言模型如何执行组合推理的理解，并表明“构建”是比此前假设更为核心的否定计算策略。作者得出结论，他们的工作通过理解和缓解这些竞争的内部机制，为构建更稳健、更可靠的大型语言模型奠定了基础。

1. 问题：图书管理员被“不”字搞糊涂了

2. 两种竞争机制：“构建”与“捷径”

3. 反派：“捷径”习惯

4. 解决方案：关掉坏习惯

5. 思想的旅程

总结

类似论文