💬 NLP

Failure by Interference: Language Models Make Balanced Parentheses Errors When Faulty Mechanisms Overshadow Sound Ones

本文揭示了语言模型在括号平衡任务上的失败是由于错误的机制掩盖了可靠的机制所致，并引入了 RASteer，这是一种通过放大可靠组件且不损害通用编程能力的转向方法，将准确率提升至接近 100%。

原作者： Daking Rai, Samuel Miller, Kevin Moran, Ziyu Yao

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Daking Rai, Samuel Miller, Kevin Moran, Ziyu Yao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一支由 100 位专家组成的团队，正齐心协力解决一个谜题。这个谜题很简单：确保一行代码中的所有括号都是平衡的。 例如，如果你打开了一个括号 (，你必须用 ) 来闭合它。

你会认为一个超级聪明的 AI（大语言模型）应该对此驾轻就熟。但令人惊讶的是，即使是最高级的 AI 也经常失败，尤其是当括号像 ((())) 这样堆叠起来的时候。

这篇名为**《因干扰而失败》（Failure by Interference）**的论文，研究了为什么会发生这种情况，以及如何在不重新训练 AI 的情况下修复它。

问题所在：一个嘈杂的专家室

研究人员发现，AI 做决策时并不只依赖于一个“大脑”，而是使用成千上千个微小的内部组件（称为注意力头和神经元），它们同时发出自己的建议。

把这想象成一个拥挤的房间，每个人都在为下一个词进行投票：

声音机制： 房间里的少数专家其实非常擅长计算括号。他们准确地知道何时该闭合括号。
有缺陷的机制： 房间里的其余部分则是嘈杂的。有些专家很困惑，有些在瞎猜，还有一些人在大声喊出错误的答案。

失败的原因： AI 的失败并不是因为它缺乏聪明的专家，而是因为那些嘈杂、困惑的专家喊得比聪明的专家更响亮。聪明的建议被噪音淹没了。论文将此称为“因干扰而失败”。

发现：寻找“超级专家”

研究人员观察了七种不同的 AI 模型（从小型到大型），并发现了一些有趣的现象：

大多数部分是专才： 许多内部组件只能很好地处理简单任务（如一对括号），但当任务变得更难时（如四对括号）就会失效。
某些部分是通才： 极少数的部分极其可靠。无论有多少个括号，它们都能完美运行。
- 例子： 在一个模型（CodeLlama-7b）中，一个微小的部分（一个注意力头）实际上比整个模型本身还要擅长解决这个谜题！

解决方案：RASTEER（音量旋钮）

既然聪明的部件已经存在，只是被忽视了，研究人员发明了一种名为 RASTEER 的方法。

想象 AI 的内部组件是音响系统中的扬声器。

之前： “困惑型”扬声器的音量调到了 10，而“聪明型”扬声器的音量只有 1。结果就是一片混乱的噪音。
RASTEER： 这种方法就像是一个音量旋钮。它识别出那些聪明、可靠的扬声器，并稍微调高它们的音量。它并不禁言其他声音，只是确保聪明的声音足够大，能够盖过噪音。

实验结果：

奇迹般的修复： 对于一些正确率仅为 0% 的模型，通过调高前 10 个聪明部件的音量，它们的准确率提升到了接近 100%。
没有副作用： 至关重要的是，这并没有破坏 AI 编写其他代码的能力。事实上，对于某些模型，它们的通用编程技能甚至略有提升。
同样有效： 他们在数学问题（算术推理）上也进行了测试，并看到了类似的改进（提升高达 20%）。

他们没做的事情（以及应当避免的）

他们没有重新训练 AI： 他们没有喂给 AI 新的数据，也没有改变其大脑结构。他们只是在思考的瞬间调整了 AI 如何使用其现有的部件。
他们没有寻找“电路”： 先前的研究试图绘制出精确的逻辑路径（类似于电路图）来修复错误。研究人员发现这太复杂了，且对较小的模型效果不佳。他们的“音量旋钮”方法更简单且更有效。
他们并未声称这能修复所有 AI 错误： 这专门针对简单的语法任务（如括号和数学），在这些任务中，AI 拥有相关知识，但会被内部噪音搞混。

核心启示

论文的结论是，AI 模型通常是资历过剩但利用不足的。它们拥有解决简单问题的正确工具，但这些工具被埋没在了一座名为“内部噪音”的大山之下。通过简单地“调高音量”来使用那些可靠的工具，我们可以在不需要从头构建模型的情况下，显著提高 AI 在特定任务上的智能水平。

技术摘要：语言模型中的干扰性失效

问题陈述
尽管随着模型规模和训练数据的增加，代码生成能力取得了显著进步，但大型语言模型（LMs）在基础语法任务（特别是生成平衡括号）方面仍然表现挣扎。这种失败在像 GPT-4 和 Phi-3 这样最先进的模型中依然存在。本研究旨在解决的核心挑战是理解导致这些错误的内部机制。作者认为，以往的研究试图逆向工程语言模型的完整计算电路，但即便对于简单的任务，也涉及复杂的“计算包”（bags of computations），这使得自下而上的逆向工程变得困难。本文指出，失败的原因并非缺乏正确的机制，而是由于“干扰”导致的失败，即错误的机制掩盖了正确的机制。

方法论
本研究采用自上而下的可解释性方法，分析了七个参数量从 12.4M 到 7B 不等的语言模型（包括 GPT-2 变体、CodeLlama-7b、Llama2-7b 和 Pythia-6.9b）。该方法包含三个主要阶段：

任务分解与机制识别：
根据分词器行为确定的所需闭合括号数量（ $N=1, 2, 3, 4$ ），将平衡括号任务分解为四个子任务。作者利用“逻辑透镜”（logit lens）技术，将单个组件（注意力头和前馈神经网络神经元）的激活值投影到词表空间中。
- 算法 1 通过检查组件的逻辑投影是否比干扰项产生更高的真值 token 值来衡量任务正确性。
- 算法 2 通过检查组件是否将目标 token 提升至特定阈值以上来识别 token 提升（token promotion）。
机制特征化：
作者将组件分为“可靠机制”（在子任务间具有可靠性和泛化性）和“错误机制”（不可靠且引入噪声）。他们分析了这些组件的精确率和召回率，观察到语言模型严重依赖于“噪声提升”（noisy promotion），即组件会对正确和错误 token 同时进行提升，而不是依赖于高度选择性、高精确度的机制。
RASTEER（排序与转向）：
基于“错误源于故障机制对可靠机制的遮蔽”这一发现，作者提出了 RASTEER。该方法：
- 排序（Ranks） 语言模型组件，基于其可靠性（使用召回率、精确率和 F1 分数等指标）以及跨子任务的泛化能力。
- 转向（Steers） 模型，通过在将组件添加到残差流之前，使用乘数 $\alpha \in [1.1, 2.0]$ 对排名靠前的组件（注意力头或 FF 神经元）的激活值进行缩放。这放大了可靠组件对最终逻辑值的贡献。

核心贡献

机制洞察： 本文揭示了语言模型在处理语法任务时并非依赖单一机制，而是依赖于一组具有不同可靠性的多样化组件。至关重要的是，它指出语言模型的失败并非因为缺失正确的机制，而是因为错误的机制引入了噪声，从而掩盖了正确的机制。
噪声提升： 研究刻画了一种“噪声提升”策略，即组件通常会同时提升正确 token 和干扰 token，其中正确 token 获得的提升更强，但并非排他性的。
RASTEER 框架： 作者引入了一种转向方法，能够系统地识别并放大可靠组件，而无需重建完整的因果电路。
电路基准对比： 本工作将 RASTEER 与源自机械可解释性（激活补丁/activation patching）的“电路基准”进行了对比。结果表明，虽然电路发现对较大的模型有效，但无法为较小的模型提供一致的转向策略，而 RASTEER 在所有规模的模型上均取得了成功。

结果

平衡括号性能： RASTEER 显著提升了平衡括号任务的表现。对于若干模型（如 GPT-2 XL），通过仅转向前 10 到前 60 个注意力头，其在三括号和四括号子任务上的准确率从 0% 提升到了约 100%。
组件有效性： 转向注意力头的效果明显优于转向 FF 神经元。提升排名靠前的注意力头所取得的结果与联合提升相当，而仅提升 FF 神经元则几乎没有带来改善，特别是在较小的模型中。
泛化性：
- 代码生成： 针对括号任务的转向并未降低 HumanEval 基准测试中的通用编程能力。事实上，Llama2-7b 甚至有了 5.49% 的小幅提升。
- 算术推理： 该方法泛化到了两操作数算术推理任务，实现了高达 20.25% 的性能增益（例如 Pythia-6.9b 在乘法任务中）。
电路基准失效： 电路基准未能提升较小模型（GPT-2 变体）的性能，并且在某些情况下，随着提升的组件增多，性能反而下降，这表明被识别为对中间步骤具有因果重要性的组件在被转向时可能会引入不稳定性。

意义与主张
本文主张，语言模型中持续存在的语法错误是由于相互竞争的内部机制之间的干扰，而非其根本无法学习该任务。通过识别出模型内部存在一小部分高度可靠且具泛化性的组件，作者证明了通过放大这些特定的信号可以恢复性能。

这项工作的意义在于它从尝试完全逆向工程复杂电路转向了一种基于组件可靠性的“转向”功能性方法。作者指出，虽然 RASTEER 是有效的，但研究依赖于合成数据，并假设模型计算遵循一个简单的加性模式（即最终的逻辑值是各组件贡献之和）。他们承认，这一假设可能忽略了非加性机制（如主动噪声抑制），这仍是一个开放的研究方向。这项工作表明，功能性可解释性——即专注于用于实际干预的高影响组件——是一种通过无需重新训练即可提高模型性能的、可行且尚未被充分探索的路径。