💬 NLP

Do Language Models Encode Knowledge of Linguistic Constraint Violations?

本文利用稀疏自编码器和合取证伪框架，探究大语言模型是否为语言约束违反编码了特定表征，最终发现跨不同语法现象的统一违反检测器证据有限。

原作者： Hardy, Sebastian Padó

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Hardy, Sebastian Padó

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象大型语言模型（LLMs）是才华横溢的厨师，能烹制出听起来完美无瑕的句子。它们知道"The cat sat on the mat"（猫坐在垫子上）和"The cat sat on the table"（猫坐在桌子上，这没问题）与"The cat sat on the table"（等等，这也行）之间的区别。让我们试试："The cat sat on the mat"（没问题）vs. "The cat sat on the mat"（没问题）vs. "The cat sat on the mat"（没问题）。好吧，让我们尝试一个真正的语法错误："The cat sit on the mat."

我们知道这些 AI 厨师能分辨出差别，但它们如何知道的呢？它们的“大脑”里是否有一个特定的、微小的“语法警察”开关，仅在听到错误时才会启动？还是说情况比这更混乱？

这篇论文就像一支侦探团队，试图在 AI 的“大脑”中找到那个特定的“语法警察”开关。

调查：寻找“错误警报”

研究人员有一个假设：他们认为 AI 拥有特定的内部“特征”（就像微小的开关或警报），充当检测器。当 AI 听到包含语法违规的句子（如"The cat sit"）时，这些特定的开关应该会明亮地亮起。而当 AI 听到完美的句子时，这些开关应保持关闭。

为了找到这些开关，他们使用了一种名为**稀疏自编码器（SAE）**的特殊工具。

类比：想象 AI 的“大脑”是一个巨大而混乱的管弦乐队，每种乐器都在同时演奏一点点所有内容（多义性）。很难听清“违规”信号，因为它与“含义”信号混杂在一起。SAE 就像一位超级先进的音响工程师，将管弦乐队分离成独立的、纯净的乐器。现在，我们不再面对杂乱的声墙，而是可以观察某一把特定的小提琴，并说：“啊，这把小提琴只在出现语法错误时才会演奏。”

测试：“三振出局”规则

研究人员并不只是想找到一个为坏句子亮起的开关。他们想证明这是一个专用的语法检测器。因此，他们设立了一个严格的三振出局规则（一种“合取证伪框架”），一个特征必须通过这三项测试才能被视为真正的“语法警察”检测器：

第一振（警报）：如果我们关闭这个开关，AI 应该突然认为一个糟糕的句子听起来更好（因为我们移除了告诉它“这是错的”的警报）。
第二振（稳定性）：如果我们关闭这个开关，AI 对好句子的看法应完全不变。该开关必须如此具体，以至于它不会干扰完美的句子。
第三振（偏好）：该开关对坏句子的影响必须远大于对好句子的影响。它需要是一个专家，而不是通才。

结果：搜索一无所获

该团队在 6 种不同的 AI 模型上测试了 13 种不同的语法规则（如主谓一致、代词等）。

坏消息（针对该假设）：
他们寻找的“语法警察”开关似乎并不存在，至少不是他们希望的那种形式。

第一振通常通过了：他们发现了一些开关，当关闭它们时，AI 会觉得坏句子“没那么错了”。这意味着 AI 确实拥有某种内部错误信号。
但第二振和第三振失败了：问题在于这些开关并不具体。当他们关闭一个对错误有反应的开关时，也会扰乱 AI 对完美句子的理解。
- 隐喻：这就像发现一个在你烤焦吐司时会响的烟雾探测器。太棒了！但如果你拔掉它的插头，房子也会失去供暖，灯光也会熄灭。这个“探测器”不仅仅是一个烟雾警报器；它是整个供暖系统的一部分。AI 的“错误信号”与其对句子流畅度的整体感知纠缠在一起。

结论

该论文得出结论：虽然 AI 模型确实知道语法违规，但它们并没有将这种知识存储为整齐、孤立的、仅在出错时触发的“违规检测器”。

相反，这种知识是纠缠的。AI 识别错误的能力与其理解句子流畅性的整体能力混杂在一起。不存在一套统一的、适用于所有类型错误的“语法警察”特征。AI 没有一个专用的“错误按钮”；它拥有一个复杂而混乱的信号网络，其中“错误”部分很难与“含义”部分分离开来。

简而言之：AI 知道它是错的，但它没有一个特定的、孤立的“我错了”开关。这更像是一种直觉，与其整体的语感混淆在一起。

技术摘要：语言模型是否编码了语言约束违反的知识？

问题陈述
尽管大语言模型（LLM）在语言基准测试中表现出强劲的性能，并能从原始文本中泛化语法规律，但使其能够区分合乎语法与不合语法句子的内部机制仍不明确。具体而言，LLM（尤其是基于 Transformer 的架构）是否编码了特定的“检测器特征”，这些特征在遇到语法违反时会被激活，从而降低句子的对数似然值，这仍是一个未解之谜。本研究调查了以下假设：LLM 拥有语言约束违反的潜在表示（在 Hu 等人 2026 年的框架中记为变量 $G$ ），这些表示在处理不合语法输入时会被选择性激活。

方法论
本研究采用机械可解释性方法，利用稀疏自编码器（SAE）将 LLM 的多义激活分解为稀疏的、单义的特征。

数据集：作者利用了 BLiMP 基准（Warstadt 等人，2020），该基准提供了 13 种语言现象。每种现象由最小对组成，其中合乎语法的句子（ $x_{good}$ ）与不合语法的句子（ $x_{bad}$ ）仅相差一个词。该设计在保持语义信息（ $m$ ）恒定的同时，变化了语法约束（ $G$ ）。
模型：实验在三个系列的六个模型上进行：GPT-2（small）、Gemma-3（270M、1B、4B）以及 Qwen3.5（2B、9B）。
特征分解：预训练的 SAE（来自 SAELens、Qwen Scope 和 Gemma Scope 2）被应用于特定层（模型深度的 25%、50%、65% 和 85%）的残差流。
敏感度分数（ $\Phi$ ）：引入了一种敏感度分数，用于根据 SAE 特征在约束违反输入相对于合乎语法输入上的优先激活程度对其进行排序。具有高正 $\Phi$ 分数的特征被选为候选的违反检测器。
合取证伪框架：为了验证候选特征是否真正编码了违反检测器，本研究通过定向特征消融提出了三个联合评估标准：
1. F1（对违反的因果效应）：消融候选特征必须显著增加不合语法句子的对数似然值，与随机对照相比。
2. F2（非违反的稳定性）：消融不得显著降低合乎语法句子的对数似然值（稳定性阈值 $|\bar{M}_{good}| < 0.05$ ）。
3. F3（优先效应）：由消融引起的偏好差距（好 vs. 坏）的变化必须严格为正，且显著大于随机对照，以确保该效应是选择性地针对违反的。

主要贡献

敏感度分数（ $\Phi$ ）：一种无监督指标，用于识别由约束违反输入优先激活的特征，从而能够在没有标记监督的情况下定向选择候选违反特征。
合取证伪框架：一个严格的三项标准测试（F1、F2、F3），旨在区分真正的违反特异性检测器与仅仅与整体流畅度或句子似然值相关的特征。
实证分析：对 13 种语言现象和六个模型进行了全面评估，结果显示，虽然模型包含与违反相关的信息，但在当前的干预框架下，这些信息无法被清晰地分离为统一的、选择性的检测器。

结果
关于统一的选择性违反检测器的假设，实证结果总体上是负面的：

F1 表现：因果效应标准（F1）在模型和现象中广泛通过。高 $\Phi$ 特征与约束违反输入相关，因为移除它们会增加不合语法句子的似然值。
F2 和 F3 失败：稳定性（F2）和优先效应（F3）标准在大多数情况下未能通过。被识别为对违反敏感的特征，往往也会因果性地影响合乎语法的句子（违反 F2），或者以相当的幅度影响语法正确和语法错误的句子（违反 F3）。
联合满足：在所有模型中，联合标准（F1 $\cap$ F2 $\cap$ F3）仅被一个现象（GPT-2 上的不规则形式）满足。
特征纠缠：结果表明，与违反相关的特征并非孤立的。相反，它们似乎编码了整体流畅度信息，或与代表一般语义信息（ $m$ ）的特征纠缠在一起，使得通过消融难以分离出纯粹的“语法性”变量 $G$ 。

意义与主张
本文结论认为，当前的 LLM 似乎并未编码一组统一的、选择性激活且与一般句子表示因果分离的语法违反检测器。虽然模型拥有与语法违反相关的信息，但在当前的干预框架下，这些信息无法与更广泛的句子级表示清晰地分离。

作者假设，负面结果可能源于：

敏感度分数未能发现满足 F2 和 F3 的特征。
SAE 未能恢复对应于 F2 和 F3 的特征，这些特征可能被吸收到了其他特征中。
相关特征分布在多个层中，而非局限于单层。

本研究并不声称完全证伪语法表示的存在，而是强调了当前机械可解释性工具（特别是 SAE 和消融）在分离这些特定潜在变量方面的局限性。该工作的主张较为谨慎，指出主要发现是负面的，并认为针对惊讶度（surprisal）或语义异常的替代框架可能提供互补的视角。

调查：寻找“错误警报”

测试：“三振出局”规则

结果：搜索一无所获

结论

类似论文