💬 NLP

Do Language Models Know What Not to Say? Causal Evidence for Statistical Preemption in LLMs

本文提供了大型语言模型通过统计阻断习得语言不可接受性知识的首个因果证据，证明对常规形式的接触通过分布竞争而非单纯的动词固化，抑制了结构上可能但未被证实的替代形式。

原作者： Dongxin Guo, Jikun Wu, Siu Ming Yiu

发布于 2026-05-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Dongxin Guo, Jikun Wu, Siu Ming Yiu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用简单语言和创造性类比对这篇论文的解读。

核心问题：我们如何学会“不该说什么”？

想象一个正在学说话的孩子。他们听到父母说：“我把书捐给了图书馆。”最终，孩子会意识到，说“*我把图书馆捐了书”听起来是错的。

这里有个谜题：孩子从未被告知“别那样说”。他们从未听过纠正。事实上，他们正在避免的那种句子结构（“双宾语”版本）对其他词来说完全行得通，比如“给”（“我把书给了图书馆”）。

那么，大脑是如何知道要停止使用某种本可成立的模式，仅仅因为它没在特定词汇上被这样使用过呢？这就是著名的贝克悖论。

理论：“拥挤的房间”类比

这篇论文测试了一种称为统计阻断（Statistical Preemption）的理论。

想象一个拥挤的房间，每个人都在试图传达信息。

该理论：如果你想告诉别人你给了他们某样东西，而你看到房间里 99% 的人都说“我把书给了那个人”，你的大脑就会学会这是“标准”说法。尽管你可以在物理上说“我把那个人给了书”，但你的大脑会意识到：“哦，对于这种特定动作，其他人都用‘给……给’的版本。如果我用另一种版本，别人可能会觉得我很奇怪或错了。”
竞争观点（固化）：一种竞争理论认为，你之所以不再使用新模式，仅仅是因为你听过“捐赠”这个词太多次，在任何语境下都是如此。这就像说：“我听过‘捐赠’太多次，以至于我固守成规，不愿尝试任何新事物。”

作者想知道：人工智能语言模型（LLM）它们是否仅仅通过注意哪种版本是“拥挤房间”里的宠儿，就能学会“不该说什么”？

实验：AI 作为超级学习者

研究人员将大型语言模型（如 GPT-2、LLaMA 和 Pythia）视为“超级学习者”。这些模型阅读了数十亿个句子，但从未被教授过语法规则。它们只是吸收了统计数据。

研究人员在 120 个不同的动词（如 donate, give, explain, pour）上测试了这些模型，涉及三种类型的句子结构。

1. “惊讶”测试（相关性）

研究人员测量了 AI 对不同句子结构的“惊讶”程度。

隐喻：想象 AI 是一个播放音乐的 DJ。如果一首歌完美契合氛围，人群（AI）就会平静。如果一首歌很奇怪且格格不入，人群就会感到“惊讶”（AI 的内部警报响起）。
结果：AI 对不自然的句子（如"*我把图书馆捐了书”）表现出高度“惊讶”，而对自然的句子则保持平静。这种模式与人类的判断几乎完全吻合。当人类认为某句话很奇怪时，AI 也会对其感到“惊讶”。

2. “拥挤房间”与“名人”测试（分离性）

这是最关键的部分。他们需要证明 AI 避免该句子并非仅仅因为该词很出名（固化），而是因为一个特定的竞争者胜出（阻断）。

设置：他们挑选了两组动词。
- A 组（“拥挤房间”）：其中一种特定句子结构占主导地位的动词（例如，donate 几乎总是与"to"连用）。
- B 组（“名人”）：使用频率非常高，但以多种方式使用，且没有单一“赢家”的动词。
结果：AI 仅在A 组中避免了奇怪的句子结构。对于 B 组，即使这些词很出名，AI 也不介意尝试奇怪的结构。
结论：AI 并非仅仅因为某个词常见而避免某些用法。它之所以避免，是因为它已经学会另一种特定的说法才是标准。这证明了“统计阻断”理论是正确的。

3. “规模很重要”测试（扩展性）

他们测试了不同规模的模型，从小型（像袖珍计算器）到巨型（像超级计算机）。

隐喻：这就像训练一只狗。小狗可能会犯错，但受过高度训练的狗懂得规则。
结果：随着 AI 模型变得更大，它们识别“错误”句子的能力变得更强。然而，这并非突然翻转的魔法开关，而是一种平稳、稳定的进步，就像学生随着时间推移成绩越来越好。

4. “重连”测试（因果证明）

为了证明这不仅仅是巧合，他们对一个小规模 AI 模型进行了“手术”。

操作：他们取了一个模型，并为其提供额外的训练数据。
- 情景 1：他们让句子的“正确”版本出现的频率增加了 3 倍。
- 情景 2：他们让“错误”版本出现的频率增加了 3 倍。
结果：
- 在情景 1 中，AI 对避免错误句子变得更加严格。
- 在情景 2 中，AI 变得不那么严格，但变化幅度不如情景 1 那么大。
结论：这证明了 AI 的行为直接由竞争句子的频率引起。如果你改变输入统计信息，你就会以可预测的方式改变 AI 的“语法”。

核心结论

该论文得出结论：神经语言模型学会“不该说什么”的方式与人类完全相同：通过统计竞争。

它们不需要老师说“那是错的”。它们只需要听到足够多次的“正确”说法，让大脑（或代码）意识到：“哦，那是标准说法。另一种说法被阻断了。”

这解决了一个关于人类如何在没有负面反馈的情况下学习语言的几十年难题，表明分布统计（统计事物发生的频率）足以教会我们语法规则。

技术摘要：大语言模型中统计预阻断的因果证据

问题陈述
本文探讨了“贝克悖论”（Baker's Paradox），这是语言习得中的一个根本性谜题：学习者如何在从未被明确告知某些句子错误的情况下，习得关于“不可接受性”的知识（即负面证据）。在构式语法（Construction Grammar）的语境下，两个相互竞争的理论试图解释这种“从过度概括中的退缩”：

统计预阻断（Statistical Preemption）： 学习者通过追踪特定、常规的竞争形式的频率来习得负面知识（例如，频繁听到“将书捐赠给图书馆”[donated the books to the library] 会预阻断未经验证的"*将图书馆捐赠给书”[*donated the library the books]）。
固化（Entrenchment）： 学习者抵制新颖构式，仅仅因为该动词在任何构式中被频繁遇到，从而降低了将其用于新框架的意愿。

尽管行为学研究一直在争论这些机制，但本文提出，大语言模型（LLMs）仅基于分布统计进行训练，未接受显式语法指导，这为测试仅靠分布学习是否足以习得此类负面知识提供了一个受控环境。

方法论
作者进行了四项实验，涵盖三种交替类型（与格、使役、处所）中的 120 个英语动词 - 构式配对。研究评估了来自四个模型家族（GPT-2、Pythia、LLaMA-2、OLMo）的 14 个模型，参数量范围从 1.24 亿到 700 亿。

联结假设： 本研究使用词级困惑度（surprisal， $S(w_t) = -\log_2 P(w_t | w_{<t})$ ）作为人类可接受性的代理指标。关键指标是“非常规”（被预阻断的）形式与“常规”形式之间的困惑度差异（ $\Delta S$ ）。
实验 1（相关性）： 测试大语言模型的 $\Delta S$ 模式是否与三个独立数据集（DAIS、Robenalt & Goldberg、Tachihara & Goldberg）中的人类可接受性判断相关联。
实验 2（解离）： 采用**+竞争/−竞争**设计（改编自 Winkler 等人，2015），以将预阻断与固化区分开来。动词在总体频率上相匹配，但在是否存在特定的竞争常规形式上有所不同。研究针对人类数据采用了非循环偏相关分析，以确保结果并非共享语料库统计的产物。
实验 3（扩展性）： 分析了不同模型规模（Pythia 模型中从 1.6 亿到 120 亿参数）的预阻断敏感性，以确定该效应是否按幂律扩展。
实验 4（因果干预）： 对 GPT-2 124M 模型进行了受控微调，操纵了频率。测试了三种条件：
- 增强（Amplified）： 增加常规形式的频率。
- 减弱（Attenuated）： 使两种形式的频率相等。
- 反转（Reverse）： 增加非常规形式的频率（作为控制，以排除简单的频率敏感性）。
- 该实验在五个随机种子下进行了复现。

主要结果

人类 - 大语言模型对齐： 大语言模型的困惑度模式与人类可接受性判断高度相关（LLaMA-2 7B 针对 DAIS 基准的 $r = 0.79$ ），并在三个独立的行为数据集上得到验证。
预阻断与固化： 观察到的效应是由竞争形式的频率驱动的，而非动词的总体频率。在 +竞争/−竞争设计中，具有竞争常规形式的动词显示出显著更高的 $\Delta S$ ，高于频率匹配但无此类竞争者的动词。偏相关分析证实，预阻断解释了人类数据中的方差（ $r_{partial} = 0.58$ ），而固化则不能。
扩展性： 预阻断敏感性随模型规模按幂律扩展（ $r(N) = a \cdot N^b + c$ ），指数 $b \approx 0.092$ ，表明存在边际收益递减，但没有突然的相变。
因果证据： 微调干预因果性地改变了预阻断行为。增加常规形式的频率增强了预阻断（ $\Delta \Delta S = +0.73$ ），而增加非常规形式的频率产生的影响显著较弱（ $\Delta \Delta S = -0.29$ ）。这种不对称性支持了预阻断通过既定替代方案的抑制力运作的理论，而非简单的频率敏感性。

意义与主张
本文声称提供了首个计算研究，利用大语言模型在单一汇聚设计中直接解离统计预阻断与固化。其主要贡献包括：

机制验证： 证明了神经语言模型通过分布竞争习得负面语言知识，支持了构式语法的核心机制。
因果证明： 通过受控微调和反向方向控制，提供了因果证据，表明操纵竞争形式的频率会按预阻断理论预测的方向改变模型行为。
方法严谨性： 通过使用针对人类数据的非循环偏相关分析，并采用反向方向控制以排除同义反复的频率敏感性解释，解决了先前工作中的循环性问题。
可推广性： 研究结果在多种构式类型（与格、使役、处所）和模型架构中均成立。

作者将其工作定位为对现有因果研究（如 Yao 等人，2025；Misra 和 Mahowald，2024）的补充，指出虽然他们不声称拥有“因果”证据的独家优先权，但他们特定的预阻断 - 固化解离、非循环验证以及反向方向不对称控制的组合，提供了一条稳健的、汇聚的证据链。研究结论认为，对于英语而言，贝克悖论的答案在于分布学习：模型发展出的预阻断敏感性由常规竞争者的频率塑造，这与人类的习得过程相镜像。