Manipulating language models' training data to study syntactic constraint learning: the case of English passivization

该研究通过操纵语言模型的训练数据，利用英语被动化例外现象证实了动词的被动化能力既受频率（固化）也受语义（受影响性）的独立影响，并展示了通过控制输入数据来探究语言习得机制的方法论价值。

要点

这篇论文就像是一场**“语言侦探游戏”。研究者们想搞清楚：人类（以及电脑）是怎么学会语言中那些“看似有规则，其实有例外”**的奇怪现象的？

为了讲清楚这个研究，我们可以把语言学习想象成**“学习做菜”**。

1. 核心谜题：为什么有些菜不能“反着做”？

在英语里，大多数动词都可以把“主动语态”变成“被动语态”。

• 主动： 厨师切了苹果。（The chef cut the apple.）
• 被动： 苹果被切了。（The apple was cut by the chef.）
  这就像做菜，通常你可以把“谁做了什么”改成“什么被谁做了”，这很自然。

但是，有些动词绝对不能这么改。

• 主动： 会议持续了一小时。（The meeting lasted one hour.）
• 被动： ❌ 一小时被持续了。（*One hour was lasted by the meeting.）

这就很奇怪了！为什么“切”可以被动，而“持续”就不行？

• 谜题： 小孩子从来没听过“一小时被持续了”这句话（因为没人这么说），他们是怎么知道这句话是错的，而不是仅仅没听过的？这就是语言学里著名的“贝克悖论”（Baker's Paradox）：如何从“没发生”中学到“不可能发生”？

2. 侦探工具：用 AI 当“语言实习生”

研究者没法把人类小孩关起来，只给他们看特定的句子（这太不道德也不现实了）。于是，他们找来了**人工智能（语言模型）**当“实习生”。

• 为什么选 AI？ 因为我们可以完全控制 AI 看到的“教材”（训练数据）。我们可以像编辑食谱一样，故意删掉某些句子，或者把某些词换掉，看看 AI 会怎么反应。这就像给实习生看一本**“被篡改过的菜谱”**，观察他会不会学会错误的做法。

3. 两个嫌疑理论：AI 是怎么猜出规则的？

研究者提出了两个关于“例外”来源的假说，就像两个嫌疑人：

• 嫌疑人 A：频率派（Entrenchment Hypothesis）

  • 比喻： “没见过的就是错的”。
  • 逻辑： 如果一个词（比如“持续”）在“主动句”里出现了 1000 次，但在“被动句”里一次都没出现过，AI 就会想：“哦，看来这个词从来不用被动，那它肯定不能被动。”
  • 核心： 靠统计数字（出现次数）来判断。

• 嫌疑人 B：意义派（Affectedness Hypothesis）

  • 比喻： “只有被‘折腾’过的东西才能被动”。
  • 逻辑： 被动语态通常意味着主语“受到了影响”或“发生了改变”。
    • “切苹果”：苹果被切了，状态变了（从完整变破碎），所以可以被动。
    • “持续一小时”：时间并没有被会议“折腾”或“改变”，它只是在那里流逝，所以不能被动。
  • 核心： 靠语义理解（动作是否改变了对象）来判断。

4. 实验过程：给 AI 的“特训营”

研究者设计了三场实验，就像给 AI 实习生安排了三套不同的“特训”：

• 实验一：先看看 AI 像不像人

  • 让 AI 读 1 亿个单词（相当于人类到青春期看到的语言量）。
  • 结果： AI 的判断和人类高度一致（相关性 0.9）。AI 也知道“持续”不能被动，“切”可以。这说明教材里确实藏着线索。

• 实验二 A：测试“频率派”

  • 操作： 挑几个本来可以被动的好动词（比如“扔”），故意在教材里删掉它们所有的被动句，只保留主动句，让它们的“主动/被动比例”变得和“持续”一样高。
  • 结果： AI 真的开始觉得这些词不能被动了！
  • 结论： 频率确实起作用。如果 AI 很少见到某个词的被动用法，它就会认为那是错的。

• 实验二 B：测试“意义派”

  • 操作： 挑几个本来不能被动的词（比如“持续”），强行把它们放进**“被折腾”**的句子里（比如把“持续”放进“扔”、“打”这种通常有受事者的句子里）。
  • 结果： AI 对这些词的被动接受度稍微提高了。
  • 结论： 意义也有作用。如果 AI 觉得这个词在某种语境下“影响了对象”，它就更愿意接受它的被动形式。

• 实验三：终极对决（新词测试）

  • 操作： 发明一个完全不存在的新词（比如"Zorp"），只让它出现在“主动句”里。
    • 组 1：让"Zorp"在“被折腾”的句子里出现很多次（高受影响）。
    • 组 2：让"Zorp"在“没被折腾”的句子里出现很多次（低受影响）。
    • 同时，改变它出现的总次数（频率）。
  • 结果：
    1. 频率越高，AI 越觉得它不能被动（频率派赢了）。
    2. 语境越“被折腾”，AI 越觉得它能被动（意义派也赢了）。
    3. 关键点： 这两个因素是独立工作的，互不干扰。就像做菜时，盐放多了（频率）和火候太猛（意义）是两个独立的问题。

5. 最终结论：人类和 AI 的异同

• 共同点： 无论是人类小孩还是 AI，学习语言时都在偷偷做两件事：

  1. 数数： “这个词我见过多少次被动用法？”（频率/固化）
  2. 理解： “这个动作会让对象发生变化吗？”（语义/受影响）
     这两者结合起来，让我们学会了哪些动词可以“反着说”，哪些不行。

• 不同点：

  • AI 纯粹靠统计和模式匹配。它没有真实的生活体验，它不知道“苹果被切”意味着苹果真的碎了，它只是看到“切”和“碎”经常一起出现。
  • 人类 除了看统计，还有真实世界的体验（我们知道苹果被切会碎，时间流逝不会碎）。人类的学习还包含社交互动（大人会纠正小孩）。

总结

这篇论文告诉我们：语言学习不仅仅是死记硬背规则，也不是完全靠直觉。它是一场**“统计”与“意义”的合谋**。

• 如果你经常听到“被..."，你就会觉得可以“被..."。
• 如果你发现某个动作没让东西变样，你就会觉得不能“被..."。

研究者通过**“篡改 AI 的教材”**这种巧妙的方法，像做手术一样，精准地切开了语言学习的黑盒，让我们看到了大脑（以及 AI 大脑）是如何从混乱的语言输入中，提炼出那些微妙的语法规则的。

技术摘要

这是一份关于论文《Manipulating language models'training data to study syntactic constraint learning: the case of English passivization》（操纵语言模型的训练数据以研究句法约束学习：以英语被动语态为例）的详细技术总结。

1. 研究问题 (Problem)

自然语言中的语法规则通常伴随着系统性例外。语言学习者如何习得这些例外（即知道哪些动词可以被动化，哪些不可以）？

• 核心挑战（Baker's Paradox）： 许多动词在被动语态中是不合语法的（例如："One hour was lasted by the meeting"），但学习者从未直接被告知这些形式是错误的。他们必须从间接证据中推断出限制。
• 现有假设： 文献中主要提出了两种间接证据来源：
  1. 固化假说 (Entrenchment Hypothesis)： 学习者通过统计分布学习。如果一个动词频繁出现在主动语态但从未（或极少）出现在被动语态中，学习者会推断其不能被动化。
  2. 受影响性假说 (Affectedness Hypothesis)： 基于词汇语义。只有当动词的动作导致其受事（theme）发生状态、位置或存在变化时，该动词才适合被动化（例如，"last"不改变时间，因此不能被动化；"hit"改变受事状态，可以被动化）。
• 研究难点： 在人类语言习得研究中，这两个因素高度相关（低受影响性的动词通常很少被动化），难以通过观察性研究区分其因果作用。

2. 方法论 (Methodology)

作者利用神经语言模型（Neural Network Language Models, LMs）作为语言习得的计算模型，通过操纵训练数据来建立输入与学习结果之间的因果关系。

• 模型架构： 基于 GPT-2 Small (1.17 亿参数) 的 Transformer 模型。
• 训练数据规模： 使用约 1 亿词（100M words）的语料库（OpenWebText 子集），模拟人类儿童在青春期前接触的语言量，而非通常的大规模预训练数据。
• 实验设计：
  • 实验 1 (基准测试)： 比较人类判断与模型判断的相关性。收集人类对 140 对主动/被动句子的接受度评分，并对比模型在相同句子上的概率评分（Passive Drop，即主动句与被动句的对数概率差）。
  • 实验 2A (测试固化假说)： 操纵频率。 选取高频主动、低频被动的“目标动词”（如 last），将其频率分布强加给原本高频被动的“突变动词”（如 drop）。具体操作是从训练语料中移除突变动词的被动句，使其主动/被动比率（A/P ratio）与目标动词一致。
  • 实验 2B (测试受影响性假说)： 操纵语义分布。 选取低受影响性的“突变动词”（如 last），将其放入原本属于高受影响性“目标动词”（如 drop）的主动句语境中（替换动词），使其与典型的施事 - 受事论元共现，从而改变其语义分布特征。
  • 实验 3 (交互作用测试)： 引入全新动词（Novel Verb）。在训练语料中插入仅出现在主动语态的新动词，并控制两个变量：(1) 出现频率（0 到 2000 次）；(2) 语义语境（高受影响性 vs. 低受影响性）。这允许在完全控制输入的情况下测试两个因素的独立贡献及交互作用。

3. 关键贡献 (Key Contributions)

1. 方法论创新： 展示了通过精确操纵语言模型的训练数据（删除、替换、插入句子）来研究语言习得机制的有效性。这种方法克服了人类实验中无法完全控制输入的限制。
2. 因果证据： 首次通过计算实验提供了因果证据，证明**频率不对称（固化）和语义特征（受影响性）**均能独立影响模型对动词被动化能力的判断。
3. 人类与模型的对齐： 证明了在适度规模（1 亿词）的语料训练下，Transformer 模型能习得与人类高度一致的动词被动化判断模式（相关系数 r=0.9），且这种模式不仅仅是基于简单的词频（n-gram），而是捕捉到了更深层的句法和语义约束。

4. 主要结果 (Results)

• 实验 1 (人类与模型对比)：

  • 人类判断显示被动化能力是梯度的（graded），而非二元的。
  • 神经语言模型的判断与人类判断高度相关 ($r = 0.91$)，显著优于基于三词组（trigram）的频率模型 ($r = 0.68$)。
  • 模型成功捕捉到了特定动词类（如 Duration 类）的例外情况，以及同一类别内不同动词的细微差别。

• 实验 2A (固化/频率)：

  • 当人为提高一个原本可被动化动词的主动/被动比率（A/P ratio）时，模型对该动词被动形式的接受度显著下降（Passive Drop 增加）。
  • 结论： 频率不对称是模型学习被动化限制的重要证据来源，但仅靠频率无法完全解释所有人类判断的差异（突变动词并未完全变得像目标动词那样不可被动化）。

• 实验 2B (受影响性/语义)：

  • 当将低受影响性动词置于高受影响性的语境中（使其论元结构更像典型及物动词）时，模型对其被动化的接受度有所提高（Passive Drop 减小）。
  • 结论： 语义分布（受影响性）对被动化判断有因果影响，但效果受动词身份（Verb Identity）调节，且不如频率效应显著。

• 实验 3 (新动词与交互作用)：

  • 频率效应： 随着新动词在主动语态中出现次数的增加（且从未在被动语态中出现），其被动化接受度显著下降。
  • 语义效应： 在相同频率下，出现在高受影响性语境中的新动词比低受影响性语境中的动词更难被接受为被动形式。
  • 交互作用： 统计检验显示，频率和受影响性是独立起作用的（Additive），两者之间没有显著的交互作用。即，无论语义语境如何，频率增加都会导致被动化能力下降；无论频率如何，高语义受影响性都会导致被动化能力下降。

5. 研究意义 (Significance)

• 对语言习得理论的启示：

  • 支持了基于用法的习得理论 (Usage-based theory)，证明学习者可以通过统计规律（固化）习得语法规则的例外。
  • 证实了**语义信息（受影响性）**在习得句法限制中的因果作用，且这种作用独立于频率。
  • 表明频率和语义是互补的证据来源，而非互斥。

• 对计算语言学的启示：

  • 证明了 Transformer 模型不仅仅是统计拟合，它们能够利用间接证据学习复杂的句法 - 语义接口约束。
  • 提供了一种新的研究范式：通过“反事实”训练数据操纵（Counterfactual training data manipulation）来解构黑盒模型的学习机制，并以此作为人类认知过程的假设生成器。

• 局限性与未来方向：

  • 模型的学习机制（基于下一个词预测）与人类（基于社交互动和纠错）不同，因此模型表现出的规律可能只是人类规律的近似。
  • 未来的研究可以探索其他间接证据来源（如替代结构的存在），并尝试在具有交互能力的模型中复现这些实验。

总结： 该论文通过精心设计的计算实验，利用语言模型作为受控的学习者，有力地证明了**频率统计（固化）和词汇语义（受影响性）**是英语被动语态例外习得的两个独立且关键的因果因素。这一发现不仅深化了对语言习得机制的理解，也展示了利用 AI 模型进行认知科学研究的巨大潜力。