Large Language Models as Proxies for Theories of Human Linguistic Cognition

技术摘要：大型语言模型作为人类语言认知理论的代理

问题陈述
本文探讨了大型语言模型（LLMs）在人类语言认知（HLC）研究中的作用。文章批判了“LLM 理论”（例如 Piantadosi 2023），该理论认为当前的 LLM 本身就是人类语言认知最好的理论；文章指出，这种观点未能解释人类认知中的基本区别，如能力与表现（competence vs. performance）、语法性与可能性（grammaticality vs. likelihood），以及关于层级结构的特定归纳飞跃。

相反，本文研究了“代理观点”（Proxy View）。这一假设认为，虽然目前的 LLM 本身并不是优秀的人类语言认知理论，但它们可以作为第三种尚未公开的理论（$H_3$）的代理。$H_3$ 被设想为一个在语言学上相对中立（缺乏生成语言学 $H_1$ 那种强烈的先天偏见）且能够解释人类语言习得和类型学模式的理论。核心问题在于 $H_3$ 目前尚未明确定义，导致难以进行实证评估。作者询问，当前的 LLM 是否可以作为一种方法论工具，用以测试一个语言中立的 $H_3$ 是否能从现实的语料库中成功习得语言知识，或能否解释跨语言的类型学不对称性。

研究方法
作者通过两个主要的实验框架来评估“代理观点”，使用了涵盖从在儿童导向言语（CHILDES, BabyLM）上训练的小型模型到在数十亿个 token 上训练的巨型模型（BERT, GPT-2, LLaMA-3.2）在内的八种 LLM 套件。

1. 与刺激物的对齐（归纳飞跃的习得）：

   • 任务： 作者测试 LLM 是否能够习得特定的语言泛化，而这些泛化被认为对于语言中立的学习者来说，很难从“刺激贫乏”（APS）中推导出来。
   • 现象： 测试了三种特定的句法现象：
     • 全体移动（Across-the-Board, ATB）运动。
     • 寄生缺漏（Parasitic Gaps, PG）。
     • That-trace 效应（TTE）。
   • 指标： 使用“最小对对”（minimal pair）方法，向模型展示语法正确与不正确的句子对。成功的定义较为宽松：模型在关键 token 区域为语法正确的延续部分分配更高的概率。
   • 逻辑： 如果 LLM（作为 $H_3$ 的代理）即使在经过发育现实或大规模语料库训练后，仍无法偏好语法正确的选项，则表明一个语言中立的 $H_3$ 也会无法习得这些模式，从而加强了支持先天偏见的 APS 论点（$H_1$）。

2. 跨语言证据（类型学不对称性）：

   • 任务： 作者考察 LLM 是否更容易学习“已证实的”（attested）语言而非“未证实的”（扰动的）语言。如果一个语言中立的 $H_3$ 能解释为什么某些语言类型是未证实的，那么代理 LLM 学习这些未证实变体时应该更加困难。
   • 设置： 基于 Kallini 等人（2024）的研究，作者在英语、意大利语、俄语和希伯来语的语料库及其扰动版本上训练了一个 Transformer 模型。
   • 扰动方式：
     • 部分反转（Partial-reverse）：从随机索引开始反转句子片段。
     • 全句反转（Full-reverse）：反转整个句子。
     • 索引交换（Switch-indices）：在特定索引（0 和 2）处交换 token。
     • Token 跳跃（Token-hop）：在距离动词固定的线性距离处插入标记（需要线性计数）。
   • 指标： 训练期间的验证困惑度（Validation perplexity）。较低的困惑度表示学习更容易。

关键结果

• 句法泛化的习得：

  • 在针对 ATB、PG 和 TTE 的最小对实验中，LLM 通常未能表现出对语法句子优于不语法句子的偏好。
  • 除大规模 LLaMA 模型（其训练数据相当于人类数万年的暴露量）外，所有模型都压倒性地偏好不正确的选项。
  • 这种失败表明，如果 LLM 是 $H_3$ 的代理，那么 $H_3$ 很可能无法从现实的输入中习得这些复杂的层级依赖关系，从而无法动摇 APS 关于先天语言偏见的论点。

• 类型学不对称性：

  • 结果并未一致支持“已证实语言比未证实的扰动语言更容易学习”这一观点。
  • 虽然“部分反转”扰动比基准更难学习（支持了该特定情况下的代理观点），但其他扰动产生了矛盾的结果。
  • 对于“全句反转”、“索引交换”和“Token 跳跃”，模型往往发现学习这些未证实的（扰动）版本比学习已证实的基准更容易，或者发现没有显著差异。
  • 具体而言，“Token 跳跃”扰动（即违反层级泛化而倾向于线性计数的现象）有时比已证实的基准更容易被学习。

主要贡献

• 方法论澄清： 本文阐明了“代理观点”是作为一个区别于“LLM 理论”的独立立场，明确了 LLM 理论上可以作为评估中立理论的工具，而不必是这些理论本身。
• 实证评估： 本文通过具体的实验对“代理观点”进行了初步的实证测试，超越了理论推测，进入了关于习得和类型学的具体实验。
• 负面证据： 研究表明，在当前条件下和使用当前模型的情况下，LLM 并未提供证据证明一个语言中立的理论可以解释关键的语言现象或类型学模式。

意义与主张
本文结论认为，目前阶段，当前的 LLM 并不支持“代理观点”。LLM 无法近似人类的归纳飞跃（即使拥有海量数据），且在学习类型学模式方面表现不一致，这表明它们是实现成功的语言中立人类语言认知理论的拙劣代理。

作者强调，由于目标理论（$H_3$）尚未明确定义，因此“代理观点”仍然“过于模糊”，难以直接用于实证科学。本文旨在向“代理观点”的支持者发出“恳请”，要求他们提供目标理论的明确细节，并证明 LLM 的表现如何具体支持该理论而非生成式替代方案。作者保持了审慎的态度，指出其负面结果是针对特定模型和现象的，未来的工作通过不同的模型或更明确的理论可能会得出不同的结论。然而，基于现有证据，LLM 并没有暗示需要改变现有的语言学理论。