Diverging Transformer Predictions for Human Sentence Processing: A Comprehensive Analysis of Agreement Attraction Effects

这是一份关于论文《Diverging Transformer Predictions for Human Sentence Processing: A Comprehensive Analysis of Agreement Attraction Effects》（Transformer 对人类句子处理预测的分歧：一致吸引效应的综合分析）的详细技术总结。

1. 研究问题 (Problem)

尽管 Transformer 架构已成为计算语言学中几乎所有最先进语言模型（LLM）的基础，但其在认知充分性（cognitive adequacy）方面作为人类句子处理模型的适用性仍存在争议。

• 核心矛盾：Transformer 在训练时仅基于简单的“下一个词预测”任务，但它们是否能捕捉到人类语言处理中复杂的认知过程（如工作记忆中的信息存储与检索）？
• 具体切入点：研究聚焦于一致吸引效应（Agreement Attraction）。这是一种跨语言现象，即动词的处理受到语法上不相关的名词（干扰项）的阻碍。例如，在句子 "The key to the cabinets were rusty" 中，尽管主语 "key" 是单数，但复数干扰项 "cabinets" 会导致人类读者误以为动词 "were" 是合理的，从而加快阅读速度（即吸引效应）。
• 现有研究的局限：
  1. 以往研究仅测试了介词短语修饰（Prepositional Modifier）结构，未测试宾语提取关系从句（Object-Extracted Relative Clause）结构。
  2. 以往研究仅关注了理论上应出现吸引效应的配置，未验证在理论上不应出现效应的配置（如主语为复数或句子合乎语法时）是否真的没有效应。
  3. 以往研究多基于单一模型（通常是 GPT-2），缺乏对不同架构和规模模型的泛化性评估。
  4. 部分研究使用了双向 Transformer（如 BERT），这在认知上被认为是不合理的（因为人类阅读是线性的）。

2. 方法论 (Methodology)

研究采用了基于惊讶度（Surprisal）的链接机制，将 LLM 的预测与人类自定步速阅读时间（Self-paced Reading Times）进行对比。

• 实验设计：

  • 实验 1：介词短语修饰结构（基于 Wagers et al., 2009 的实验 4）。
  • 实验 2：宾语提取关系从句结构（基于 Wagers et al., 2009 的实验 3）。
  • 变量控制：每个实验包含 8 种配置（2×2×2 设计）：
    1. 主语数量（单数 vs. 复数）。
    2. 语法正确性（合乎语法 vs. 不合乎语法）。
    3. 吸引项（有干扰项 vs. 无干扰项）。
  • 人类基准：使用 Wagers et al. (2009) 中 60 名和 46 名参与者的阅读时间数据作为基准。

• 模型选择：

  • 选取了 11 个 预训练的自回归（Autoregressive）Transformer 模型。
  • 涵盖 4 个不同的模型家族（GPT, GPT-2, Bloom, XGLM, Gemma-3），包含单语和多语模型。
  • 参数量范围：1.24 亿 到 40 亿（124M - 4B），属于“中等规模”模型。
  • 所有模型均为基础模型，未进行指令微调，以提高生态效度。

• 分析指标：

  • 惊讶度（Surprisal）：计算目标动词（可能受吸引影响的词）的负对数概率（bits）。假设惊讶度与阅读时间呈线性正相关。
  • 统计方法：
    1. 配对 t 检验：测试单个模型中是否存在吸引效应。
    2. 线性回归：在模型群体层面测试两个关键不对称性（单复数不对称、语法/非语法不对称）。
    3. 全局回归：分析模型参数量对预测结果的影响。

3. 关键贡献 (Key Contributions)

1. 全面的实验设计：首次系统性地对比了两种不同的句法结构（介词短语 vs. 宾语提取关系从句）在 Transformer 中的表现，填补了以往仅关注介词短语的空白。
2. 多模型泛化评估：打破了以往仅依赖单一模型（如 GPT-2）的局限，评估了 11 个不同架构和规模的模型，揭示了模型间的巨大差异。
3. 严格的不对称性验证：不仅验证了吸引效应的存在，还严格检验了其在理论上不应出现的配置（如复数主语、合乎语法的句子）中是否被错误地预测出来。
4. 方法论建议：提出了评估认知模型的新标准，强调必须采用综合的实验设计，避免从孤立的句法配置或单一模型中得出虚假的泛化结论。

4. 主要结果 (Results)

实验 1：介词短语修饰结构 (Prepositional Modifier)

• 结果：Transformer 的预测与人类数据高度一致。
• 表现：
  • 所有模型都正确预测了人类观察到的吸引效应：仅在不合语法且主语为单数的配置中（即干扰项为复数时），动词的惊讶度显著降低（处理难度降低）。
  • 模型在语法正确或主语为复数的配置中，基本没有预测出错误的吸引效应。
  • 不同模型家族之间的预测结果非常稳定且高度相关。

实验 2：宾语提取关系从句结构 (Object-Extracted Relative Clause)

• 结果：Transformer 的预测与人类数据严重分歧，且模型间表现混乱。
• 表现：
  • 缺乏一致性：不同模型对同一配置的预测方向截然不同。
  • 错误的预测：
    • 大多数模型预测在合乎语法且主语为复数的配置中存在促进性吸引效应（即阅读变快），而人类数据中该效应不存在，且理论上应为抑制效应。
    • 模型未能复现人类观察到的“单复数不对称”和“语法/非语法不对称”模式。
  • 规模无关性：模型的大小（参数量）并未显著改善表现，甚至某些大模型（如 Gemma-3）偏离人类数据最远。
  • 结论：没有任何一个模型成功复现了人类在宾语提取关系从句中观察到的非对称干扰模式。

5. 意义与结论 (Significance and Conclusions)

• 对 Transformer 认知充分性的质疑：

  • 研究结果表明，当前的 Transformer 模型不能全面解释人类的形态句法处理过程。
  • 虽然它们在简单的介词短语结构中表现良好，但在更复杂的宾语提取关系从句中，它们无法捕捉人类工作记忆中特定的存储和检索机制。
  • 这种差异可能源于：(1) 动词类型不同（实验 1 为助动词，实验 2 为实义动词，后者更难预测）；(2) 单语模型比多语模型更接近人类表现（但在实验 1 中未观察到）；(3) 人类神经硬件与神经网络架构的根本差异，导致低层操作无法自然对应；(4) 模型可能只是模仿了训练语料中的人类表面错误模式，而非真正理解认知机制。

• 方法论启示：

  • 避免过度泛化：不能仅凭模型在单一句法结构（如介词短语）上的成功，就断定其具备人类般的句子处理能力。
  • 严谨的评估标准：未来的认知评估必须包含：
    1. 涵盖该现象的多种句法实现形式及控制结构。
    2. 测试不同架构、训练方式和规模的模型范围。
    3. 在多个层级进行原则性的统计分析。

总结：该论文通过严谨的对比实验揭示了 Transformer 在处理人类语言复杂句法现象（特别是宾语提取关系从句中的吸引效应）时的局限性，警示研究者不要盲目将 LLM 视为人类认知过程的完美模型，并呼吁建立更严格、更全面的评估框架。