Is Cross-Lingual Transfer in Bilingual Models Human-Like? A Study with Overlapping Word Forms in Dutch and English

这是一篇关于双语语言模型（Bilingual Language Models）是否具备人类双语阅读特征的计算机科学与心理语言学交叉研究论文。以下是对该论文的详细技术总结：

1. 研究问题 (Problem)

双语者在阅读时，对于具有相同表面形式（Surface Form）的词汇表现出跨语言激活现象：

• 同源词 (Cognates/Friends)：形式和含义在两种语言中相同或相似（如荷兰语和英语中的 "winter"），通常导致阅读加速（促进效应）。
• 跨语言同形异义词 (Interlingual Homographs/False Friends)：形式相同但含义不同（如荷兰语 "brand" 意为“火”，英语 "brand" 意为“品牌”），通常导致阅读减慢（干扰效应）或无显著差异。

核心问题：当前的双语语言模型（特别是基于 Transformer 的模型）在词汇处理上是否表现出类似人类的跨语言激活模式？现有的模型是否仅仅因为词汇重叠而产生了某种“伪”激活，还是真正模拟了人类双语者的认知机制？

2. 方法论 (Methodology)

2.1 实验设计：词汇共享条件 (Vocabulary Conditions)

研究者在荷兰语 - 英语因果 Transformer 模型中设计了四种词汇共享条件，以控制重叠词形（Overlapping Word Forms）的嵌入（Embedding）处理方式：

1. 完全重叠 (Full Overlap)：所有在两种语言中形式相同的词（包括同源词和同形异义词）共享同一个语言无关的嵌入。
2. 同源词重叠 (Friends Overlap)：仅同源词（Cognates）和借词共享嵌入；同形异义词拥有各自语言特定的嵌入。
3. 同形异义词重叠 (False Friends Overlap)：仅同形异义词共享嵌入；同源词拥有各自语言特定的嵌入。
4. 最小重叠 (Minimal Overlap)：仅标点符号和命名实体共享嵌入，其他所有词形均使用语言特定的嵌入（即完全分离）。

2.2 训练数据与模型

• 模型架构：GPT-2-small 配置的因果 Transformer。
• 训练语料：模拟晚期双语者（荷兰语为 L1，英语为 L2），语料库中 75% 为荷兰语，25% 为英语。训练顺序为每个 Epoch 先荷兰语后英语。
• 数据规模：约 4 亿 Token，涵盖维基百科、字幕、网络爬虫数据等。

2.3 评估指标与刺激材料

• 刺激材料：使用来自人类阅读实验的心理语言学刺激材料（Bultena et al., 2014; Huisman, 2025），包含同源词、同形异义词及其控制词。
• 评估信号：
  1. 困惑度 (Surprisal)：作为处理努力（Processing Effort）的计算代理指标。较低的 Surprisal 意味着更容易处理（促进），较高的 Surprisal 意味着更难处理（干扰）。
  2. 嵌入相似度 (Embedding Similarity)：分析上下文嵌入和词嵌入在跨语言间的余弦相似度，以考察模型是否区分了不同语言中的词义。
  3. 回归分析：控制词频（Sentence-language frequency vs. Other-language frequency）和词汇类别，分析促进效应的驱动因素。

3. 关键贡献 (Key Contributions)

1. 系统性的词汇操控实验：首次通过精细控制词汇表中的嵌入共享策略（区分同源词和同形异义词），量化了不同编码方式对双语模型跨语言行为的影响。
2. 揭示频率与语义映射的解耦：证明了在共享嵌入条件下，跨语言促进效应主要由词频驱动，而非形式 - 意义映射的一致性。
3. 人类行为对齐的边界条件：明确指出只有当仅同源词共享嵌入时，模型的行为才在定性上匹配人类双语者的阅读模式（即同源词有促进，同形异义词无促进）。

4. 主要结果 (Results)

4.1 语言分离与跨语言效应

• 在最小重叠条件下，模型成功将两种语言在嵌入空间中分离，未观察到跨语言效应。
• 在共享嵌入的条件下（无论是全重叠、仅同源词重叠还是仅同形异义词重叠），模型均表现出跨语言激活。

4.2 促进效应 (Facilitation) 的普遍性

• 当词形共享嵌入时，无论是同源词还是同形异义词，其 Surprisal 均显著低于控制词（即都表现出促进效应）。
• 这与人类行为不同：人类对同形异义词通常表现出干扰或无效应，而模型却表现出促进。

4.3 驱动因素分析

• 频率主导：回归分析显示，促进效应主要由词频驱动。共享嵌入使得词在两种语言中的训练信号叠加，有效频率增加，从而降低了 Surprisal。
• 语义映射无关：促进效应并不依赖于形式 - 意义映射的一致性。即使在同形异义词（意义不同）共享嵌入的情况下，模型依然因为频率增加而表现出促进，而非人类预期的干扰。

4.4 唯一匹配人类数据的条件

• 只有在Friends Overlap (仅同源词共享) 条件下，模型才复现了人类的双语阅读模式：同源词表现出促进效应，而同形异义词没有表现出显著的促进（因为它们的嵌入是分离的，没有频率叠加）。
• 其他条件（如全重叠或仅同形异义词重叠）均未能准确模拟人类行为。

5. 意义与结论 (Significance & Conclusion)

• 解释力局限：虽然双语语言模型可以捕捉某些跨语言激活模式，但其与人类处理的对齐程度高度依赖于词汇重叠的编码方式。如果简单地假设所有重叠词形共享嵌入（这是许多多语言模型的默认做法），模型会错误地预测同形异义词也会产生促进效应，从而缺乏对人类双语阅读的解释充分性（Explanatory Adequacy）。
• 频率假说的验证：研究支持了“累积频率假说”（Cumulative Frequency Hypothesis），即跨语言促进主要源于暴露频率的叠加，而非语义层面的自动激活。
• 认知建模启示：人类双语者的大脑似乎能够根据形式 - 意义的一致性来动态调整共享策略（同源词共享，同形异义词分离），而当前的 Transformer 模型缺乏这种基于语义的内在机制，必须通过人为的词汇表设计（Tokenization rules）来强制实现。
• 未来方向：未来的双语语言模型研究需要探索如何让模型在没有显式规则干预的情况下，自发地学习区分同源词和同形异义词的表示，或者需要引入更复杂的认知架构（如 BIA+ 模型中的语义竞争机制）来模拟人类的双语处理。

总结：该研究表明，双语语言模型并非天生具备人类般的跨语言激活机制。它们表现出的“人类-like"行为往往是特定词汇表设计（特别是仅共享同源词嵌入）的产物，而非模型内部语义理解的必然结果。频率效应在这些模型中起到了主导作用，掩盖了语义冲突可能带来的干扰效应。