Revisiting Non-Verbatim Memorization in Large Language Models: The Role of Entity Surface Forms

这篇论文《Revisiting Non-Verbatim Memorization in Large Language Models: The Role of Entity Surface Forms》（重访大语言模型中的非字面记忆：实体表面形式的作用）深入探讨了大型语言模型（LLM）在记忆和检索事实性知识时，对**实体表面形式（Entity Surface Forms）**的敏感性。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

• 核心问题：现有的基于实体的问答（Entity-based QA）评估通常使用单一的规范表面形式（Canonical Surface Form）（如维基百科的主标题）来查询模型。这种方法难以区分模型是真正“记忆”了关于该实体的事实，还是仅仅因为识别出了特定的名称才能访问该事实。
• 现实挑战：实体在现实世界中往往有多种指代方式（如别名、缩写、拼写变体、常见错误拼写等）。如果模型在规范名称下能正确回答，但在别名下失败，说明其事实访问具有表面形式依赖性（Surface-conditioned），而非完全的表面不变性（Surface-invariant）。
• 现有局限：之前的研究（如 PopQA, EntityQuestions）大多未系统性地控制实体表面形式的变化，导致无法 disentangle（解耦）事实记忆与特定名称访问之间的关系。

2. 方法论 (Methodology)

2.1 数据集构建：RedirectQA

作者引入了一个新的数据集 RedirectQA，旨在系统性地评估表面形式对事实记忆的影响。

• 数据来源：基于 Wikidata 的事实三元组（主体，关系，客体）和维基百科的重定向（Redirect）信息。
• 构建逻辑：
  1. 固定事实：保持事实三元组（关系和答案）不变。
  2. 变化表面形式：利用维基百科的重定向页面，将同一个实体关联到多种表面形式。
  3. 分类标注：将重定向形式分为三大类：
     • 别名与缩写 (Alternative Names & Abbreviations)：如出生名、缩写（NYT -> The New York Times）。
     • 拼写变体 (Spelling Variants)：如带重音符号的变体、大小写差异。
     • 典型错误 (Typical Errors)：如常见的拼写错误或误称（Christian Ronaldo -> Cristiano Ronaldo）。
• 规模：包含 14,672 个事实三元组，生成约 30,560 个表面实例（Surface Instances），共 61,120 个问答对（每个实例使用两种不同的问题模板生成）。

2.2 实验设置

• 模型：评估了 13 种不同规模和类型的 LLM，包括：
  • 透明预训练模型：Pythia (410M-12B), OpenSciRef, OLMo 2 (1B-32B)。
  • 开源指令微调模型：Llama 3.1, Qwen 3。
  • 闭源模型：GPT-4o-mini。
• 评估指标：
  • 一致性 (Consistency)：比较同一事实三元组在“规范表面形式”与“重定向表面形式”下的预测结果是否一致（均为正确或均为错误）。
  • 频率分析：分析实体频率（Entity Frequency）和表面形式频率（Surface Frequency）与准确率的相关性。

3. 关键贡献 (Key Contributions)

1. 提出 RedirectQA：首个利用维基百科重定向信息，将 Wikidata 事实与分类后的多种实体表面形式（别名、缩写、拼写变体、错误）系统关联的 QA 数据集。
2. 揭示表面形式依赖性：证明了 LLM 的事实访问并非表面不变的。即使实体和事实相同，仅改变实体的名称（表面形式）就可能导致预测结果从正确变为错误。
3. 分类别的不一致性分析：发现不一致性具有类别依赖性。模型对拼写变体（如大小写、标点）表现出较高的鲁棒性，但对别名和缩写（较大的词汇变化）表现出显著的不一致性。
4. 频率耦合机制：通过偏相关分析发现，事实访问的准确性不仅与特定表面形式的频率有关，还与实体的聚合频率（所有表面形式的总频率）有关。这表明模型在不同表面形式之间存在跨表面耦合（Cross-surface coupling），而非完全独立的记忆。

4. 主要结果 (Key Results)

4.1 预测一致性 (Prediction Consistency)

• 总体发现：在 13 个模型中，表面形式的改变导致了显著的正确性翻转（Correctness Flips）。即使是强大的指令微调模型（如 GPT-4o-mini）也无法达到完美的一致性。
• 类别差异：
  • 拼写变体 (Spelling Variants)：一致性最高（模型较鲁棒）。
  • 别名与缩写 (Aliases & Abbreviations)：一致性最低。例如，缩写 "NYT" 往往无法像全称 "The New York Times" 那样触发相同的事实检索。
  • 典型错误 (Typical Errors)：表现介于两者之间。
• 非对称性：存在“反向模式”，即模型在规范标题下失败，但在别名下成功。这说明人类视角的“规范名称”并不总是模型最可靠访问事实的入口。

4.2 频率分析 (Frequency Analysis)

• 相关性：实体频率和表面形式频率均与准确率呈正相关。
• 偏相关分析 (Partial Correlation)：
  • 在控制表面频率后，实体频率仍然对准确率有显著的正向贡献（特别是在规范表面形式下）。
  • 在控制实体频率后，表面频率的贡献在规范形式下往往接近于零或为负，但在重定向形式下仍保持正相关。
• 结论：事实记忆不是完全独立的表面形式记忆，而是存在跨表面的耦合。模型似乎在一定程度上将不同名称映射到了同一个实体概念，但这种映射是不完美的。

5. 意义与启示 (Significance)

• 评估范式的转变：现有的基于规范名称的评估可能会遗漏由表面形式变化引起的失败案例。要全面评估 LLM 的事实记忆可靠性，必须引入表面形式的多样性。
• 理解记忆机制：研究结果表明，LLM 的事实记忆处于“完全表面特定”和“完全表面不变”之间的中间状态。模型既不是简单地记住每个字符串，也不是完全抽象地理解实体，而是存在一种脆弱的、依赖于表面形式的关联机制。
• 实际应用：在构建事实性问答系统或进行知识检索时，不能假设模型对所有同义词或别名具有相同的理解能力。需要针对别名、缩写和常见错误进行专门的鲁棒性测试。
• 未来方向：提示未来的研究需要探索模型内部表示中实体与表面形式的关联机制，并扩展到多语言和特定领域场景。

总结

这篇论文通过构建 RedirectQA 数据集，有力地证明了实体表面形式是影响 LLM 事实记忆访问的关键因素。LLM 并非在所有名称变体下都能一致地访问同一事实，这种不一致性在别名和缩写中尤为明显。这一发现挑战了将 LLM 事实记忆视为完全表面不变性的假设，强调了在评估模型可靠性时考虑表面形式多样性的重要性。