Does Episodic Memory Help Close the Lexical Frequency Gap in Sensitivity to Syntactic Contrasts? A Test Using Retrieval-Augmented Language Models

人类语言是一个庞大且复杂的系统，我们不断在语法规则与所选用的特定词汇之间进行权衡。几十年来，科学家们一直在争论人类大脑是如何管理这种平衡的。我们知道，即使句子中包含罕见或不寻常的词汇，人们也能理解复杂的句子，这表明我们的语法知识非常稳健，不会轻易受到词汇出现频率的影响。然而，旨在模仿人类语言的人工智能系统在处理这项任务时却表现挣扎。这些通过阅读海量文本进行学习的计算机模型，在被要求判断含有极少见词汇的句子语法时，往往会出错。它们似乎过度依赖词汇的熟悉度，而非支配词汇如何组合的结构规则。这种人类的韧性与机器的脆弱性之间的差距提出了一个根本性的问题：究竟是什么机制让我们可以如此轻松地应对罕见和陌生的事物？

神经科学领域的一个领先理论——被称为“互补学习系统”（Complementary Learning Systems）理论，提供了一个引人入胜的解释。该理论认为，人类大脑使用两个协同工作的不同记忆系统。其中一个系统位于新皮层，它缓慢地吸收来自经验的一般统计模式，就像学习语言的常见节奏一样。另一个系统以海马体为中心，充当快速记录器，详细存储单个事件和具体的经历。当我们遇到罕见或新奇的事物时，这个快速系统可以立即检索出与当前情况相匹配的特定过去经验，从而让我们无需等待缓慢的一般性学习跟上，便能理解现状。研究人员长期以来一直想知道，这种情景记忆系统是否是人类即便在词汇不常用时仍能保持语法敏感性的关键。为了验证这一想法，一组科学家最近构建了一个模拟这种双重记忆系统的计算机模型，并对其进行了测试。

研究人员旨在观察，为语言模型提供一种记忆和检索特定过往例句的方法，是否能帮助它克服对常见词汇的偏见。他们使用了一种称为“检索增强”（retrieval augmentation）的技术，这相当于海马体记忆系统的数字版本。在这种设置下，主语言模型充当“慢速学习者”，掌握关于词汇通常如何组合的一般知识。与其相连的是一个庞大的外部数据库，它存储了模型见过的每一个句子以及该句子出现的特定语境。当模型遇到一个新句子时，它不再仅仅依赖内部记忆，而是可以立即搜索这个数据库，寻找类似的过往案例，并利用它们来辅助决策。这一过程允许模型在一般知识薄弱时，依靠具体、实在的记忆，正如人类可能会回想起一段特定的对话来理解一个棘手的语法结构。

团队使用三种不同类型的语法谜题测试了这种方法：主谓一致、以“who”或“what”开头的疑问句，以及复杂的定语从句。他们使用在训练数据中频繁出现和极少出现的词汇创建了测试句子。正如预期的那样，没有记忆辅助的标准模型在处理常见词汇的句子时表现良好，但在处理罕见词汇时却表现得十分吃力。性能差距显而易见：随着词汇变得不再熟悉，模型的语法判断能力大幅下降。然而，当研究人员激活检索系统后，结果发生了变化。能够查找过往案例的模型在处理罕见词汇方面表现出了显著的进步。常见词与不常见词之间的性能差距大幅缩小，这表明提取特定记忆的能力确实有助于弥补缺乏普遍熟悉度的缺陷。

然而，故事并未以一个完美的解决方案结束。虽然记忆辅助有所帮助，但它并未完全消除困难。即使拥有检索过往案例的能力，模型在处理罕见词时的表现仍略逊于处理常见词。研究人员发现，这种记忆系统的成功很大程度上取决于它检索信息的类型。当系统被迫仅关注词汇的一般含义而忽略其语法结构时，它几乎无法提供任何帮助。只有当系统能够找到与试图解决的句子在特定语法形态上相匹配的案例时，检索才会奏效。这表明，对于这种记忆而言，要发挥作用，它必须能够识别并回溯结构模式，而不仅仅是语义上的相似性。此外，研究人员还发现，不存在一种所谓的“最佳”记忆系统设置方式。检索案例的数量以及上下文窗口的大小因具体的语法谜题和任务复杂度而异，这表明需要一种灵活、适应性的方法，而非固定规则。

这些发现为“情景记忆在语言处理中起着至关重要作用”这一观点提供了强有力的概念验证。通过展示计算机模型只需增加一个检索特定过往经验的机制，即可变得对词汇频率更具鲁棒性，这项研究支持了人类大脑也使用类似策略的理论。研究人员得出结论，虽然这种记忆机制非常强大，但它并非万能灵药。为了完全缩小机器与人类之间的差距，未来的系统需要变得更擅长识别正确的结构匹配，更好地权衡不同记忆的重要性，并根据即时需求调整其检索策略。这项工作证实，尽管该工具仍有改进空间，但通过记忆特定实例的能力是应对复杂语言现象的重要工具。