Automatic or Controlled? Repetition Priming Reveals Divergent Processing in Base LLMs, Instruct LLMs, and Humans
这项研究表明，虽然基础语言模型通过自动且稳定的促进作用来处理重复词汇，但经过指令微调后的指令模型将其转向了受控且对延迟敏感的处理方式，这与人类认知表现出的具有无干扰性的延迟敏感促进作用的混合特征相背离。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
语言是一条重复的河流。在一次对话中，我们可能会多次使用同一个词，甚至在短短几句话之内就重复出现。当人类听到一个刚刚听过的词时，大脑处理该词的速度会更快、更轻松。这种被称为“重复启动”（repetition priming）的现象是人类学习和记忆的基本特征。它表明，大脑并不会将每一次与单词的相遇都视为一个全新的事件；相反，它保留了前一次相遇的痕型，使得下一次的处理更加顺畅。但随着人工智能变得日益复杂，一个问题随之而来：大型语言模型——即驱动聊天机器人和搜索工具的系统——是否也以同样的方式运作？当这些机器看到它们已经处理过的词时，它们是仅仅重新激活了旧有的记忆，还是会停下来并从头开始重新评估这个词？
这个问题的答案至关重要，因为它揭示了这些系统的内在运作机制。如果一个模型只是重新激活记忆，那么它表现得就像一种反射，一种快速、自动的反应。如果它进行重新评估，那么它表现得就像一个谨慎的思考者，在做出决定之前会权衡上下文。多年来，研究人员一直在争论这些机器是拥有一种“快速”的直觉，还是始终处于缓慢、深思熟虑的推理之中。这项由耶鲁大学和加州大学洛杉矶分校的研究人员进行的最新研究，旨在通过测试不同类型的语言模型如何处理重复的单词来解决这一问题。他们将原始的预训练模型与经过指令微调（fine-tuned）的版本进行了对比，并开展了与人类志愿者平行的实验，以观察机器与人类相比表现如何。
研究人员设计了一系列模仿人类心理学经典实验的测试。他们向十五个不同的模型输入单词和句子，这些模型的规模从拥有15亿参数的小型系统到拥有140亿参数的庞大系统不等。他们还要求四十名人类参与者执行相同的任务。测试涉及两个主要活动。在第一个活动中，受试者必须快速判断一个词代表的是生物还是非生物物体。在第二个活动中，他们必须为一个缺失单词的句子填空，而句子本身提供的线索极少。关键变量是“滞后”（lag），即在第一次看到目标词与第二次看到该词之间出现的其他单词和句子的数量。通过改变这种距离，研究人员可以观察重复带来的益处是随时间持续存在，还是会逐渐消退。
结果显示，机器处理信息的方式出现了显著的分化。基础模型（即系统在接受指令遵循训练之前的原始版本）表现出一种自动化的效率。当它们看到刚刚遇到的词时，无论中间出现了多少其他词，处理速度都会更快，信心也会更强。即使研究人员从对话历史中删除了之前的答案，基础模型仍然表现出性能提升。这表明对于这些模型而言，重复触发了一种快速的、由刺激驱动的反应。单词本身就足以唤醒记忆，就像一种反射一样。
相比之下，指令微调后的模型表现得截然不同。这些系统经过了训练，旨在成为有用的助手、遵循规则并参与对话。当这些模型看到重复的词时，它们并没有表现出那种自动化的提升。相反，它们的表现高度依赖于上下文。如果第一次和第二次出现目标词之间间隔了许多词，重复带来的益处就会消失。更糟糕的是，在规模最大、最先进的指令微调模型中，重复反而成了一种阻碍。再次看到该词会让模型变得更慢、准确度更低，仿佛机器被这种冗余性搞混了。这表明这些模型不仅仅是在对单词做出反应，它们还在根据周围的对话进行积极的重新评估。如果上下文与其预期不符，重复就会产生干扰，让模型感到困惑。
研究人员还观察了这些行为如何随着模型规模的增大而变化。在同一个模型家族中，这两类模型之间的差距随着规模的增加而扩大。基础模型在自动处理方面保持一致，而指令微调模型对重复之间的距离变得越来越敏感。在最大的规模下，指令微调模型表现出了最强的干扰迹象，这表明教导它们遵循指令的过程从根本上改变了它们处理重复信息的方式。这不仅仅是它们完成任务能力提高的问题，而是其运作模式发生了质的转变。
或许最令人惊讶的发现来自于机器与人类志愿者的对比。人类并不完全符合其中任何一类。与指令微调模型类似，人类对重复之间的距离也很敏感；随着滞后时间的增加，他们的反应时间会变慢。然而，与指令微调模型不同，人类从未遭受过干扰。无论间隔多久，再次看到一个词总是会对他们有帮助，绝不会造成负面影响。人类处于一种中间状态：他们像先进的机器一样对上下文敏感，但他们保留了基础模型所展现出的那种普遍的重复获益。
这项研究表明，将语言模型训练得更具帮助性和服从性的过程，从根本上改变了其认知架构。原始模型以一种快速、自动的方式运作，在单词出现的瞬间做出反应。然而，指令微调模型似乎开发出了一种受控的系统，不断检查上下文，如果重复内容不符合对话流，它们有时会拒绝该重复。研究人员发现，这种转变不仅是输出的变化，更是底层机制的变化。当他们观察模型内部时，发现基础模型通过直接关注单词的前一次出现来加速其反应。而指令微调模型则将这种注意力与最终决策脱钩，有效地过滤掉了自动化的提升。
这项工作的意义不仅在于理解这些机器是如何思考的。它凸显了当前人工智能在何种特定方式上与人类认知不同。虽然我们在长对话中可能会被重复的内容分散注意力，但我们绝不会失去看到一个词之前所获得的本质优势。指令微调模型为了追求对上下文的感知，反而失去了这种基本的人类特质。它们变得如此专注于即时上下文，以至于有时会将一个熟悉的词视为错误。这项研究为这两个处理模式的分歧提供了一张清晰的地图，表明通往使机器在对话中更像人类的道路，可能在无意中使其在基础记忆处理过程上变得不再像人类。这项研究并不声称已经解开了机器智能之谜，但它提供了一种精确且可量化的方式，让我们看清“反应型机器”与“思考型机器”之间的区别。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。