A Circuit for In-Context Learning
本文识别并因果验证了 Transformer 模型中一个特定的、保守的神经回路，该回路通过实现一种门控关联记忆机制（其中中层注意力头存储标签-类别映射，而上层注意力头根据查询匹配进行检索），从而使少样本句子分类中的上下文学习成为可能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
将语言模型想象成一座蕴含人类知识的宏大图书馆，它在数十亿个句子上进行了训练。当你向它提问时，它通常根据其记忆的内容进行回答。但它能执行一种被称为“上下文学习”（in-context learning）的特殊技巧。如果你在提出问题之前，先给它展示一些新任务的示例——比如向它展示十几组配对了虚构标签的句子——它就能瞬间学会这个模式，并将此模式应用于你的新句子，而无需改变其内部权重或进行重新训练。它在阅读的一瞬间就悟出了规则。多年来，科学家们一直知道这种现象的存在，但并不清楚机器究竟是如何实现的。他们能看到结果，但那黑盒子里运转的齿轮却始终是一个谜。
现在，一组研究人员打开了这个黑盒，并绘制出了这种能力背后的精确机制。通过研究三种不同的语言大模型，他们发现模型并不是以传统意义上的方式“学习”规则。相反，它在提示词（prompt）内部构建了一个临时记忆，利用一组特定的注意力头（attention heads）——即网络中专门的处理单元——来充当“书写者”、“阅读者”和“把关者”。他们发现，模型将你给出的示例视为一个键值（key-value）存储系统。当你展示一个句子及其对应的标签时，模型会将该标签的身份写入其内存中的一个特定插槽，同时写入一个描述该句子类型的“键”（key）。随后，当模型遇到最终的问题时，它会为该问题计算一个编码，并利用它在之前的临时内存中进行搜索，通过将问题的类型与之前存储的键进行匹配，从而检索出正确的标签。
研究人员逐步追踪了这个过程，使用了一种可以在不同提示词之间交换模型内部活动部分的方法，以观察哪些部分是必不可少的。他们发现，大约有二十个中间层注意力头充当“书写者”，它们提取每个演示句子的类别，并将其存入后续标签的内存插槽中。然后，大约有九十个高层注意力头充当“阅读者”。这些阅读者会扫描内存，寻找存储的键与当前问题类别相匹配的插槽。当它们找到匹配项时，就会将该插槽中的标签复制到最终答案中。然而，这种检索系统并非始终处于激活状态。研究人员发现了一个决定是否读取内存的“门控”（gate）。这个门控会检查示例中的标签是否出现了多次。如果某个标签重复出现，门控就会开启，允许阅读者搜索内存。如果没有标签重复，门控则保持关闭，模型会默认忽略示例，这种行为可以防止模型在不存在清晰模式时进行瞎猜。
为了确保模型回答正确，另外一组约二十几个注意力头充当了“刹车”。这些头的作用是抵消最近看到的标签，防止模型仅仅简单地复制它读到的最后一个示例，这是一种被称为“近因效应”（recency bias）的常见偏差。如果没有这些刹车，模型往往会忽略模式，而只是重复它看到的最后一个标签。研究人员还发现，模型依赖于一个“汇点”（sink），即当没有特定焦点时注意力所趋向的默认位置。门控的工作原理是通过降低对该汇点的吸引力，迫使阅读者去查看实际的内存插槽。
为了确保这项发现的稳健性，研究人员不仅观察了行为，还通过切断连接进行了验证。当他们阻断了“书写者”时，模型无法存储键；当他们阻断了“阅读者”时，模型无法找到键；当他们移除“门控”时，模型会在不存在模式的情况下尝试读取内存，从而导致错误。他们甚至从头构建了一个微小的、手工编写的版本来模拟这个电路，而这个版本运行得完全符合预期，证实了这些特定部分足以完成该任务。研究还表明，虽然执行这些工作的具体注意力头在不同模型之间略有差异，但该电路的整体架构保持不变。
最令人惊讶的发现之一涉及模型如何处理任务规模。研究人员发现，模型并不依赖单个强大的注意力头来完成所有工作。相反，这项任务是由许多协同工作的注意力头共同承担的。没有任何一个单独的阅读者头足以产生最终答案；模型需要数十个头的综合输出才能生成一个确定的预测。这解释了为什么模型在处理此类任务时会使用如此庞大的注意力头群体。此外，研究显示，随着模型规模的增大，它们并不会发明新的组件来解决问题，而是简单地强化现有的群体。那些阻止模型产生近因偏差的“刹车”在更大的模型中变得更加强力，这也是为什么大模型比小模型更能遵循示例中的模式，而不是依赖其预训练知识中关于单词含义的既有认知。
这项工作改变了我们对人工智能如何从上下文中学习的理解。它表明，模型并非在神奇地推导规则或进行复杂的数学更新，而是在执行一种高度组织化、机械化的查找操作。它将信息写入临时内存，检查是否存在模式，然后根据该模式检索答案。研究人员展示了这种机制在不同规模的模型中是一致的，甚至在模型经过其他任务微调后依然存在。这种从少量示例中学习的能力并非一种神秘的涌现属性，而是一个由可识别组件构成的、具体的、可追踪的电路，这些组件是可以被测量、操纵和理解的。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。