A Mechanistic Analysis of In-Context Learning and Out-of-Context Hallucination
本文提出了一个统一的机制框架,将上下文学习(in-context learning)与脱离上下文的幻觉(out-of-context hallucination)共同解释为角色信息如何在内部表示与聚合的结果,并证明了对规则的成功遵循与产生幻觉之间的差异,取决于关键决策点处角色跨度贡献的大小与连贯性。
原始论文采用 CC BY 4.0 许可(http://creativecommons.org/licenses/by/4.0/)。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性,请参阅原始论文。 阅读完整免责声明
大语言模型是新一代人工智能背后的引擎,能够根据提示词进行阅读并按需生成类人文本。它们最受赞誉的能力之一是上下文学习(in-context learning),即模型可以从提示词中提供的示例中推断出特定的规则并忠实地执行该规则。如果用户要求模型将一组记录总结为 JSON 对象,模型可以学习这种格式并完美地应用它。然而,这些同样的系统却面临着一个令人沮理解的缺陷,即被称为“幻觉”的问题。有时,当被要求根据提供的证据回答问题时,模型会忽略眼前的事实,凭空捏造并不受文本支持的细节。这产生了一个令人困惑的矛盾:为什么同一台机器既能如此服从刚刚学到的规则,又在处理给定的事实时如此粗心大意?多年来,研究人员一直将这两种行为分开研究,将其视为不同的现象。但这种分离导致我们在理解模型为何在一种情况下成功而在另一种情况下失败时存在认知空白。
新加坡国立大学的一个研究小组通过观察这些模型的内部机制,现在填补了这一空白。他们提出,遵循规则的成功与坚持事实的失败都依赖于同一种底层过程。他们发现的关键在于模型如何处理提示词中的不同部分。在任何给定的提示词中,某些文本充当“规则”,告诉模型如何构建其答案;而其他文本则充当“证据”,提供要使用的具体事实。研究人员发现,模型在内部确实“理解”了这两者角色的区别。它会在其神经网络中创建一个特定的、有组织的活动模式,用以表示它正在处理的是规则还是证据。然而,仅仅拥有这种内部表示并不足以保证得出正确答案。模型可以识别文本的角色,但并不一定能让这种识别控制其最终输出。
为了揭示其中的原理,研究人员开发了一种衡量特定提示词部分对模型决策影响的方法。他们专注于“角色跨度”(role span),即包含规则或证据的具体文本段落。通过对比模型在存在该文本与该文本被替换为不同内容时的行为,他们可以精确地隔离出该特定文本在多大程度上推动模型得出某个答案。他们发现,要让模型正确遵循规则或使用证据,来自该文本的影响力必须足够强,并且必须始终指向正确的方向。仅仅让模型“看到”规则是不够的;规则产生的数学信号必须足够强大,以克服模型大脑中其他的竞争信号,并且在生成的每一步中都必须与正确答案的方向保持一致。
这项研究表明,模型之所以能很好地遵循规则却经常在事实上出错,原因在于这种影响力的应用位置和方式。当模型遵循规则(例如将答案格式化为列表)时,来自规则文本的影响力需要在许多个决策过程中持续存在。模型必须反复选择正确的结构,且规则的信号在每一步中都必须保持足够强,以确保模型不偏离轨道。相比之下,当模型需要使用证据时,关键时刻是非常具体的。来自证据文本的影响力必须在模型决定某个特定事实的精确瞬间足够强大。如果证据的信号在那个精确时刻太弱,或者被其他信号抵消了,模型就会发生偏移,并凭空捏造一个事实而非使用提供的那个。
研究人员通过直接干预模型的计算过程测试了这一理论。他们发现,当他们人为削弱来自规则文本的信号时,模型经常会忘记原本应遵循的格式。同样,当他们减少证据文本的影响力时,模型就不再使用提供的实事,而是开始产生幻觉。或许最能说明问题的是,他们展示了这种失败并非总是永久性的。在模型最初未能使用证据的情况下,研究人员通过人工增强来自证据的信号,成功逆转了错误。当对正确事实的支持变得足够强大,足以克服模型的初始犹豫时,它便成功切换到了正确答案。这表明,模型内部通常已经具备了正确的信息,但由于信号在决策瞬间不够强,导致其无法在内部竞争中胜出,从而未能采取行动。
这项工作为两种看似相反的行为提供了一个统一的解释。它表明,一个模型是完美地遵循指令还是在事实面前撒谎,其区别不在于它如何理解提示词,而在于提示词的影响力在生成过程中是如何维持的。对于规则,影响力必须是一种稳定的、持久的力量,引导响应的结构。对于事实,影响力必须是在选择特定数值的精确瞬间,一次尖锐且果断的推动。研究得出结论,模型的可靠性取决于来自提示词的内部信号是否足够强大,以及是否组织得当,从而能在这些关键的选择时刻胜出。通过理解这一机制,我们能更清晰地理解为什么这些强大的工具有时表现得像完美的助手,有时又像自信的骗子,以及为何相同的内部机制会产生这两种截然不同的结果。
您所在领域的论文太多了?
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。