Layer-Order Inversion: Rethinking Latent Multi-Hop Reasoning in Large Language Models
本文通过展示“层级顺序反转”（即后一跳的答案可能在中间桥接实体之前被解码）现象，挑战了大型语言模型中流行的“跳跃对齐”假设，并提出了一个“概率性召回与提取”框架，通过宽泛的浅层召回随后进行选择性的深层提取来解释这一现象。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
大型语言模型是当今最先进人工智能系统背后的数字大脑。它们在海量文本上进行训练，学习以惊人的准确度预测句子中的下一个词。这种能力使它们能够回答问题、编写故事，并解决需要连接不同信息片段的问题。这些模型执行的最令人印象深刻的壮举之一是多跳推理（multi-hop reasoning）。这是一个通过链接多个知识点来回答无法仅凭单一事实解决的问题的过程。例如，要回答“斯蒂芬·库里所从事的运动起源于哪个国家？”，模型必须首先识别出这项运动，然后找到该运动的起源，最后将这两个事实结合起来得出答案。多年来，科学家们一直认为这些模型是通过遵循严格的、循序渐进的内部路径来解决此类难题的，就像人类一次解一个方程那样解决数学题。他们认为模型会先得出中间事实，将其存储起来，然后利用它来寻找最终答案。了解这些机器究竟是如何进行这种“脑力体操”的至关重要，这不仅是为了提高它们的智能，也是为了了解它们何时以及为何会失败。
来自中国科学技术大学和香港科技大学的研究团队现在挑战了这一长期以来的观点。通过窥探大型语言模型的内部运作机制，他们发现这些系统并不总是遵循此前假设的那种有序、循序渐进的路径。相反，他们发现了一种被称为“层序倒置”（layer-order inversion）的现象。在标准的逐步处理过程中，你会预期模型在得出最终答案之前先弄清楚中间的信息。然而，研究人员观察到，在许多情况下，模型似乎在完全理清中间步骤之前就已经“知道”了最终答案。这种情况随着问题的复杂程度增加（即涉及更多推理环节）而变得更加频繁。问题挖掘得越深，模型在其内部记忆中准备好最终答案的可能性就越大，甚至在它明确处理完连接各点的桥梁事实之前，答案就已经准备好了。
为了揭开这一现象，研究人员使用了一种名为 Patchscopes 的技术，它就像是模型内部思想的显微镜。他们向模型输入具有多达四个推理步骤的复杂问题，并观察数据在通过模型各层时信息是如何浮现的。他们观察了两个特定点：引入主题的问题开头，以及模型准备生成答案的问题结尾。他们发现，虽然模型通常在接近句子开头时处理推理的第一步，但最终答案往往比预期的更早出现在模型的内部状态中，有时甚至在中间事实完全形成之前就已经出现了。这反驳了模型构建一个每个步骤必须完成后才能开始下一步的刚性电路的观点。相反，这表明了一个更加流动的过程：模型可以直接召回最终答案，几乎就像一种直觉一样，而无需完全构建出逻辑路径。
研究人员提出了一个解释这种行为的新方法，称之为“概率召回与提取框架”（probabilistic recall-and-extract framework）。他们认为，模型并非像遵循固定规则的刚性机器，而更像是一个基于概率检索信息的庞大图书馆。在这种视角下，模型不仅仅是在其层级间进行垂直移动以逐步解决问题，它还在句子的词汇间进行水平移动。研究人员发现，在模型的浅层（靠近句子末尾处），存在一种对最终答案广泛且直觉式的召回。这种召回就像是一个信号或一种预感，指向正确的解决方案。这个信号并不是逻辑链条完成的结果，而是一种模型捕捉到的直接关联。在较弱的模型或面对极难问题时，这种直觉信号会变得更加显著，有时即使模型尚未完成推理步骤，也会引导它得出正确答案；反之，如果信号具有误导性，则会导致模型出错。
这一新视角有助于解释为什么模型的成功或失败方式在以前令人困惑。当一个模型答对多跳问题时，可能是因为这种直觉信号足够强大，足以引导出最终答案，即使其循序渐进的推理并不完整。相反，当模型失败时，通常不是因为它缺乏事实，而是因为它未能通过这种直觉信号检索到最终答案，或者未能从积累的知识中提取出正确的信息。这项研究表明，模型回答复杂问题的能力依赖于这种广泛的直觉召回与更具针对性的深度提取之间的平衡。这一发现表明，人工智能的内部逻辑与其说像一条刚性的装配线，不如说是一个动态的记忆与联想过程，在这个过程中，目的地有时可以在路径完全铺设完成之前就被预见。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。