Multi-Hop Knowledge Composition is Bound by Pretraining Exposure
本文表明，大语言模型在隐式多跳推理方面的失败并非源于缺乏记忆的事实，而是源于预训练阶段的缺陷，因为组合推理能力仅能迁移至那些在预训练期间明确接触过多跳上下文的个体。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你有一位超级聪明的图书管理员（AI），他记住了海量的传记。
如果你问：“蒂埃里（Thierry）什么时候出生的？”，管理员会瞬间回答。
如果你问：“齐内丁（Zinedine）最亲密的朋友是谁？”，管理员也能瞬间回答。
但如果你问：“齐内丁最亲密的朋友是什么时候出生的？”，管理员却僵住了。尽管他完美地掌握了这两个事实，但他无法在一次性回答中将它们联系起来。他知道这些碎片，却无法将拼图组装在一起。
这篇论文研究了为什么会发生这种情况，以及我们是否可以通过改变他们在训练期间阅读的书籍来教会他们这样做。
核心问题：“缺失的环节”
研究人员称之为组合性差距（Compositionity Gap）。这就像你拥有一个装满完美锤子和钉子的工具箱，却不知道如何根据要求造出一把椅子。AI可以找到事实，但它无法在潜意识中将它们“链式连接”起来。
实验：两组人群
为了研究这个问题，研究人员创造了一个拥有10万人的虚构世界。他们将这些人分为两组：
- “暴露型”组（The Exposed Group）： 这些人在训练书籍中以复杂的叙事形式出现。例如，书里可能会写道：“马库斯（Marcus）的朋友是德利娅（Delia），而德利娅出生在巴黎。” 这教会了AI将“马库斯”与“德利娅”再到“巴黎”联系起来。
- “留存型”组（The Held-Out Group）： 这些人虽然出现在书中，但仅出现在简单的、单一事实的故事中。书里写的是：“马库斯出生在伦敦。” 他们从未出现在将彼此联系起来的复杂故事中。他们是那些从未进入复杂关系网的“陌生人”。
随后，研究人员用这些书训练了AI，并针对这两组人进行了测试。
重大发现：你无法教导未曾见识过的事物
研究人员尝试了九种不同的方法来“增强”（augment）训练数据（通过改变故事的写法、使用自然语言或使用像RDF这样的结构化数据）。
以下是他们的发现：
- 对于“暴露型”组： 当AI在训练期间看到复杂的叙事时，它在回答多步问题方面表现得更好。如果它学到了“A是B的朋友”且“B出生在X”，那么它就能正确回答“A的朋友什么时候出生的？”
- 对于“留存型”组： 无论研究人员如何调整训练数据，AI在这一组人身上完全失败了。即便AI完美掌握了事实，但如果那个人在训练期间从未出现在“复杂”的故事中，AI就无法将他们联系起来。
类比：
想象你在教一个孩子做数学题。
- 暴露型组： 你给孩子展示一个问题：“如果约翰有2个苹果，给了玛丽1个，那么玛丽现在有几个苹果？” 你多次重复这个过程。孩子学会了“分享”的逻辑。
- 留存型组： 你向孩子展示另一个孩子“鲍勃（Bob）”，但你只问：“鲍勃有多少个苹果？” 你从未涉及关于鲍勃“分享”的问题。
- 测试： 当你问：“如果鲍勃给爱丽丝一个苹果，爱丽丝现在有几个苹果？” 孩子（AI）失败了。他们知道鲍勃有苹果，但因为他们从未在“分享”的情境下见过鲍勃，所以他们无法将这种逻辑应用到鲍勃身上。
关键启示
- 这是训练问题，而非记忆问题： AI失败并不是因为它“笨”或者内存不够，而是因为它在“求学”（预训练）期间从未接触过这些特定的人（实体）所对应的特定类型的推理。
- “暴露”是强制性的： 要学会连点成线，AI必须在测试之前就已经看过这些点是如何连接在一起的。你无法教会AI去推理一个它从未在复杂语境中见过的特定人物。
- 显式 vs 隐式： 研究人员尝试了两种编写故事的方式：
- 显式（Explicit）： “马库斯的朋友德利娅出生在巴黎。”（指明了朋友的名字）。
- 隐式（Implicit）： “马库斯的朋友出生在巴黎。”（隐藏了朋友的名字）。
他们发现，隐式（隐藏名字）在教导AI进行推理方面效果更好，因为这迫使AI去自行推导逻辑链条，而不是直接读取答案。然而，即使是最好的训练方法，在面对“留存型”组时也宣告失败。
结论
该论文得出结论：隐式多跳推理受限于预训练的暴露程度（pretraining exposure）。
如果AI在学习过程中，没有在“多步”语境中见过某个特定的人（或实体），那么无论模型多么聪明，或者你喂给它多少数据，它在之后很可能都无法对该人物进行推理。连点成线的能力并不是AI自动习得的一种通用超能力；它是一项特定的技能，AI只能针对它曾经练习过的特定角色习得该技能。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。