Language Models Can Resolve Reference Compositionally, But It's Not Their Native Strength: The Case of the Personal Relation Task
本文表明，尽管大型语言模型在个人关系的结构化、内涵式解释方面优于人类，但在指称性的外延式任务中表现较差，这表明缺乏指称性落地是其实现类人语言理解的一个关键局限。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你拥有一个由六个人组成的庞大且复杂的家族树：Amber、Bryan、Christina 和 Dana。他们通过“朋友”、“敌人”、“父母”和“孩子”等关系连接在一起。
现在，想象有人向你提出了一个关于这个家族树的棘手问题，比如：“谁是 Amber 父母的朋友？”
这篇论文是一场人类与 AI 语言模型 (LLMs) 之间的正面交锋，旨在看谁在回答这类问题时表现得更好。但这里有一个转折：研究人员要求参与者用两种完全不同的方式来解决这个问题。
两种解题方式
“是谁？”游戏（外延式任务/Extensional Task）：
- 目标： 只给出那个人的名字。
- 答案： “Felicia。”
- 测试内容： 你能否在地图上导航并找到特定的目的地？这就像是在地图上寻找并指向你需要访问的城市。
“怎么去那里？”游戏（内涵式任务/Intensional Task）：
- 目标： 不要给出名字。相反，写下寻找那个人的“食谱”或“公式”。
- 答案：
friend(parent(Amber)) - 测试内容： 你能否理解句子的结构并将步骤写下来？这就像是写出驾驶指南，而不是实际去开车。
大惊喜：人类与 AI 是截然相反的
研究人员发现，人类和 AI 各擅长不同的领域。这就像是在比较一位人类导航员和一位超级快速的翻译员。
人类是导航员：
当被问到“是谁？”时，人类表现出色（准确率 83%）。他们可以观察家族树，遵循连接关系，并指向正确的人。
然而，当被要求写出“食谱”（friend(parent(Amber))）时，人类却遇到了困难（准确率 71%）。这就像是一个优秀的司机，突然需要写一本关于如何驾驶的教科书，却忘记了如何书写具体的规则。AI 是超级翻译员：
当被要求写出“食谱”时，AI 表现得非常出色（准确率 95%）。它将问题视为一个语言谜题。它看到“Amber 的父母的朋友”，然后只需将单词重新排列成一个公式。它就像一个完美的翻译，能完美地将法语转换为英语，但从未去过法国。
然而，当被问到“是谁？”时，AI 却感到困惑（准确率 80%）。它难以真正利用家族树来找到特定的人。它知道“食谱”，但无法根据食谱到达目的地。
为什么会这样？
论文指出，原因很简单：它们学习技能的方式不同。
- 人类通过与现实世界互动来学习语言。我们知道什么是“朋友”或“父母”，是因为我们见过他们。我们是植根于现实的。因此，寻找一个特定的人（“是谁”）对我们来说是很自然的。
- AI 只通过文本学习。它从未见过名为 Amber 的人。它只见过数百万个关于朋友和父母的句子。它是识别单词模式并重新排列它们的专家，但它没有一个可以用来导航的“现实世界”地图。它就像一位读遍了所有食谱，却从未真正烹饪过食物或品尝过食材的厨师。
“抽象化”转折
研究人员还尝试了一个更难的版本，即用随机字母如“h”替换掉像“Amber”这样的名字，用“x”替换掉“friend”。
- 人类对此感到非常痛苦。对于使用随机字母来推导“食谱”这件事，对他们来说非常困难。
- AI 在“食谱”部分仍然表现尚可，但在“寻找那个人”方面变得非常糟糕。
核心启示
论文得出结论：虽然 AI 在操纵符号和编写公式（“内涵式”任务）方面极其聪明，但它目前还不像人类那样擅长利用这些符号来寻找现实世界的答案（“外延式”任务）。
作者认为，如果 AI 想要像人类一样真正理解语言，它需要的不仅仅是阅读书籍；它需要像我们一样，在现实世界中获得“落地感”（grounded）。在此之前，AI 是一位出色的思想翻译家，但还不是一个完美的现实导航员。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。