Absurd World: A Simple Yet Powerful Method to Absurdify the Real-world for Probing LLM Reasoning Capabilities
本文介绍了“荒诞世界”，这是一个基准测试框架，它将现实世界场景系统性地转化为逻辑自洽但荒诞的情境，以评估大语言模型是否具备独立于记忆中的现实世界模式的稳健逻辑推理能力。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你有一个非常聪明的机器人助手，它几乎读遍了互联网上的每一本书、每一篇文章和每一个网站。你向它问了一个简单的问题：“如果我有 3 个苹果，吃掉了 1 个，我还剩下几个？”它立刻回答"2 个”。这看起来完美无缺。
但如果你告诉机器人：“在这个魔法世界里，如果你吃了一个苹果，你实际上会获得一个苹果”，人类会立刻理解这条新规则并说：“好的，那么我有 4 个苹果了。”但这篇论文指出，我们当前的许多 AI 助手可能会感到困惑。它们可能会忽略你的新规则，直接回答"2 个”，因为那是它们在“现实世界”中学到的预期答案。
这篇论文引入了一个名为**荒诞世界（Absurd World）*的新测试平台，旨在检验 AI 究竟能否真正遵循你的*规则，还是仅仅盲目地遵循它记忆中世界通常的运作方式。
核心理念：“魔法足球”游戏
研究人员基于足球点球大战设计了一个简单的游戏。在正常比赛中，如果你把球踢进网，你得一分；如果你踢偏了，你得零分。
在荒诞世界中，他们拿这个熟悉的游戏稍微扭曲了规则，创造出一些对人类来说容易理解但对 AI 来说很奇怪的“荒诞”版本：
- “踢偏”规则：在这个版本中，踢偏球门得一分，而踢进球门得零分。
- “最低”规则：得分最低的队伍获胜。
- “冰淇淋”规则：队伍获得的不是积分，而是冰淇淋甜筒。
- “互换”规则：队伍向球踢球门（交换了物体的角色）。
目标并不是让数学变得困难。数学仍然只是简单的计数。目标在于观察 AI 能否忽略其在现实世界中的训练，并严格遵循提示中提供的奇怪新指令。
他们如何测试
他们像疯狂的科学家一样，将一场标准的足球比赛拆解为构建模块：
- 符号：球员、球、球门。
- 动作：踢进或踢偏。
- 规则：如何得分以及谁获胜。
随后，他们将这些模块重新组合，创造出数百种这样的“荒诞”场景。他们让各种 AI 模型阅读一段关于比赛的简短故事，并宣布获胜者。
令人惊讶的结果
这篇论文发现了三点主要内容，可能会让你重新思考这些 AI 究竟有多“聪明”：
1. “昂贵”的模型实际上表现更差
你可能会认为，最昂贵、最强大的 AI 模型在遵循新规则方面会表现最好。令人惊讶的是，“廉价”模型的表现往往优于“昂贵”的非推理模型。昂贵的模型似乎陷入了自己的思维定势，过度依赖它们认为在真实足球比赛中应该发生的情况，而不是提示中实际所说的内容。
2. “推理”模型是冠军
专门设计用于“思考”（通常被称为推理模型）的模型是唯一获得满分的。它们能够审视荒诞的规则（“踢偏得一分”）并说：“好的，我将忽略我的现实世界知识，遵循这条新规则。”它们没有被魔法所迷惑。
3. 提供示例反而适得其反
通常，当你想教 AI 某事时，你会先给它一些示例（这被称为“少样本提示”）。你可能会说：“这是一个如何操作的示例，现在你来试试。”
- 转折：在这项研究中，给 AI 提供示例实际上使其表现更差。似乎当 AI 试图切换到“荒诞”规则时，看到“旧”方式的示例反而让它感到困惑。这就像在让人画一只狗之前先给它看一张猫的照片；它们会一直画出猫的特征。
结论
这篇论文认为，我们需要停止仅仅在困难、复杂的谜题上测试 AI。相反，我们需要在带有奇怪规则的简单任务上测试它们。
如果一个 AI 无法遵循“踢偏球门才能获胜”这样简单的规则，那么将更复杂的任务托付给它，而这些任务的规则又与其训练数据中的规则不同时，可能就不安全了。荒诞世界是一个工具，用于检查 AI 是否真的在倾听你，还是仅仅在复述它认为你应该听到的内容。
简而言之：仅仅因为一个 AI 了解现实世界的一切，并不意味着它能在一个魔法世界里按照你的规则行事。这篇论文构建了一个游乐场，用来找出哪些 AI 能够真正切换档位，而哪些 AI 则被困在了空挡中。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。