🤖 AI

FALSIFYBENCH: Evaluating Inductive Reasoning in LLMs with Rule Discovery Games

本文介绍了受 Wason 2-4-6 任务启发而设计的基准测试 FALSIFYBENCH，用于评估大语言模型在科学发现中的归纳推理能力，研究揭示了推理模型之所以优于指令微调模型，主要是由于其具备负向测试的能力，且其失败源于假设导航中可识别的模式。

原作者： Leonardo Bertolazzi, Katya Tentori, Raffaella Bernardi

发布于 2026-06-04

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Leonardo Bertolazzi, Katya Tentori, Raffaella Bernardi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在和一位朋友玩猜谜游戏，他知道一个秘密规则，但你不知道。你的朋友给了你三个符合该规则的例子，比如“2, 4, 6”。你的任务是通过提出你自己的数字组合来弄清这个秘密规则，并询问：“这符合吗？”

这是经典的“沃森 2-4-6 任务”，是一个用于研究人类思维方式的著名谜题。你所询问的这篇论文——FALSIFYBENCH——将这个游戏交给了人工智能（AI）模型，但它使用的不是数字，而是单词和类别（比如“动物”或“工具”）。

以下是研究人员所做的工作和发现，使用了简单的类比。

游戏：“寻找隐藏类别”

把 AI 想象成一个试图破解谜团的侦探。

设定： AI 被展示三个物品，比如“蝙蝠”、“鸕陆续”（skimmer）和“眼镜猴”（tarsier）。
目标： AI 必须猜出这些物品所属的隐藏类别（例如“动物”）。
难点： AI 并不知道答案。它必须猜测一个规则，进行测试，并获得反馈。
- 如果 AI 猜“会飞的东西”并测试“蝙蝠”，系统会说：“是的，这符合。”
- 如果 AI 测试“鱼”而系统说：“不，这不符合”，AI 就意识到它的规则定得太宽泛了。
- 如果 AI 测试“鲸鱼”而系统说：“是的，这符合”，但 AI 原本以为规则是“会飞的东西”，那么 AI 就意识到它的规则定得太狭隘了。

核心问题：“唯唯诺诺者”陷阱

研究人员发现，大多数 AI 模型（以及人类）都受到一种被称为**确认偏差（Confirmation Bias）**的特定思维错误的困扰。

想象你是一名认定凶手是“管家”的侦探。

“唯唯诺诺”策略（确认）： 你只提出那些能证明管家有罪的问题。“管家有动机吗？”“是的。”“管家当时在房间里吗？”“是的。”你感到很有信心，但你从未真正检查过管家是否是清白的。你只是在寻找“是”的回答。
“杠精/反方证人”策略（证伪）： 你积极地尝试证明管家不是凶手。你会问：“案发时管家在海滩上吗？”如果答案是“是的”，你的理论就被摧毁了，你必须寻找新的嫌疑人。

该论文的主要发现：
那些表现得像“反方证人”（试图打破自己理论）的 AI 模型在解谜方面表现得更好。而那些表现得像“唯唯诺诺者”（只寻找证明自己正确性的证据）的模型则陷入了困境。它们不断猜测一些狭隘的规则（比如“会飞的哺乳动物”），却从未意识到真正的规则其实更宽泛（比如“所有的动物”）。

结果：谁玩得最好？

团队测试了 12 种不同的 AI 模型。以下是他们的发现：

“推理型”模型胜出： 那些设计为在说话前先进行“思考”的新型 AI 模型（通常被称为“推理模型”）是比标准模型更优秀的侦探。它们更有可能尝试去打破自己的理论。
没有人是完美的： 即使是最优秀的 AI 模型也没有完美地解决这个游戏。它们仍然会犯错，这表明 AI 尚未成为科学发现的大师。
这不是智力问题，而是策略问题： 研究人员检查了 AI 失败是因为不认识单词的定义（比如不知道“蝙蝠”是什么），结果发现这并不是问题。AI 认识这些词，只是策略不对。它们太害怕测试那些可能出错的想法了。

“逐回合”分析

研究人员不仅观察了谁赢了，还观察了 AI 在每一轮移动中是如何表现的。他们发现了 AI 失败的两种主要方式：

迷失在森林中： AI 不会缓慢地从一个具体的猜测转向一个更通用的猜测（比如从“蝙蝠”到“哺乳动物”再到“动物”），有时它会跳到完全无关的猜测上（比如“以字母 B 开头的单词”）。
关注错误的细节： 有时，AI 不去猜测单词的含义，而是根据单词的外观进行猜测。例如，它可能会猜：“规则是所有单词都有三个字母，”或者“它们都以元音开头。”这就像一名侦探忽略了犯罪现场，转而关注嫌疑人的鞋子颜色一样。

总结

这篇论文引入了一个新测试（FALSIFYBENCH），用以观察 AI 是否具备真正的科学思维能力。结论是，虽然 AI 在“思考”方面正在进步，但它在科学最核心的部分——拥抱错误的勇气——方面仍面临挑战。

要成为一名优秀的科学家（或侦探），你必须积极地尝试证明自己的想法是错误的。那些学会做到这一点的 AI 模型是赢家，但即便如此，它们距离取代人类科学家还有很长的路要走。

技术摘要：FALSIFYBENCH

问题陈述

尽管大语言模型（LLMs）正越来越多地被部署为执行科学任务的自主智能体，但它们是否具备进行科学发现所需的特定形式的归纳推理能力，仍然是一个悬而未决的问题。科学推理的一个关键组成部分是假设驱动型推理，特别是根据新证据生成、评估和修正假设的能力，包括**证伪（falsification）**的能力。

现有的基准测试通常通过序列到序列任务（如 ARC）或逻辑谜题来测试归纳推理，但这些测试往往无法捕捉到动态、迭代的假设检验过程——即智能体必须主动寻求证伪其当前信念的过程。此外，人类研究（如 Wason, 1960）早已证实人类存在确认偏误（confirmation bias），即倾向于寻找能够证实其假设的证据，而非能够证伪其假设的证据。目前尚不清楚 LLMs 是否也表现出类似的偏误，以及“推理型”模型（具有扩展思考能力的模型）在克服这些偏误和发现隐藏规则的能力上，是否与标准的指令微调模型有所不同。

方法论：FALSIFYBENCH

作者引入了 FALSIFYBENCH，这是一个旨在通过对经典的 Wason 2-4-6 任务进行语义泛化来评估假设驱动型推理的基准测试。

游戏结构

在 FALSIFYBENCH 中，LLM 扮演“玩家”角色，试图发现一个由语义类别（例如“动物”）定义的隐藏目标规则（ $R$ ）。

初始化： 玩家获得一组初始项三元组（例如，“pocketed bat,” “skimmer,” “tarsius glis”），这些项取自目标规则 $R$ 的一个特定子类别（ $S$ ）（例如， $S$ = “脊椎动物”， $R$ = “动物”）。
交互： 玩家迭代地提出新的项目三元组，并附带当前的假设（ $H$ ）和理由。
先知反馈（Oracle Feedback）： 先知（另一个 LLM 实例）根据所提项目是否符合隐藏规则 $R$ ，做出“符合（Conform）”或“不符合（Do not conform）”的响应。
终止： 当玩家提交最终的 $R$ 猜测（正确/错误）或达到最大回合限制（20 回合）时，游戏结束。

实验设计

语义领域： 与数值型的 Wason 任务不同，FALSIFYBENCH 使用源自 WordNet 的语义分类法。这使得构建此类游戏成为可能：初始示例会迫使玩家形成一个过于具体的假设（ $H \subset R$ ），在这种配置下，负向测试（negative testing）（即提出不在 $H$ 范围内的项目）是唯一能够得出结论性证伪该假设的策略。
评估模型： 评估了包括指令微调变体（如 Llama-4-Maverick, Mistral-Small）和推理变体（如 GPT-5.2-Chat, GPT-OSS-120B, DeepSeek-V3.1）在内的 12 个不同家族和规模的 LLMs。
双重角色： 每个模型既作为玩家（推理智能体），也作为先知（判断智能体），以评估其推理能力以及其语义判断相对于人类标注的一致性。
指标：
- 成功率： 正确识别目标规则的游戏百分比。
- 确认偏误： “正向测试”（测试预期符合 $H$ 的项目）相对于“负向测试”（测试预期证伪 $H$ 的项目）的比例。
- 先知准确度： 在项目是否符合规则方面与人类标注的一致性。
- 回合级分析： 对当前假设 $H$ 与目标 $R$ 之间关系的细粒度分析（例如， $H \subset R$ , $H \supset R$ , 部分重叠），以确定所使用的测试策略是否最优。

核心贡献

FALSIFYBENCH 基准测试： 一个基于语义分类法的新颖评估框架，它将主动生成并可能证伪假设的能力操作化，模拟了科学史上常见的 $H \subset R$ 配置（例如，牛顿力学作为相对论的一个子集）。
对比评估： 对 12 个 LLM 进行了系统评估，证明推理模型在科学推理任务中通常优于指令微调模型，尽管没有任何模型达到最优性能。
机制洞察： 通过细粒度的回合级分析，揭示了失败并非随机发生，而是与模型如何导航假设空间中的可识别模式相关，特别是对确认偏误的依赖以及对表面层级语言特征的生成。

结果

性能与策略

推理型 vs. 指令微调型： 推理型模型实现了显著更高的成功率（例如，GPT-5.2-Chat 为 75%，GPT-OSS-120B 为 68%），相比之下，指令微调型模型（如 DeepSeek-V3.1 为 41%，其他模型聚集在 33–35% 之间）表现较低。然而，即使是表现最好的模型也未能达到最优性能。
负向测试的角色： 确认偏误与成功率之间存在强负相关性（ $\rho = -0.779$ ）。那些积极寻求证伪其假设（负向测试）的模型，其表现始终优于那些主要寻求确认的模型。
先知质量： 虽然先知准确度普遍较高（85–95%），但先知质量与玩家成功率之间没有显著相关性。贝叶斯混合效应逻辑回归证实，确认偏误是成功的强负向预测因子，而先知错误率的影响微乎其微。

失败模式

假设空间导航： 在失败的游戏中，模型经常形成部分重叠或不相交于目标的假设，而不是遵循连贯的向上修正路径（ $H \subset R$ ）。
表面特征： 失败的游戏更有可能包含侧重于表面层级语言特征（例如，“所有项目都以字母 'a' 开头”或“音节计数”）的假设，而非语义属性。对于高性能模型而言，几乎所有失败的游戏都涉及至少一个此类语言假设。
回合效率： 成功的游戏具有 $H \subset R$ 回合集中且修正高效的特征。失败的游戏显示出更高比例的“部分重叠”回合，表明模型陷入了虽接近但并不正确的假设中。

意义与主张

本文声称 FALSIFYBENCH 为 LLMs 的“科学推理”能力提供了一个严格的测试，使其超越了静态知识检索，转向动态的假设检验。主要发现是，进行负向测试的能力是归纳推理任务成功的核心驱动力。

作者强调，虽然推理模型在证伪假设方面表现出比指令微调模型更优越的能力，但目前的 LLMs 仍难以胜任完整的科学过程。依赖确认偏误并向表面层级语言模式漂移的倾向表明，即使是先进的模型，也尚未完全内化科学发现的规范性策略。这项工作强调，“思考”（推理）本身是不够的，还需要具备主动寻求证伪证据的战略纪律。

作者对研究范围保持谦逊，承认该研究侧重于科学推理的一个特定方面（在子集配置下的假设修正），并且使用 WordNet 作为语义知识的代理存在局限性。他们并不声称 LLMs 已经准备好进行自主科学发现，而是认为 FALSIFYBENK 为衡量这一特定领域的进展提供了一个必要的诊断工具。