Evaluation of Deontic Conditional Reasoning in Large Language Models: The Case of Wason's Selection Task

该研究通过构建包含道义情态的新数据集,发现大语言模型在道义条件推理中的表现优于描述性条件,且其错误模式与人类相似的“匹配偏差”而非“确认偏差”更为一致,揭示了模型推理能力的情境依赖性及与人类认知偏见的平行性。

Hirohiko Abe, Kentaro Ozeki, Risako Ando, Takanobu Morishita, Koji Mineshima, Mitsuhiro Okada

发布于 2026-03-09
📖 1 分钟阅读☕ 轻松阅读

Each language version is independently generated for its own context, not a direct translation.

这篇论文就像是一次对人工智能(AI)大脑的“逻辑体检”,特别是检查它们在处理“如果……那么……"这类规则时,会不会像人类一样犯同样的错。

为了让你轻松理解,我们可以把这项研究想象成**“侦探破案游戏”**。

1. 背景:AI 变聪明了,但逻辑还在“练级”吗?

现在的 AI(大语言模型)说话越来越像人,写诗、写代码都很厉害。但研究人员想知道:AI 真的会“思考”吗? 还是说它只是在模仿人类的说话方式?

在心理学里,有一个经典的“侦探游戏”叫**“韦森选择任务”(Wason Selection Task)**。

  • 游戏规则:桌上有四张卡片,每张卡片一面是数字,一面是字母。
  • 规则:“如果卡片的一面是奇数,那么另一面必须是大写字母。”
  • 任务:你需要翻哪几张卡片,才能证明这条规则是错的(或者验证它是对的)?

人类的困境
大多数人(包括很多聪明人)都会选“奇数”和“大写字母”。但这其实是错的!

  • 正确答案:应该翻“奇数”(看看背面是不是大写字母)和“小写字母”(看看背面是不是奇数,如果是,规则就破了)。
  • 为什么人类会错? 因为人类大脑有两种“作弊”倾向:
    1. 确认偏误(Confirmation Bias):只想找支持规则的证据(看到奇数就想翻,看到大写字母也想翻),不想找反例。
    2. 匹配偏误(Matching Bias):只看规则里出现的词(奇数、大写字母),不管它们前面有没有“不”字。

2. 实验设计:给 AI 出两套题

研究人员给 AI 出了两套题,看看它更像哪种“人”:

  • 第一套:枯燥的数学题(描述性规则)
    • 规则:“如果卡片是奇数,背面就是大写字母。”
    • 这就像做纯逻辑题,没有实际意义。
  • 第二套:生活常识题(道义规则/Deontic Rules)
    • 规则:“如果洒了血,护士必须戴手套。”
    • 这涉及“义务”和“禁止”,就像我们在生活中遵守的规矩。

研究发现
人类在做“生活常识题”时,表现会好很多,因为大脑里有个专门处理“社会规则”的模块。
AI 呢? 研究发现,AI 也表现出了同样的“人类特质”

  • 在处理“洒血戴手套”这种有实际意义的规则时,AI 的准确率比处理枯燥数学题时高得多
  • 这说明 AI 的推理能力不是均匀分布的,它也有“领域特异性”——就像人类一样,遇到具体的社会规则时,逻辑更清晰。

3. 核心揭秘:AI 到底犯了什么错?

研究人员想搞清楚,AI 犯错是因为“想确认规则是对的”(确认偏误),还是因为“只盯着规则里的词看”(匹配偏误)?

为了测试这一点,他们给规则加了“否定词”(比如“如果是奇数……")。

  • 如果是“确认偏误”:AI 应该总是选那些看起来“符合”规则正面描述的卡片。
  • 如果是“匹配偏误”:AI 应该总是选规则里字面上出现的词,哪怕前面有个“不”字,它也会忽略。

结果令人惊讶
AI 的犯错模式更像**“匹配偏误”**。

  • 当规则变成“如果是奇数……"时,AI 依然倾向于选“奇数”这张卡片,因为它只看到了“奇数”这个词,忽略了前面的“不”字
  • 这就像是一个**“只读关键词的机器人”**:它没有真正理解逻辑的深层含义,而是像玩“找不同”游戏一样,只盯着规则里出现的字眼去匹配。

4. 总结:AI 的“大脑”像什么?

这篇论文告诉我们几个有趣的事实:

  1. AI 有“人类味”:在处理涉及义务、规则(如“必须”、“禁止”)的问题时,AI 表现得比处理抽象逻辑题更好,这和人很像。
  2. AI 的“死穴”是忽略否定词:AI 犯错的根源,更多是因为它**“只认字面,不看逻辑”(匹配偏误),而不是因为它想“确认规则是对的”。它就像是一个只会在规则里找关键词的初级侦探**,一旦规则里加了“不”,它就晕头转向了。
  3. 未来的方向:虽然现在的 AI 很强大,但在处理复杂的逻辑否定(比如“如果不……就不……")时,它们依然需要像人类一样进行专门的训练,才能真正理解逻辑的精髓,而不仅仅是模仿人类的语言模式。

一句话总结
这篇论文发现,AI 在处理“社会规矩”时比做“数学题”更聪明,但它犯错的原因不是想“自圆其说”,而是像**“近视眼”一样,只盯着规则里的关键词看,却忽略了“不”字**这种重要的逻辑转折。