Abductive Reasoning with Syllogistic Forms in Large Language Models

本文通过将演绎数据集转化为适合溯因推理的形式，评估了大语言模型在溯因推理中的准确性与偏差，旨在揭示其超越形式演绎的上下文推理能力，从而促进机器与人类认知在复杂推理任务中的融合。

要点

这篇论文就像是在给现在的超级人工智能（大语言模型，LLM）做一场特殊的“逻辑体检”。

为了让你轻松理解，我们可以把人工智能想象成一个博学的“书呆子”学生，它读过海量的书，但还没真正上过“生活实践课”。

1. 核心问题：它真的会“思考”吗？

以前，大家发现这个“书呆子”学生有个毛病：它太依赖常识了。如果题目说“所有猫都会飞，汤姆是猫，所以汤姆会飞”，虽然逻辑上是对的，但因为违背常识（猫不会飞），它反而可能答错。这就像它太在意“现实世界”而忽略了“逻辑规则”。

但这篇论文的作者觉得：也许我们错怪它了？
因为人类的日常思考，不仅仅是像做数学题一样的**“演绎推理”（从规则推导结果），更多的是“溯因推理”**（Abduction）。

• 演绎推理（Deduction）：就像做数学题。
  • 规则：所有鸟都有翅膀。
  • 事实：这只动物有翅膀。
  • 结论：它是鸟。（等等，蝙蝠也有翅膀，这逻辑其实不严密，但在演绎里我们追求绝对推导）
• 溯因推理（Abduction）：就像侦探破案或医生看病。
  • 规则：如果下雨，地会湿。
  • 事实：地湿了。
  • 推测（假设）：可能是下雨了。
  • 注意：地湿也可能是洒水车经过。所以“溯因”不是 100% 确定的，它是从结果反推最可能的原因。

论文的核心观点是： 既然人类日常都在用“侦探思维”（溯因），那我们也应该看看 AI 的“侦探能力”怎么样，而不仅仅是看它会不会做数学题。

2. 实验设计：给 AI 出“侦探题”

作者们把原本用来测试“数学题”（演绎推理）的题目，改成了“侦探题”（溯因推理）。

• 原来的题目（演绎）：
  • 前提 A：所有在袋子里的东西都是白色的。
  • 前提 B：这些球是白色的。
  • 问：结论是什么？（AI 需要判断能不能推出“这些球在袋子里”）
• 改后的题目（溯因）：
  • 规则：所有在袋子里的东西都是白色的。
  • 观察：这些球是白色的。
  • 问：最合理的解释（假设）是什么？
    • 选项 1：这些球在袋子里。（可能是对的，但也可能是别的）
    • 选项 2：这些球不在袋子里。
    • 选项 3：这两个选项都不是好解释（因为光看颜色无法确定来源）。

作者给 AI 出了 216 道这样的题，还特意把题目分成了三类：

1. 符合常识的（比如：开心的人会笑）。
2. 违背常识的（比如：在甜品店做的蛋糕是辣的）。
3. 中立的（比如：袋子里的东西是白色的）。

3. 实验结果：AI 的“侦探”表现令人意外

结果出来，大家发现了一个有趣的现象：

• 做数学题（演绎）时：AI 表现不错，尤其是最新的模型（如 GPT-4），准确率很高。
• 当侦探（溯因）时：AI 的表现反而变差了，甚至不如做数学题。

具体发现了什么？

1. 它不懂“不知道”：当题目逻辑上无法确定答案（应该选“都不是好解释”）时，AI 经常强行选一个答案，而且经常选错。就像侦探明明证据不足，却非要胡乱指认一个嫌疑人。
2. 它也有“偏见”：就像人类一样，如果题目内容违背常识（比如“甜品店做辣蛋糕”），AI 的推理准确率就会大幅下降。它太容易被“常识”带偏，忽略了逻辑本身。
3. 负号陷阱：如果题目里出现了“不”、“没有”这种否定词，AI 就更容易晕头转向，胡乱猜测。

4. 为什么会出现这种情况？

作者们分析，可能是因为：

• 训练数据偏差：AI 在训练时，看到的“数学题”（演绎推理）比“侦探题”（溯因推理）多得多。它更擅长做确定的推导，而不擅长处理“可能性”和“猜测”。
• 被误导了：在题目中，AI 可能把“假设（Hypothesis）”这个词理解成了“必然的结论”，所以它拼命想从前提里推导出一个确定的结果，而不是去猜测一个可能的原因。

5. 总结与启示

这篇论文告诉我们：

• AI 不是全能的：虽然它们很聪明，但在需要“根据有限线索进行猜测”这种人类很擅长的日常推理上，它们还不如做逻辑题时表现得好。
• 偏见是共通的：AI 和人类一样，容易被常识和偏见干扰，无法完全做到“就事论事”。
• 未来的方向：如果我们想让 AI 真正像人类一样思考（比如做医生、做侦探、做科研），我们就不能只教它做数学题，还得教它如何在信息不全时提出合理的假设，以及如何诚实地承认“我不知道”。

一句话总结：
这篇论文就像给 AI 做了一次“侦探模拟考”，发现这个“书呆子”虽然数学满分，但一遇到需要“猜谜”和“推测”的生活场景，就容易犯迷糊，甚至和人类一样会被常识带偏。这提醒我们，要让 AI 真正融入人类生活，还得继续打磨它的“直觉”和“猜测能力”。

技术摘要

论文技术总结：大型语言模型中的三段论形式溯因推理

1. 研究背景与问题定义

随着大型语言模型（LLM）的快速发展，评估其与人类推理能力的异同成为关键课题。现有研究多集中于演绎推理（Deduction），发现 LLM 表现出与人类相似的认知偏差（如信念偏差，即倾向于接受符合常识但逻辑无效的推论）。然而，人类日常推理不仅包含演绎，还广泛涉及溯因推理（Abduction），即从有限信息中推导假设以解释观察到的现象。

核心问题：

• LLM 在溯因推理任务中的表现如何？
• LLM 是否在溯因推理中也表现出类似人类的信念偏差？
• 与演绎推理相比，LLM 在溯因推理上的能力是否存在显著差异？

本文旨在填补这一空白，通过构建基于三段论框架的溯因推理数据集，系统评估 LLM 的溯因能力。

2. 方法论

2.1 理论框架：皮尔士的溯因定义

研究基于查尔斯·桑德斯·皮尔士（Charles Sanders Peirce）的溯因理论，将其定义为演绎三段论的逆过程：

• 演绎（Deduction）： 规则 (Rule) + 案例 (Case) $\rightarrow$ 结果 (Result)
• 溯因（Abduction）： 规则 (Rule) + 结果 (Result) $\rightarrow$ 假设 (Case/Hypothesis)

例如：

• 规则：袋子里的所有东西都是白色的。
• 观察：这些球是白色的。
• 假设（溯因结论）：这些球在袋子里。
• 注：这在形式逻辑上属于“肯定后件”谬误，但在溯因推理中是合理的假设生成。

2.2 数据集构建 (Abduction-Syllogism-LLM)

作者构建了一个包含 216 个溯因问题和 216 个对应演绎问题的数据集：

• 术语设计： 包含主语 (A)、可观察谓词 (B，如“是白色的”) 和不可观察谓词 (C，如“在袋子里”)。
• 推理模式： 基于三段论的四种变体（肯定/否定规则与观察的组合），生成 8 种推理模式（其中 4 种为正确的溯因，4 种为无效/无解）。
• 信念偏差标注： 将问题分为三类：
  1. 一致 (Consistent)： 规则符合常识（如“开心的人都会笑”）。
  2. 不一致 (Inconsistent)： 规则违背常识（如“甜品店做的东西都是辣的”）。
  3. 中性 (Neutral)： 规则与常识无关（如“袋子里的东西是白色的”）。
• 任务形式： 给定规则 (Rule) 和观察 (Observation)，从三个选项中选择最合理的假设：
  1. 肯定假设 (Positive)
  2. 否定假设 (Negative)
  3. 两者皆非 (Neither)

2.3 实验设置

• 模型： 测试了四种 SOTA 模型：GPT-3.5, GPT-4, Llama-3-8B, Llama-3-70B。
• 模式： 零样本 (Zero-shot) 和 少样本 (Few-shot) 提示学习。
• 对比任务： 同一数据集被转换为演绎推理任务（给定前提推导结论），以进行横向对比。
• 评估指标： 整体准确率，以及按答案类型（Positive/Negative/Neither）和信念类型（Consistent/Inconsistent/Neutral）细分的准确率。

3. 主要结果

3.1 溯因 vs. 演绎：整体表现

• 演绎优于溯因： 所有模型在演绎任务上的表现均显著优于溯因任务。
  • GPT-4 (Few-shot)： 演绎准确率高达 95.83%，而溯因仅为 28.70%。
  • Llama-3-70B (Few-shot)： 演绎准确率为 84.72%，溯因最高达到 75.46%（是唯一在少样本下表现较好的模型，但仍低于其演绎能力）。
• 零样本表现： 在零样本设置下，所有模型的溯因准确率均较低（GPT-4 约 41.67%），仅略高于随机水平。

3.2 信念偏差 (Belief Bias)

• 人类偏差的复现： LLM 在溯因任务中同样表现出信念偏差。
  • 在不一致 (Inconsistent) 条件下（规则违背常识），模型的准确率显著低于一致和中性条件。
  • 例如，GPT-4 在少样本演绎中，不一致条件的准确率为 92.42%，而在溯因任务中，不一致条件的准确率仅为 19.70%。
• 结论： 即使是在生成假设的溯因任务中，LLM 也倾向于被常识内容干扰，难以分离逻辑形式与内容。

3.3 错误模式分析

• “无解” (Neither) 识别困难： 模型在处理正确答案为"Neither"（即逻辑上无法推导或无合理解释）的问题时表现极差。
  • 在溯因任务中，GPT-4 面对"Neither"正确答案时，倾向于错误地选择"Negative"（否定假设），而非承认无解。
  • 这种倾向在溯因任务中比在演绎任务中更为明显，可能受到“氛围效应”（Atmosphere Effect）的影响，即前提中的否定词导致模型倾向于生成含否定的结论。
• 演绎思维的干扰： 分析显示，LLM 在解决溯因问题时，部分表现似乎受到了演绎逻辑的干扰（例如将“肯定前件”误判为有效），但并未完全将其视为演绎任务，表明模型在两种推理模式间存在混淆。

4. 关键贡献

1. 首个基于三段论的 LLM 溯因基准： 提出了将经典三段论转化为溯因推理任务的方法，构建了包含信念偏差标注的专用数据集。
2. 揭示 LLM 的溯因短板： 实证研究表明，尽管 LLM 在演绎推理上表现优异，但在需要“从结果反推原因”的溯因推理上表现显著较差，且难以识别“无合理解释”的情况。
3. 确认信念偏差的普遍性： 证明了信念偏差不仅存在于演绎推理中，同样深刻影响 LLM 的溯因推理能力，这为理解 LLM 的“常识”与“逻辑”冲突提供了新视角。
4. 对可解释 AI (XAI) 的启示： 指出当前 LLM 在回答“为什么”类问题（溯因的核心）时存在局限性，强调了开发具备真正溯因能力的模型对于实现可解释 AI 的重要性。

5. 研究意义与未来展望

• 理论意义： 挑战了"LLM 模仿人类日常推理（多为溯因）应表现更好”的直觉，揭示了 LLM 在训练数据中可能缺乏足够的溯因逻辑模式，或者难以将自然语言中的假设生成形式化为逻辑推理。
• 应用价值： 强调了在构建 AI 系统时，不能仅依赖演绎推理能力，必须专门针对溯因推理进行优化，以增强 AI 在诊断、科学发现等需要假设生成场景中的能力。
• 未来方向：
  • 比较人类与 LLM 在溯因任务上的具体差异。
  • 探索基于贝叶斯概率的溯因推理评估。
  • 研究更复杂的推理形式（如条件句、扩展三段论）中的溯因能力。
  • 从“最佳解释推理 (IBE)"角度设计更复杂的假设选择任务。

总结： 该论文通过严谨的实验设计证明，当前最先进的 LLM 在溯因推理方面存在显著缺陷，且容易受到常识信念的干扰。这一发现表明，要真正提升 AI 的推理能力，必须超越单纯的演绎逻辑，深入探索并优化其假设生成与解释性推理机制。