💬 NLP

Humans and LLMs Diverge on Probabilistic Inferences

该论文通过构建包含 210 个概率推理样本的 ProbCOPA 数据集，揭示了人类推理呈现分级且多样的概率判断特征，而当前最先进的推理大语言模型在生成此类推断时无法复现人类分布，并表现出特定的推理模式，从而凸显了在非确定性场景下评估模型推理能力的必要性。

原作者： Gaurav Kamath, Sreenath Madathil, Sebastian Schuster, Marie-Catherine de Marneffe, Siva Reddy

发布于 2026-03-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Gaurav Kamath, Sreenath Madathil, Sebastian Schuster, Marie-Catherine de Marneffe, Siva Reddy

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文就像是在做一场**“人类直觉 vs. AI 逻辑”的趣味大比拼**，主要研究的是：当面对那些**“没有标准答案，只有大概可能性”**的问题时，人类和人工智能（大语言模型）的思维方式到底有什么不同。

我们可以把这篇论文的核心内容想象成三个有趣的故事：

1. 发明了一个新游戏：PROBCOPA

首先，研究人员觉得以前的测试题太“死板”了。以前的题目通常只有“对”或“错”，就像做数学题一样。但在现实生活中，我们更多是在处理**“大概”**的情况。

比喻：想象你在开车，突然听到前面有“事故”的消息。
- 人类的想法：“哦，那前面的交通可能会堵得很厉害，但也可能没什么事（比如车很快被拖走了）。”这是一种灰度思维，心里有个概率分布。
- 以前的测试：只问你“交通会不会堵？”，逼你选“会”或“不会”。
新游戏：研究人员创造了一个叫 PROBCOPA 的新数据集。他们把 210 个日常场景（比如“干旱了，庄稼会死吗？”）拿出来，让人类给这些情况打分（0 到 100 分），看看大家觉得这件事发生的可能性有多大。

2. 人类的“摇摆”vs. AI 的“固执”

这是论文最精彩的发现部分。研究人员让 25-30 个人和 8 个最聪明的 AI 模型（比如 GPT-5, Gemini 等）玩同一个游戏。

人类的反应（像一群性格各异的朋友）：
- 对于非常明显的事（比如“太阳从东边升起”），大家意见很统一，都打高分。
- 对于明显不可能的事（比如“太阳从西边升起”），大家也都打低分。
- 关键点：对于那些模棱两可的事（比如“干旱了，水会不会被污染？”），人类的回答五花八门。有人觉得 60 分，有人觉得 40 分，有人觉得 50 分。大家的回答形成了一个平滑的曲线，充满了不确定性和多样性。这就像一群朋友在讨论晚饭吃什么，有人犹豫，有人纠结，非常有“人情味”。
AI 的反应（像一群过度自信的学霸）：
- AI 在面对那些模棱两可的问题时，表现得非常极端。它们很少给出"50 分”这种中间值。
- 它们要么觉得“肯定发生”（打 90 分），要么觉得“肯定不发生”（打 10 分）。
- 比喻：如果你问 AI“明天会下雨吗？”，人类可能会说“大概有一半几率，看云的情况”，而 AI 可能会像算命先生一样，要么斩钉截铁说“会”，要么说“绝不会”，很少承认“我也拿不准”。
- 更奇怪的是：无论你让 AI 多思考一会儿，或者换个性格（比如让它扮演一个“犹豫不决的人”），它依然很难模拟出人类那种自然的、充满不确定性的波动。它就像是一个只会走直线的机器人，很难理解生活中的“灰色地带”。

3. AI 的“内心独白”（推理链条）

研究人员还偷偷看了 AI 在给出答案之前的“思考过程”（也就是推理链条）。

发现：当人类对一个问题感到困惑、意见不一致时（也就是大家打分很分散的时候），AI 往往会思考得更久，输出的文字更多。
比喻：这就像你在做一道很难的数学题，如果你卡住了，你会在草稿纸上写写画画很久。AI 也是这样，遇到人类觉得“这事儿不好说”的问题，它也会花更多“脑细胞”去纠结。
但是：尽管 AI 思考了很久，它最后给出的答案依然不够像人。它虽然知道要“多想”，但它想出来的结果依然是非黑即白的，缺乏人类那种微妙的、摇摆不定的直觉。

总结：这告诉我们什么？

这篇论文就像是一面镜子，照出了当前最强 AI 的一个**“阿喀琉斯之踵”**：

AI 太自信了：它们擅长处理逻辑严密、有标准答案的数学题，但在处理充满不确定性的日常生活推理时，它们缺乏人类那种“模棱两可”的智慧。
人类很“灰度”：人类的思维是流动的、概率性的。我们接受“可能”、“也许”、“大概率”，而 AI 还在努力学会这种**“不确定的艺术”**。
未来的方向：如果我们想让 AI 真正像人一样思考，不能只教它们做数学题，还得教它们如何优雅地处理“不知道”和“不确定”。

一句话概括：
现在的 AI 就像是一个极其聪明但有点死脑筋的优等生，它能算出最难的公式，却还没学会人类那种在“可能”与“也许”之间灵活摇摆的直觉。

这是一篇关于人类与大型语言模型（LLM）在概率推理（Probabilistic Inference）方面存在显著差异的学术论文。论文通过构建新数据集 PROBCOPA，系统性地对比了人类与当前最先进的推理型 LLM 在处理非确定性、常识性推理任务时的表现。

以下是对该论文的详细技术总结：

1. 研究背景与问题 (Problem)

核心问题：人类的日常推理往往基于有限信息得出概率性结论（即结论并非严格逻辑蕴含，而是基于常识的可能性判断）。例如，“高速公路上发生了事故”导致“交通比平时更堵”是一个高概率推断，但并非绝对真理。
现有局限：
- 现有的自然语言推理（NLI）数据集（如 SNLI, MNLI）通常将推理任务二值化（蕴含/矛盾/中立），或者在标注时存在多模态分布（即不同人对同一问题有截然不同的定性判断），难以捕捉人类推理中细腻的梯度概率判断。
- 虽然推理型 LLM（Reasoning LLMs，如 o3, DeepSeek-R1 等）在数学和逻辑任务上表现优异，但它们在开放式的、非确定性的概率推理中的行为尚未被充分探索。
研究目标：探究人类与 LLM 在概率推断上的判断分布是否一致，特别是模型是否能模拟人类在面对不确定性时的判断变异性（Variation）和中间态（Medium Likelihood）的分布。

2. 方法论 (Methodology)

2.1 数据集构建：PROBCOPA

来源：基于现有的常识推理数据集 COPA (Choice of Plausible Alternatives)。
构造过程：
- 将 COPA 中的 105 个测试项（每个包含一个前提和两个可能的结果/原因）拆解为 210 个独立的 NLI 风格样本（前提 P + 假设 H）。
- 筛选标准：仅保留涉及“结果可能性”（Effect Likelihood）的样本，剔除涉及“原因推断”的样本，以排除因果推理的复杂性干扰。
- 特点：这些推断在逻辑上不严格成立，但在常识上具有不同程度的可能性（从极不可能到极可能）。
人类标注：
- 通过 Prolific 招募 328 名母语为英语的参与者（来自英、美、加）。
- 任务：针对每个 P-H 对，在 0-100 的滑动标尺上评估假设发生的可能性。
- 数据量：每个样本获得 25-30 个独立的人类评分（中位数 28 个）。
- 质量控制：包含注意力检查、指导示例及反馈校准，确保数据可重复性（Spearman 相关系数 > 0.97）。

2.2 实验设置

模型对象：测试了 8 种最先进的推理型 LLM，包括 Gemini-3, GPT-5, Claude Sonnet-4.5, Qwen3, Kimi-K2, GLM-4.6, DeepSeek-R1, Grok-4.1 Fast。
评估方式：
- 输出格式：要求模型输出 0-100 的数值概率（Verbalized Likelihood Scores），而非 Log-probabilities（因为推理链模型通常不直接暴露内部概率）。
- 采样策略：对每个样本进行 30 次采样（使用默认温度），以构建模型的概率分布。
- 基线：使用另一组人类标注者对 30 个随机样本的标注作为“人类 - 人类”基线，用于衡量模型与人类分布的接近程度。

2.3 分析指标

微分熵 (Differential Entropy)：用于量化响应的分散程度（Variation）。高熵表示人类/模型对该问题的判断分歧大或不确定性高；低熵表示判断集中。
Wasserstein 距离 (Earth Mover's Distance)：用于衡量模型响应分布与人类响应分布之间的相似性（距离越小越相似）。
推理链分析：检查模型的思维链（Reasoning Chains），分析其推理长度与人类反应时间/分歧度的相关性。

3. 主要发现与结果 (Key Results)

3.1 人类响应的特征

梯度判断：人类响应呈现三模态分布（极低、极高、中间平衡），但大量样本落在中间区域，表明人类能进行细腻的梯度概率判断。
单峰分布：单个样本的人类响应通常呈单峰分布（Unimodal），围绕一个中心值波动，而非多模态（即没有群体性的定性分歧）。
不确定性关联：
- 当人类对某项推断的分歧度（熵）较高时（即难以判断），该样本的中位数概率倾向于中间值（50 左右）。
- 高熵样本对应的人类响应时间更长，表明这种分歧源于任务难度而非随机噪声。

3.2 LLM 与人类的显著差异

缺乏中间态（Overconfidence）：
- 模型极少输出中间范围（如 40-60）的概率值。它们的分布通常是双峰的（倾向于极端高或极端低），表现出过度自信。
- 即使在 GPT-5 等较新模型中，这种回避中间值的倾向依然存在。
分布不匹配：
- 模型在高概率和低概率（极端情况）的样本上与人类判断较一致。
- 但在中等概率（人类存在分歧或不确定性）的样本上，模型与人类的分布差异最大（Wasserstein 距离最远）。
缺乏变异性（Lack of Variation）：
- 关键发现：人类响应具有显著的变异性（高熵），而所有测试的模型在响应变异性上几乎总是低于人类。
- 即使调整温度（Temperature）或尝试提示工程（Persona Prompting），模型也无法达到人类水平的响应多样性。提高温度往往导致模型生成无意义的随机 token 序列，而非有意义的概率分布变化。
推理努力无效：增加推理预算（Reasoning Effort/Thinking Budget）并未显著改变模型的概率分布或使其更接近人类判断。

3.3 推理链分析

推理长度与人类分歧的相关性：模型在人类分歧度（熵）较高的样本上，生成的推理链更长（Spearman $\rho \approx 0.50$ for Gemini-3）。这表明模型能感知到任务的难度。
推理模式：人工检查发现，90% 的模型推理链都包含显式的替代场景考虑（例如：“虽然 A 可能发生，但也可能是 B..."）。这是一种常见的推理模式，但模型最终仍倾向于收敛到一个极端结论，而非保留这种不确定性。
与人类反应时间的弱相关：推理链长度与人类反应时间的相关性较弱，说明模型虽然“思考”得更久，但其内部认知过程与人类处理不确定性的认知负荷并不完全对应。

4. 主要贡献 (Contributions)

PROBCOPA 数据集：发布了一个包含 210 个手工构建的概率推断样本的新数据集，每个样本有 25+ 个高质量的人类概率标注，填补了现有 NLI 数据集在捕捉梯度概率判断方面的空白。
揭示模型局限性：证明了当前最先进的推理型 LLM 在概率推理上存在系统性偏差：过度自信（缺乏中间态）和缺乏变异性（无法模拟人类的不确定性分布）。
推理链洞察：通过分析推理链，揭示了模型处理概率推断的通用模式（显式考虑替代方案），并发现推理长度与人类分歧度存在正相关，但与人类反应时间关联较弱。

5. 意义与启示 (Significance)

评估范式的转变：现有的 LLM 评估多集中在确定性任务（数学、代码、逻辑）。本研究强调，在非确定性、开放式的现实世界推理中，模型的表现与人类存在本质差异。仅仅看准确率（Accuracy）是不够的，必须评估模型的校准度（Calibration）和分布匹配度。
人类模拟的瓶颈：尽管模型在逻辑推理上进步巨大，但在模拟人类“模糊推理”和“不确定性表达”方面仍面临巨大挑战。简单的提示工程（如 Persona）或增加推理步骤无法解决这一问题。
未来方向：未来的研究需要探索新的方法，使模型能够更真实地表达不确定性，并理解人类在概率判断中的变异性来源，这对于将 LLM 应用于医疗、法律等高风险的人类中心场景至关重要。

总结

该论文通过严谨的实验设计指出，LLM 并不像人类那样“思考”概率。人类在面对不确定性时表现出细腻的梯度判断和自然的变异性，而 LLM 则倾向于给出过度自信的极端判断，且缺乏这种分布上的多样性。这一发现对理解 LLM 的推理机制及改进其对齐人类价值观具有深远意义。