💬 NLP

Presupposition and Reasoning in Conditionals: A Theory-Based Study of Humans and LLMs

本研究揭示，虽然大型语言模型在条件句预设投射方面有时能达到与人类评分相当的水平，但其表现往往源于表面模式匹配而非真正的语用推理，这凸显了统计对齐与真实语言能力之间的脱节。

原作者： Tara Azin, Yongan Yu, Raj Singh, Olessia Jouravlev

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Tara Azin, Yongan Yu, Raj Singh, Olessia Jouravlev

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和创意类比对该论文的解读。

核心概念：“如果……那么……"的谜题

想象你在和朋友玩逻辑游戏。你说：“如果约翰是潜水员，他就会带上他的潜水服。”

朋友问：“约翰实际上有潜水服吗？”

人类的回答： 大多数人会说：“可能还没有。只有在他潜水时，他才有潜水服。”潜水服与条件绑定。
另一种人类回答： 现在假设你说：“如果约翰飞往伦敦，他的姐姐会去接他。”
人类的回答： 在这里，人们会说：“是的，约翰肯定有个姐姐。”他是否有姐姐并不取决于飞行；这只是关于约翰的一个事实。

这种差异被称为“前提问题”。这是语言学中一个棘手的谜题，关于我们如何判断一个隐藏事实（即“预设”）是永远为真，还是仅在“如果”部分发生时才为真。

实验：人类与人工智能

研究人员想要看看大型语言模型（LLM）——即像你现在对话的聊天机器人背后的“大脑”——是否能以与人类相同的方式解决这个谜题。

他们设计了一场“味觉测试”，涉及两组对象：

120 名人类： 真实的人阅读句子，并在 0 到 7 的尺度上评估隐藏事实为真的可能性。
4 个 AI 模型： 不同版本的 AI（如 GPT-5、Gemini、Llama 和 Qwen），执行完全相同的任务。

他们通过两种方式测试 AI：

“裸”测试： 仅包含句子（例如，“如果约翰是潜水员……"）。
“语境”测试： 句子加上一小段背景信息（例如，“约翰来自渥太华。如果约翰是潜水员……"）。

结果：“冒牌货”AI

以下是他们的发现，用简单的比喻分解如下：

1. 人类是直觉侦探

人类在这方面很擅长。他们将逻辑与常识结合起来。如果“如果”部分让隐藏事实更有可能（例如潜水员需要潜水服），他们会降低评分。如果“如果”部分与事实无关（例如飞往伦敦和拥有姐姐），他们会保持高评分。他们对句子两部分之间的相关性非常敏感。

2. AI“模仿”答案，但并非基于推理

这是最令人惊讶的部分。

小 AI（Qwen）： 该模型给出的答案与人类非常相似。如果人类说"7"，AI 就说"6.8"。它是一个出色的模仿者。
大 AI（GPT-5、Gemini）： 这些模型给出的答案与人类不太像。它们往往过高或过低，错过了人类所做的微妙转变。

转折： 当研究人员要求 AI 解释为什么给出这些答案（就像要求学生展示数学作业）时，出现了一种奇怪的模式：

小 AI（Qwen），它给出了最像人类的答案，实际上却拥有糟糕的推理。它无法正确解释逻辑。它只是根据训练数据中看到的模式进行猜测，就像鹦鹉重复它经常听到的短语，却不知道其含义。
大 AI（GPT-5），它给出了较差的人类风格答案，实际上却拥有更好的推理。它能很好地解释逻辑规则，但在得出最终数字时，与人类相比却错了。

“清单”类比

为了搞清楚这一点，研究人员使用了一个带有清单的“裁判 AI"。想象一位老师正在给学生的论文打分。

清单： “你识别出触发因素了吗？你检查了语境是否重要了吗？你解释了逻辑吗？”
结果： “大 AI"通过了清单（它写了一篇好文章）。“小 AI"未能通过清单（它的文章很混乱）。
悖论： 尽管“小 AI"在逻辑测试中失败了，但其最终得分却更接近人类平均值。

结论：模式匹配与理解

该论文得出结论，AI 模型实际上并没有像人类那样“理解”语言。

人类使用逻辑、世界知识和相关性的混合体来判断事实是否为真。
AI似乎在进行表面层面的模式匹配。它看到“如果约翰是潜水员”和“潜水服”这两个词，发现它们在训练数据中经常一起出现，然后猜测数字。它并不真正“知道”潜水服是取决于潜水的条件。

要点： 仅仅因为 AI 给出了一个看起来正确的答案（就像背下了答案键的学生），并不意味着它理解了课程。事实上，给出最“像人类”答案的 AI，实际上是那个最不依赖真实逻辑的。

该论文没有说什么

它没有说 AI 无用。
它没有说 AI 永远不会理解语言。
它没有建议将此用于医疗诊断或法律建议。
它只是说：目前，就这种特定类型的棘手逻辑谜题而言，AI 的伪装比它自己想象的还要好，而看起来最“聪明”的答案可能是最肤浅的。

技术摘要：条件句中的预设与推理：基于理论的人类与大语言模型研究

问题陈述
本文针对大语言模型（LLMs）在语用能力评估方面的一个关键缺口，特别是条件句中预设投射（presupposition projection）领域。尽管意义理论与语用学长期争论“保留问题”（proviso problem）——即条件句后件中触发的预设（例如，“如果约翰是潜水员，他会带上他的潜水服”）是被解读为无条件的，还是依赖于前件的条件性——但这一现象在大语言模型中尚未得到充分评估。现有的基准测试往往依赖简单的蕴含推理或分类任务，未能捕捉解决这些投射所需的语义、话语语境、概率推理与世界知识之间的复杂交互。作者认为，当前的评估未能充分区分真正理解语用约束的模型与那些仅依赖表层模式匹配的模型。

方法论
本研究采用平行行为设计，将人类判断与四个大语言模型（GPT-5、Gemini-2.5-flash、Llama-3.1-8B-Instruct 和 Qwen2.5-7B-Instruct）进行对比，使用了一个包含 90 个条件句的标准化数据集。

数据构建：作者构建了一个基于 30 个基础命题（例如，拥有潜水服、拥有姐妹）的数据集，这些命题在三个变体中实例化，操纵前件（ $A$ ）与预设（ $p$ ）之间的逻辑和概率关系。一项涉及 30 名母语为英语者的标准化研究确立了 $A$ - $p$ 相关性的分级水平（高、中、低）及命题概率。
实验条件：人类（ $N=120$ $N = 120$ ）和大语言模型均在两种条件下，使用 0–7 的李克特量表评估预设成立的可能性：
- 无语境：最小化框架。
- 有语境：添加识别性背景信息（例如，“此人来自多伦多”），以测试最小语境如何调节证据可靠性与相关性推理。
大语言模型作为裁判框架：为了超越准确率指标，作者开发了一个基于形式语义学（如动态语义学、格赖斯语用学、调适理论）构建的、由理论指导的检查清单。一个裁判模型（Claude-haiku-4）根据涵盖准确性、语境整合、语用标准、预设处理和连贯性等维度的 52–59 个二元标准，评估目标模型的思维链（CoT）推理轨迹。
验证：裁判评估的一个子集由人类语言学专家进行验证，达到了 89% 的评分者间一致性，以及与裁判模型 79.46% 的一致性。

主要结果

人类行为：人类的判断以非加性的方式整合概率与语用线索。当预设与前件无关时，人类高度依赖先验概率（世界知识）。然而，即使是部分相关性也作为一个阈值，显著提升了可能性评分，表明在特定语境下，对相关的敏感性会覆盖基础比率。语境信息细化了这种整合，导致相关性水平之间出现更分级的区分。
人类与大语言模型的对齐：大语言模型与人类模式的对齐程度各不相同。
- Qwen2.5-7B-IT 和 Llama-3.1-8B-Instruct 显示出与人类李克特评分最强的相关性（Spearman $\rho \approx 0.30\text{--}0.38$ ）以及最低的平均绝对误差（MAE）。
- GPT-5 和 Gemini-2.5-flash 显示出较弱或不一致的对齐，其中 GPT-5 在任一条件下均未显示出显著相关性。
推理与表现（解离）：一个关键发现是行为对齐与推理质量之间的解离。
- 与人类行为对齐度最高的模型（例如 Qwen2.5-7B-IT）往往表现出最低的符合理论指导检查清单的程度。它们的推理经常依赖表层词汇关联，而非形式语用约束。
- 相反，更大的专有模型（GPT-5、Gemini）生成的推理轨迹更符合理论预期（更高的检查清单得分），但其最终的可能性判断与人类模式的偏差更为显著。
语境效应：提供最小语境通常提高了较小模型的检查清单合规性，但对某些模型引入了“推理噪声”，导致其解释的连贯性降低。

主要贡献

理论驱动的基准：本文引入了一个专门针对条件句中“保留问题”的受控数据集和实验设计，填补了现有自然语言推理（NLI）和预设基准中常缺乏语用深度的空白。
用于语用学的大语言模型作为裁判：本文提出并验证了一个基于检查清单的评估框架，将语用能力分解为可解释的、基于理论的标准，提供了比单纯准确率分数更细致的模型推理视角。
能力差距的经验证据：本研究提供了经验证据，表明大语言模型中高度的行为对齐可能源于对训练数据的概率模式匹配，而非稳定的语用能力，这由类人评分与符合理论的推理之间的脱节所证实。

意义与主张
作者声称，他们的发现突显了当前大语言模型在处理复杂语用现象方面的局限性。本文认为，像预设投射这类任务的表现可能反映的是“表层模式匹配”，而非真正的语用理解。通过展示那些最能模仿人类判断的模型往往缺乏连贯的语用推理，该研究表明，仅基于输出准确率的当前基准不足以评估语义和语用能力。作者得出结论，基于语言学理论的基准对于区分表面的统计对齐与真正的推理能力至关重要，未来的工作必须解决行为相似性与理论有效性之间的解离问题。