💬 NLP

Evaluating Pragmatic Reasoning in Large Language Models: Evidence from Scalar Diversity

本研究通过标量多样性评估表明，大型语言模型中的语用推理并非一种稳定的能力，而是内部概率表征与任务诱导的提示行为之间的一种可变交互，这凸显了评估设计对解读模型能力的关键影响。

原作者： Ye-eun Cho

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Ye-eun Cho

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图弄清楚一个新机器人朋友是否真的理解人类对话，还是仅仅擅长在你问对问题时配合表演。这正是 Ye-eun Cho 的论文《评估大语言模型中的语用推理》所探讨的内容。

以下是这项研究的简要故事，用通俗易懂的术语和一些有益的类比进行了拆解。

核心问题：机器人是聪明的，还是仅仅擅长表演？

大语言模型（LLMs）就像阅读量极大的学生，几乎读遍了互联网上的所有内容。它们在语法和事实方面表现出色。但它们能理解人们话语中的隐含意义吗？

在人类对话中，我们常说这样的话：“有些饼干被吃了。”我们不仅仅意指“至少有一个”；我们通常暗示“并非全部”。这被称为标量含义。这是一个微妙的社会规则：如果我说“有些”，我就在暗示我没有说“全部”，因为“全部”并不属实。

研究人员提出的核心问题是：这些 AI 模型是否真的“懂得”这种隐含意义，还是仅仅在我们礼貌地提问时假装理解？

测试机器人的两种方式

为了回答这个问题，研究人员使用了两种不同的方法来测试模型，有点像用两种不同的方式来测试学生的知识：

“内在直觉检查”（直接概率）：
想象一下，让机器人预测句子中的下一个词，而无需它大声说出来。你查看其内部数学计算，看看它实际上认为最可能的是什么。
- 类比： 这就像在考试时查看学生的脑电波。它展示了他们在尝试回答之前本能地知道什么。
“口头考试”（元语言提示）：
这是当你直接问机器人：“如果我说‘有些饼干被吃了’，这是否意味着‘并非所有饼干都被吃了’？请回答是或否。”
- 类比： 这就像让学生举手并大声解释他们的答案。这是他们声称知道的内容，可能会受到提问方式的影响。

实验：60 种不同“有些”的菜单

研究人员没有只测试一个句子。他们使用了一个包含 60 种不同词对的“菜单”（如有些/全部、温暖/热、好/优秀）。

有些词对对人类来说很容易推断（如有些暗示并非全部）。
有些词对更难或更弱（如温暖并不总是暗示不热）。
这种多样性被称为标量多样性。这就像不仅测试厨师烤牛排的水平，还要测试他们如何处理 60 种不同的食材，从精致的香草到坚硬的根茎。

发现：情节反转

结果令人惊讶，表明关于这些模型有多聪明并不存在单一的“真相”。

1. “直觉检查”与“口头考试”意见不一
通常，机器人的内部数学计算（直觉检查）与其口头回答（口头考试）讲述的是完全不同的故事。

有时，机器人的内部数学计算显示“我其实不太懂这个”，但当被礼貌地询问时，它却说“是的，我理解！”
其他时候，内部数学计算很自信，但口头回答却很困惑。
要点： 你不能只看一种方法就知道机器人是否“胜任”。这就像一个学生在脑子里知道答案，但被要求说出来时却僵住了，或者反之亦然。

2. “表演”取决于剧本
研究人员提问的方式非常重要。

如果他们问一个简单的问题，机器人可能会说“不”。
如果他们加上一个礼貌的开场白，比如“你是一个乐于助人的助手，告诉我……"，机器人可能会突然说“是”。
要点： 机器人的“表现”会根据剧本而变化。这不一定是因为机器人学到了新东西；它只是对提问的风格做出反应。

3. 不同的机器人，不同的个性
该研究测试了两种不同类型的 AI 模型（Flan-T5 和 Qwen）。

Flan-T5 稍微更一致一些。它的内部数学计算和口头回答彼此更接近。
Qwen 则非常戏剧化。它的内部数学计算通常很低（它似乎并不“知道”答案），但当被直接询问时，它给出了完美的答案，几乎像是在表演。
要点： 仅仅因为一个 AI 模型表现得聪明，并不意味着所有 AI 模型都以相同的方式运作。

4. “比较”技巧
当研究人员让机器人并排比较两个选项（“哪个更好：A 还是 B？”）时，机器人完成任务的能力比让它单独判断一个句子时要强得多。

要点： 当机器人面临选择时，它更容易选出正确答案，而不是必须从头生成答案。

最终裁决

该论文得出结论：我们不能说“这个 AI 具有语用推理能力”或“这个 AI 没有”。

相反，AI 中的语用推理就像两个舞伴之间的舞蹈：

机器人的内部知识（它实际学到了什么）。
我们提问的方式（提示词）。

如果你更换舞伴（提示词）或音乐（任务），舞蹈就会改变。机器人并不一定是在人类意义上“撒谎”或“知道”；它只是对所处的具体情境做出反应。

简而言之： 要理解 AI 是否理解人类的细微差别，你不能只问它一个问题就轻信其回答。你必须观察它在许多不同情境下的行为，因为它的“能力”不是一个固定的特征——它是它所知道的内容与你提问方式相结合的产物。

技术摘要：评估大语言模型中的语用推理：来自标量多样性的证据

问题陈述
由于模型行为在不同评估方法间存在变异性，评估大语言模型（LLMs）中的语用推理仍然是一项重大挑战。先前的研究表明，基于提示的判断与模型内部概率分布之间存在分歧，这引发了一个问题：即观察到的语用能力究竟反映了潜在的语言知识，还是仅仅是任务诱导行为的产物。虽然标量含义（即较弱术语的推论，例如“有些”，暗示更强替代项的否定，例如“并非所有”）是语用能力的标准诊断工具，但先前的研究往往依赖单一的标量对或单一的评估范式。本研究旨在系统地比较评估方法，以确定大语言模型是否具备稳定的语用能力，或其表现是否依赖于特定的提示和任务结构。

方法论
本研究采用能力—表现框架（Chomsky, 1965），区分内化的知识（能力）与特定条件下的语言使用（表现）。研究利用标量多样性——即标量含义的强度在不同词汇标量间存在差异的现象（例如 <有些，所有> 与 <温暖，炎热>）——作为分级诊断工具。

模型：本研究评估了两个不同的模型家族，以比较架构效应：
- Flan-T5：一个经过指令微调的编码器 - 解码器家族（Small、Base、Large）。
- Qwen2：一个仅解码器的指令微调家族（0.5B、1.5B、7B 参数）。
材料：数据集改编自 Ronai 和 Xiang（2024），并利用 GPT-4o 进行扩展，包含 60 个词汇标量对，共计 6,000 个独立项目。每个项目由一个锚定句和两个候选解释组成：“是 - 目标”（语用推论）和“否 - 目标”（逻辑解释）。
评估范式：比较了两种主要方法：
1. 直接概率测量：计算条件概率 $P(\text{candidate} | \text{anchor})$ ，以确定模型在没有明确指令情况下的内部偏好。
2. 元语言提示：三种提示变体（MetaSimple、MetaInstruct、MetaComplex），要求模型明确判断或选择有效的推论。
实验条件：
- 实验 A（句子判断）：模型针对锚定句评估单个候选句子（是/否）。
- 实验 B（句子比较）：模型同时选择两个候选句子中的一个。

关键结果
结果表明，没有任何一种评估方法始终优于另一种，且语用行为对模型架构、规模和任务结构高度敏感。

方法分歧：直接概率测量与元语言提示产生的结果仅呈弱相关（ $r \approx .10 - .25$ ）。在许多情况下，相关性接近零或为负值，表明这两种方法捕捉到了模型行为 fundamentally 不同的方面。
准确率差异：
- Qwen 模型：表现出两极分化的模式。直接概率估计始终非常低，而元语言提示则产生了极高的准确率（在实验 B 中经常接近天花板）。
- Flan-T5 模型：表现出更为温和的模式，直接概率估计保持相对较高，且偶尔优于特定的元语言提示。
标量多样性梯度：本研究分析了项目级别的准确率，以检测 60 个标量对之间的梯度。
- Flan-T5：在元语言提示下通常显示出更清晰的梯度（斜率值介于 -1 到 -2 之间），特别是在较大的模型中，表明其对含义强度变化的敏感性。
- Qwen：显示出不一致的模式。虽然实验 A 中的某些条件显示出强梯度，但实验 B 中的许多条件产生了近乎平坦的曲线（斜率 $\approx 0$ ），表明模型无论标量强度如何，都分配了统一的解释。
任务结构：实验 B（基于比较）在几乎所有模型中产生的准确率均高于实验 A（单一判断），表明比较任务为语用充实提供了更强的线索。
扩展效应：扩展效应并非均匀一致。Flan-T5 显示出积极趋势，即较大的模型表现更好。Qwen 模型未显示出一致的扩展趋势；较大的模型并未系统地优于较小的模型，有时表现甚至更差。

主要贡献

系统比较：本研究在同一模型中直接比较了用于语用推理的直接概率和元语言提示，将能力—表现框架扩展到了局部语言现象之外。
作为诊断工具的标量多样性：通过利用广泛的标量对而非单一标量对（例如 <有些，所有>），本研究提供了对语用能力更细致的评估，揭示了模型并未均匀地捕捉标量含义的分级性质。
架构与任务敏感性：研究结果强调，大语言模型中的语用推理并非一种稳定、单一的能力，而是内部概率表示与外部任务框架之间的相互作用。

意义与主张
该论文得出结论：大语言模型中的语用推理不能归因于单一的评估范式。无论是直接概率测量还是元语言提示，都无法一致地捕捉模型的“真实”语用能力。相反，观察到的语用行为反映了内部概率表示与提示诱导响应之间的相互作用。

作者认为，标量多样性梯度的存在或缺失很大程度上取决于模型架构、提示策略和实验设计的具体组合。因此，解释大语言模型的语用能力需要仔细考虑评估设计，因为模型可能在一种条件下（例如特定提示）显得具备能力，而在另一种条件下（例如直接概率）却缺乏对标量多样性的潜在敏感性。这对大语言模型中存在单一、稳定的语用能力衡量标准的观念提出了挑战。