💬 NLP

Unveiling the Limits of Large Language Models in Inferring Pragmatic Meaning from Non-Verbal Responses

本文对大语言模型从非语言反应中推断语用含义的能力进行了首次系统性评估，结果表明，与语言任务相比，它们在处理此类任务时表现得较为吃力，但通过上下文学习可以提高性能。

原作者： Sugyeong Eo, Heuiseok Lim

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Sugyeong Eo, Heuiseok Lim

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在参加一个派对。有人问你：“想跳支舞吗？”而你只是盯着他们看，一言不发。人类宾客通常能理解你的沉默意味着“不，我累了”，或者也许是“我很害羞”。但如果你问一个超级聪明的机器人，让它猜猜你的意思呢？

这篇论文本质上是一份成绩单，旨在评估大语言模型（LLM）——即 ChatGPT 等工具背后的 AI 大脑——在人们不使用语言时，能否“察言观色”。

以下是他们的研究结果，使用了日常类比进行说明：

研究人员测试了这些 AI 模型对三种非语言交流的理解能力：

结果： AI 模型非常擅长理解文字，但在文字缺失时表现得很糟糕。

类比： 把 AI 想象成一个背下了整本字典但从未学习过如何阅读肢体语言的学生。当老师用语言提问时，这个学生能拿 A（准确率 90% 以上）。但当老师只是挑一下眉毛或保持沉默时，这个学生的成绩就会掉到 D 或 F（准确率下降高达 60%）。
“沉默”问题： 这是最难的部分。人类非常擅长理解沉默可以意味着“我不同意”或“我在回避话题”。然而，AI 通常只会认为：“哦，他们什么也没说。”从而完全错过了隐藏的含义。

团队测试了各种规模的模型，从微型模型（30 亿参数）到巨型模型（700 亿以上参数）。

类比： 想象一座图书馆。一个小型的图书馆（小模型）书比较少，所以很难找到正确的答案。一座巨大的图书馆（大型模型）则拥有数百万本书。
发现： 较大的图书馆表现确实比较小的要好，但即使是“超级图书馆”（最大的模型）也仍然无法达到人类“察言观色”的能力。这就像拥有一部巨大的百科全书，却仍然无法理解讽刺或无声的“拒绝”。

当 AI 出错时，通常会犯两种特定的错误：

“字面量”陷阱： AI 只是精确地描述它看到了什么，却忽略了重点。
- 例子： 如果有人指向一台坏掉的笔记本电脑，AI 可能会说：“他们正在指向一个损坏的物体。”它未能意识到其背后的含义是“我无法完成这项任务”。
“模糊”陷阱： AI 给出一个乏味的、通用的回答，并没有真正针对情况进行回应，比如说：“一个人正在与另一个人互动。”

核心问题： 论文指出，AI 过于关注“表面”（文字或表情符号本身），而不是“深层含义”（为什么有人使用那个表情或保持沉默）。

研究人员尝试了两种方法来帮助 AI 更好地理解：

方法 A：“出声思考”（思维链/Chain-of-Thought）： 他们要求 AI 在给出答案之前，先逐步解释其推理过程。
- 结果： 情况褒贬不一。对于某些模型，这有所帮助；但对于其他模型（如 GPT-4o），这反而让情况变糟了，因为 AI 会陷入过度分析字面细节的困境。
方法 B：“展示，而不只是讲述”（少样本学习/Few-Shot Learning）： 他们先给 AI 提供一些类似情境的例子（例如：“这是一个沉默代表‘不’的情况。现在，这是另一个新案例……”）。
- 结果： 这非常有效！这就像在考试前给学生看一些练习题。较大的模型在有了这些示例作为学习参考后，在猜测正确含义方面的表现有了显著提升。

论文总结道，虽然 AI 在处理语言方面变得极其聪明，但在理解人类对话中的“潜规则”方面仍然很吃力。

人类 vs. AI： 人类是天生的非语言线索侦探。AI 目前更像是一个需要通过说明书才能理解“耸肩”或“沉默”具有特定含义的机器人。
解决方法： AI 不一定需要变得更“聪明”（指通用的智能），它只需要通过更多的实例来学习非语言线索如何在语境中运作，从而弥合“说了什么”与“意指什么”之间的差距。

简而言之： 如果你想让 AI 理解你的沉默，你不能只是让它去猜。你必须先向它展示沉默是如何运作的，否则它很可能会完全错过重点。

类似论文