Pragmatic Theories Enhance Understanding of Implied Meanings in LLMs
本研究表明，将格莱斯语用学和关联理论等语用学理论引入提示词中，通过引导式的逐步推理，能显著增强大语言模型理解隐含意义的能力，相比标准的思维链基准模型，性能提升高达 9.6%。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正试图理解一位朋友，他看着晴朗的天空说：“噢，太棒了，又下雨了。”他们并不是真的对下雨感到高兴，而是在说反话。人类天生擅长捕捉这些隐藏的含义，但对于人工智能（AI）来说，这就像是在尝试阅读一张用你从未学过的语言编写的地图。
这篇论文是关于给 AI 提供一份“小抄”，帮助它理解这些被称为隐含意义的隐藏信息。
问题所在：AI 太过字面化
大语言模型（LLMs）就像是读遍了图书馆几乎所有书籍的优秀学生，但有时却难以理解其中的“潜台词”。如果你问它们谜语或讽刺性的评论，它们可能会把这些话理解得过于字面。它们知道字典里“雨”的定义，但可能会忽略句子背后传达的烦躁情绪。
解决方案：“理论”小抄
研究人员尝试了一个新技巧。他们不仅仅是要求 AI “一步步思考”（一种被称为“思维链”的常用方法），而是给了 AI 一个关于**语用学理论（Pragmatic Theories）**的简短摘要。
把语用学理论想象成人类对话的规则手册。
- 格莱斯理论（Gricean Theory）： 想象一套不成文的社交规则，比如“要乐于助人”、“要诚实”以及“不要让人困惑”。如果有人故意打破这些规则，他们通常是在表达别的事情。
- 关联理论（Relevance Theory）： 这是指人类在对话中总是试图以最小的代价获得最大的收益。如果某人说的话需要付出很大努力才能理解，那一定是由于这个答案非常重要。
研究人员告诉 AI：“在回答之前，请假装你是一位语言学家。利用这些规则手册来弄清楚对方真正的意思。”
实验：隐藏意义的测试
团队在名为 PRAGMEGA 的数据集上测试了这一点，这个数据集就像是一场关于复杂对话的大型考试。问题涵盖了以下内容：
- 反讽： 说出与原意相反的话。
- 间接言语： 当你想让某人关窗户时，却问“这里是不是有点冷？”
- 欺骗： 为了留面子而进行的礼貌性谎言。
他们在多种不同的 AI 模型上进行了测试，从开源模型到强大的商业模型（如 GPT-4o）。
结果：小抄奏效了！
结果就像是在考试前给学生发了一份复习指南：
- 更高的分数： 当 AI 使用“语用学理论”小抄时，其正确率显著提高（最高提升了 9.6%），相比之下，仅仅被告知要“一步步思考”的效果较差。
- 达到人类水平： 在某些情况下，使用这些理论的 AI 在这些棘手的测试中表现得与人类不相上下，甚至更优。
- “提名效应”： 即便研究人员没有详细解释这些理论，仅仅在提示词中提到“格莱斯理论”或“关联理论”这些名称，也有助于 AI 表现得更好。这就像是仅仅听到规则手册的名字，就唤醒了 AI 已经掌握但尚未使用的规则。
什么没有奏效？
研究人员还尝试给 AI 提供“虚假”的规则手册（例如关于物理距离如何改变意义的编造理论）或完全无关主题的规则手册（如计算机数学）。这些尝试都没有起到帮助作用；事实上，它们有时甚至让 AI 的表现变差了。这证明了性能的提升来自于真实的人类对话规则，而非仅仅因为让 AI 思考得更久。
核心结论
这篇论文表明，AI 并不一定需要通过重新训练或增加数据来理解人类的细微差别。相反，我们只需要提醒它那些它可能已经掌握、但有时会忘记使用的社交对话规则。通过递给 AI 一本关于隐含意义的“规则手册”，我们帮助它成为一个更好的倾听者，以及一个更具人性化的对话伙伴。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。