💬 NLP

Beyond Understanding: Evaluating the Pragmatic Gap in LLMs' Cultural Processing of Figurative Language

该论文通过评估 22 个大语言模型在阿拉伯语（特别是埃及方言）和英语习语、谚语上的表现，揭示了模型在理解与恰当使用蕴含文化语境的比喻语言方面存在显著差距，并发布了首个面向此类评估的埃及阿拉伯语习语数据集"Kinayat"。

原作者： Mena Attia, Aashiq Muhamed, Mai Alkhamissi, Thamar Solorio, Mona Diab

发布于 2026-02-24

📖 1 分钟阅读☕ 轻松阅读

原作者： Mena Attia, Aashiq Muhamed, Mai Alkhamissi, Thamar Solorio, Mona Diab

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文就像是一次对大型语言模型（LLM，比如现在的各种 AI 聊天机器人）的"文化情商大考"。

想象一下，你请了一位来自世界各地的超级学霸（AI）来和你聊天。他背下了全世界的字典，能流利地用几十种语言说话。但是，当你开始用方言俚语、老话（谚语）跟他开玩笑或者打比方时，他是不是真的“懂”了？还是只是在机械地背诵？

这篇论文的作者们（来自卡内基梅隆大学和 MBZUAI）就设计了这样一场考试，专门测试 AI 在阿拉伯语（特别是埃及方言）和英语中的“文化悟性”。

1. 考试的核心：不仅仅是“懂字面意思”

如果把语言比作一道菜，字面意思就是食材本身（比如“水”和“卖水的人”），而文化含义（比如谚语）则是这道菜背后的故事、人情世故和当地风俗。

以前的考试：只问 AI“这句话是什么意思？”（比如：这句话是不是在说“别在卖水人的村子里卖水”？）。AI 只要背过答案就能答对。
这次的考试：不仅问意思，还问"这句话该怎么用？"（比如：在什么场合下，用这句话来讽刺一个自作聪明的人最合适？）。

这就好比，AI 可能背熟了“画蛇添足”这个成语的解释，但如果你让他在一个具体的职场场景里，用这句话去委婉地提醒老板别多此一举，他可能就不知道该怎么开口了，甚至用错地方。

2. 考试的“题库”：Kinayat 数据集

为了考倒这些 AI，作者们专门开发了一个新题库，叫 Kinayat。

这就像是一个埃及方言的“成语词典”，里面收录了 300 多个地道的埃及俗语。
这些俗语往往只有当地人才懂其中的梗。比如，埃及有个谚语叫“别在卖水人的村子里卖水”，意思是“别在专家面前班门弄斧”。如果 AI 不知道埃及历史上卖水人住在一起的历史背景，它就永远无法真正理解这句话的精髓。

3. 考试成绩单：AI 的“文化短板”

这次考试邀请了 22 个不同的 AI 模型（包括 GPT-4、Claude、Llama 等）参加，结果发现了一个非常有趣的"能力阶梯"：

第一梯队（英语谚语） AI 表现最好。就像学霸在母语或最熟悉的语言里，背题背得滚瓜烂熟。
第二梯队（标准阿拉伯语谚语）成绩下滑了约 4%。这说明 AI 在处理非英语的文化内容时，已经开始有点“水土不服”。
第三梯队（埃及方言俗语）成绩直接暴跌了 10% 以上！这是 AI 的重灾区。方言太接地气、太生活化了，AI 很难从海量的互联网数据中捕捉到这些细微的“人情味”。

最扎心的发现：理解 vs. 使用

理解题（选择题） AI 能选对答案，正确率挺高（比如 85%）。这就像学生能背出“画蛇添足”的意思。
使用题（填空题/情景题）一旦让 AI 在具体的对话里主动使用这些俗语，正确率直接掉了 14% 以上。
- 比喻：这就像是一个只会背菜谱的厨师，让他做一道菜时，他要么忘了放盐，要么把糖当成了盐。他知道“画蛇添足”是什么意思，但真让他用这个词去批评人时，他可能会用得太生硬，或者用在不该用的场合，显得非常尴尬。

4. 为什么会出现这种情况？

作者们发现，AI 就像是一个博学的“书呆子”：

缺乏“生活体验”：谚语和俗语往往源于特定的历史事件、社会风俗或集体记忆。AI 没有真正的生活，它只是通过统计概率来猜测下一个字是什么，而不是真正“理解”其中的情感和社会规则。
数据偏差：互联网上关于英语的数据太多了，关于埃及方言的数据相对较少且分散。AI 就像是一个主要读英文报纸的人，突然让他去读埃及的街头巷尾的闲聊，自然会觉得吃力。
情感色彩难捕捉：很多俗语带有讽刺、幽默或特定的情感色彩（比如“褒义”还是“贬义”）。AI 很难精准把握这种微妙的“语气”，经常把讽刺的话当成夸奖，或者把玩笑话当成严肃的批评。

5. 结论与启示

这篇论文告诉我们：现在的 AI 虽然很聪明，能写诗、能写代码，但在“文化情商”上还是个孩子。

它能“翻译”文化，但还不会“生活”在文化里。
如果我们希望 AI 真正融入人类社会，能像当地人一样自然地聊天、开玩笑、处理人际关系，光靠增加数据量是不够的，还需要让 AI 学会理解语言背后的社会潜规则和情感温度。

一句话总结：
这篇论文给 AI 做了一次“文化体检”，发现它们虽然背熟了所有成语的解释，但在真正的生活场景里灵活运用这些成语时，却经常显得“格格不入”甚至“张冠李戴”。要让 AI 真正变得“懂人情世故”，还有很长的路要走。

这是一篇关于评估大型语言模型（LLM）在文化扎根语言（culturally grounded language）处理能力，特别是比喻性语言（figurative language）理解与语用使用方面的学术论文。

以下是对该论文《Beyond Understanding: Evaluating the Pragmatic and Cultural Gap in LLMs' Figurative Language Competence》的详细技术总结：

1. 研究问题 (Problem)

尽管 LLM 在多语言文本理解和生成方面取得了显著进展，但它们在处理文化扎根的含义方面仍存在巨大差距。具体表现为：

文化知识的缺失：模型难以理解编码了本地知识、社会价值观和语用细微差别的语言（如习语、谚语）。
理解与使用的脱节：现有研究多关注模型能否“解释”比喻义（理解任务），但忽略了模型能否在特定语境中“恰当使用”这些表达（语用任务）。
阿拉伯语资源的匮乏：现有的文化基准测试大多缺乏对比喻性语言的显式涵盖，尤其是针对阿拉伯语方言（如埃及阿拉伯语）的习语数据集。

2. 方法论 (Methodology)

作者设计了一个全面的评估框架，利用比喻性语言作为文化能力的代理指标，涵盖了理解、语用使用和内涵推断三个维度。

2.1 数据集 (Datasets)

**Kinayat **(核心贡献)：作者发布了首个专为埃及阿拉伯语习语设计的基准数据集。包含 325 个埃及口语习语及其现代标准阿拉伯语（MSA）解释，并经过母语者的人工验证和语用场景构建。
Jawaher：包含 20 种阿拉伯语方言的 198 条多方言谚语。
MAPS：包含 6 种语言的谚语，研究中仅使用了其中的英语测试集（394 条）。

2.2 评估任务 (Evaluation Tasks)

研究设计了多种任务来测试模型的不同能力：

**多项选择题理解 **(MCQ Understanding)：模型需从正确和错误的解释中选择正确答案。错误选项由 GPT-4.1 生成，分为“一般生成”和基于“语义角色标注 (SRL)"生成的两种策略，以增加难度。
**语用使用任务 **(Pragmatic Use)：这是一个新引入的任务。给定一个习语及其解释，要求模型在特定的语境句子中填空，选择最恰当的习语。这测试了模型在上下文中的实际应用能力。
**语境理解 **(Contextual Understanding)：在习语理解任务中提供包含该习语的句子作为额外上下文。
否定任务 (Negation)：要求模型选择错误的解释，测试其推理的鲁棒性。
**谚语补全 **(Completion)：掩蔽谚语的最后一个词，测试模型对文化知识的记忆。
**内涵理解 **(Connotation)：判断习语或谚语的情感色彩（积极、消极、中性）。

2.3 实验设置

模型：评估了 22 个开源和闭源模型，包括 LLaMA 3.1, Gemma 2, Qwen 2.5, Aya, Mistral, Jais 等开源模型，以及 GPT-4o, Claude 3.5/4, Gemini 等闭源模型。
评估指标：多项选择题使用准确率；生成任务使用 BERTScore 和 LLM-as-a-Judge（由 GPT-4.1 或 Claude 3.5 评分）；语用任务使用准确率。

3. 关键贡献 (Key Contributions)

引入语用使用任务：首次系统性地评估 LLM 在上下文中恰当使用比喻性语言的能力，而不仅仅是解释其含义。
发布 Kinayat 数据集：填补了埃及阿拉伯语习语在理解与语用评估方面的空白，支持了跨语言和文化的研究。
统一的跨语言评估套件：构建了一个涵盖解释、语境适宜性和内涵推断的综合评估框架，对比了英语、现代标准阿拉伯语（MSA）和阿拉伯语方言的表现。

4. 主要结果 (Key Results)

4.1 性能层级与差距

语言层级：存在一致的性能下降层级：英语谚语 > 阿拉伯语谚语 > 埃及阿拉伯语习语。
- 阿拉伯语谚语的平均准确率比英语谚语低 4.29%。
- 埃及习语（Kinayat）的准确率比阿拉伯语谚语低 10.28%。
理解 vs. 语用：存在显著的**“语用差距” **(Pragmatics Gap)。
- 在语用使用任务中，模型的平均准确率比理解任务低 14.07%（最高准确率仅为 85.33%）。
- 这表明模型虽然能解释含义，但在实际语境中恰当使用它们非常困难。
上下文的作用：在理解任务中提供包含习语的句子作为上下文，能将准确率提高 10.66%。

4.2 模型表现差异

闭源模型优势：Claude 3.5 Sonnet 和 Claude Sonnet 4 在所有任务中表现最佳，尤其是在语用任务中达到了 85.33% 的准确率。
阿拉伯语模型：尽管在补全任务（依赖记忆）上表现较好，但在语用和理解任务上，开源阿拉伯语模型通常不如闭源多语言模型。
模型规模：模型大小与语用任务表现呈中等正相关 ( $R^2 = 0.6$ )，但在理解任务中相关性较弱。

4.3 其他发现

内涵理解：模型在判断习语的情感色彩（内涵）时表现不佳，即使在人类标注完全一致（100% 一致性）的样本上，模型与人类的一致性最高也仅为 85.58%。
方言差异：在 Jawaher 数据集上，阿联酋 (UAE)、MSA、利比亚 (Libya) 和阿曼 (Oman) 的谚语表现较好，而苏丹 (Sudan) 和毛里塔尼亚 (Mauritania) 表现较差。值得注意的是，埃及（高资源方言）的表现仅处于中等水平。
错误分析：提供语境句子能显著改善某些习语的理解（错误率从 9 降至 1），但对其他习语无效。语用任务的错误模式与理解任务截然不同，证实了理解与使用能力的解耦。

5. 意义与结论 (Significance & Conclusion)

诊断工具：比喻性语言是评估 LLM 文化推理能力的有效诊断工具。
核心发现：目前的 LLM 虽然能够“解释”比喻意义，但在“恰当使用”这些表达方面存在重大缺陷。这种缺陷揭示了模型缺乏深层的文化内化，而不仅仅是表面统计或翻译映射。
未来方向：研究强调了需要更多针对低资源方言的语用评估资源，并建议未来的工作应扩展到自由形式的生成（free-form generation），以更好地捕捉模型生成文化适宜比喻表达的能力。

总结：该论文通过引入 Kinayat 数据集和语用评估任务，揭示了当前最先进的 LLM 在处理阿拉伯语（特别是方言）比喻性语言时，在文化理解和实际语用应用方面存在显著短板，尤其是“知道意思”与“会用”之间存在巨大鸿沟。