💻 computer science

Can LLMs interpret figurative language as humans do?: surface-level vs representational similarity

尽管大型语言模型在对话的表层解释上与人类保持一致，但在表示层面却存在显著分歧，特别是在处理诸如成语、俚语和讽刺等依赖语境及社会语用学的比喻性语言时，其中 GPT-4 在受测模型中表现出了最接近人类模式的近似程度。

原作者： Samhita Bollepally, Aurora Sloman-Moll, Takashi Yamauchi

发布于 2026-01-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Samhita Bollepally, Aurora Sloman-Moll, Takashi Yamauchi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人如何理解人类的笑话、讽刺和俚语。你给它看一个句子：“This food is gas”（这食物绝了），然后问它：“这有趣吗？”或者“这是积极的吗？”

德州农工大学（Texas A&M University）的研究人员进行了一项研究，提出了一个棘手的问题：当机器人给出与人类相同的答案时，它是否真的像人类那样思考？

以下是他们的研究结果，使用了一些日常类比。

实验： “味觉测试”

研究人员设置了一个大规模的味觉测试，但用的不是冰淇淋，而是 240 个不同的句子。这些句子涵盖了六种语言“风味”：

常规型 (Conventional)： 普通句子（例如：“狗在外面”）。
习语型 (Idiomatic)： 词义并非字面意思的短语（例如：“Bite the bullet”，意为硬着头皮上）。
情感型 (Emotional)： 充满情感的句子。
幽默型 (Funny)： 笑话和双关语。
讽刺型 (Sarcastic)： 言不由衷。
Z世代俚语 (Gen Z Slang)： 现代网络用语（例如：“This food is gas”）。

他们要求 211 名人类和四种不同的 AI 模型（包括 GPT-4、Llama 和 Mistral）对每一个句子进行 40 个不同问题的评分，例如“这是积极的吗？”或“这令人担忧吗？”，评分范围为 1 到 10 分。

两种比较方式：“得分” vs. “地图”

研究人员从两个截然不同的角度观察了结果：

1. 表面层面的相似性（记分板）
这就像是在看一场足球比赛的最终比分。如果 AI 对一个笑话说“8/10”，而人类也说“8/10”，那么它们看起来就很一致。

研究发现： 在这个层面上，AI 模型（尤其是最聪明的那个 GPT-4）看起来非常像人类。对于大多数句子，它们给出的分数与人类非常接近。看起来它们像是站在同一阵营的。

2. 表征相似性（地图）
这是更深层的部分。想象你和朋友都在画一张城市地图。

人类的地图： 你知道“披萨店”就在“公园”旁边，而“学校”离“墓地”很远。你的地图是基于你对世界的理解而具有特定结构的。
AI 的地图： AI 可能也会把“披萨店”和“公园”放在一起，但原因却大不相同。也许它认为两者很近，是因为它们都含有“place”（地方）这个词，而不是因为它们在现实生活中是如何运作的。

研究人员使用了一种叫做表征相似性分析 (Representational Similarity Analysis, RSA) 的数学工具来比较这些地图的“结构”。他们不仅检查分数是否匹配，还检查了句子之间的“关系”是否相同。

大揭秘：“冒充者”效应

以下是他们的发现：

表面现象具有欺骗性： AI 模型非常擅长模仿人类的“得分”。如果你问：“这是讽刺吗？”，AI 通常会像人类一样回答“是”。
地图却大相径庭： 当研究人员观察底层的“地图”时，发现 AI 和人类其实相距甚远。AI 组织句子意义的方式与人类完全不同。

类比：
把 AI 想象成一只非常出色的鹦鹉。

如果你问这只鹦鹉：“这句话有趣吗？”，它可以完美地回答“是”，就像人类一样。
但鹦鹉并不真正理解这个笑话。它只是知道当人类听到这种特定的词语模式时，通常会说“是”。
然而，人类理解这个笑话，是因为人类理解社会语境、语气以及隐藏的含义。

不同“风味”的研究结果

研究发现，AI 的“鹦鹉技能”在某些类型的语言中表现得更好，而在另一些类型中则较差：

情感型与常规型句子： AI 的地图与人类的地图在某种程度上是相似的。判断“我很伤心”是负面的，要比判断“我兴奋得都要给我的植物浇水了”是否有趣要容易得多。
习语、讽刺与俚语： 这是 AI 在“地图测试”中失败的地方。
- 习语： 当人类听到“Break a leg”（祝好运）时，知道它的意思是“祝你好运”。AI 经常会在将此正确映射到“好运”的概念时感到困惑，因为它会被“break”（折断）和“leg”（腿）这些字面意思所干扰。
- 讽刺与俚语： 这些高度依赖社会语境和人类共同的经验（如 Z 世代俚语）。AI 在处理这些内容时的内部地图与人类的地图差异巨大。这就像 AI 虽然在说同样的词，但其内在逻辑完全不同。

“大脑袋” vs. “小脑袋”

研究对比了不同的 AI 模型：

GPT-4： 这是“大脑袋”。它的地图与人类最接近，但仍不是完美的匹配。它是最接近人类的模型，但仍然存在差距。
较小的模型 (Llama, Mistral)： 它们离人类更远。它们的地图与人类非常不同，尤其是在处理讽刺和俚语等棘手问题时。

核心结论

论文得出结论：仅仅因为 AI 给出了与人类相同的答案，并不意味着它以相同的方式理解语言。

AI 非常擅长模式匹配（模仿记分板），但它缺乏人类所拥有的那种深刻的、社交性的、基于语境的“落地感”（grounding）。它以自己独特的方式组织意义，这在处理简单任务时效果很好，但在面对复杂、充满情感或具有文化特殊性的语言时就会失效。

简而言之：AI 是一个非常出色的演员，它可以说出正确的台词，但它并不一定能感受到台词背后的情感。

技术摘要：大语言模型能否像人类一样理解修辞性语言？

问题陈述

尽管大语言模型（LLMs）生成的文本在外观上与人类输出高度相似，但它们在理解修辞性及社会化语言方面与人类判断的一致程度仍不确定。现有文献表明，LLMs 在表面层面的判断（如语法精确度或基础情感）上可能与人类匹配，但在涉及语用学、上下文和主观体验的深层解释过程中可能会出现分歧。具体而言，目前尚不清楚 LLMs 是否具备必要的认知落地能力，从而在共享语义空间内组织意义，使其与人类达成一致，特别是在处理复杂的语言特征时，如成语、讽刺、幽默、情感基调以及 Gen Z 俚语。当前的研究通常依赖于聚合一致性（表面层面的相似性），这可能会掩盖其在捕捉细微语用现象时所需的精细辨析能力的缺失。

研究方法

为了解决这一问题，作者通过使用表征相似性分析（Representational Similarity Analysis, RSA），将人类参与者与四种指令微调后的 LLMs（GPT-4, Gemma-2-9B, Llama-3.2, 和 Mistral-7B）进行了对比研究。

数据与刺激物

刺激物： 构建了一个包含 240 个对话式句子的数据集，分为 120 个“有意义”（包含特定语言特征）和 120 个“无意义”（结构相似但缺失关键特征）的句子。
类别： 句子被分为六种语言特征：常规性、成语性、情感性、幽默性、讽刺性和 Gen Z 俚语。
评估： 每个句子配有 40 个解释性问题（例如，“这是讽刺吗？”、“这对你来说相关吗？”），旨在评估意义、语气和表达质量。
量表： 人类和模型均对句子进行 10 分制李克特量表评分，最终产生 9,600 个“句子-问题”对。

参与者

人类： 来自德州农工大学（Texas A&M University）的 211 名本科生。
模型： 通过 API 或 Hugging Face 获取的四种仅解码器（decoder-only）指令微调模型。
实验条件： 共进行了两项研究。研究 1 使用标准的零样本（zero-shot）提示词。研究 2 引入了精细化的约束（严格的 1–10 评分范围和单句理由说明），以评估提示词的敏感性。

分析框架

研究区分了两个层面的对齐：

表面层相似性 (SLS)： 通过计算特定句子类别中人类与模型评分之间的皮尔逊相关系数得出。这衡量的是输出层面的协议。
表征相似性 (RSA)： 该方法考察的是内部结构的解释。
- 基于 40 维评分向量，计算所有句子对之间的成对欧几里得距离，从而创建人类和每个模型的表征差异矩阵 (RDM)。
- RSA 通过将人类 RDM 的上三角元素与模型 RDM 进行相关性分析来量化对齐程度。
- 重要性： 高 RSA 相关性表明，即使绝对评分值不同，人类和模型在语义空间内组织句子的方式在结构上也是相似的。低 RSA 相关性则表明其内部表征几何结构存在分歧。

关键结果

表面层相似性 (SLS)

总体对齐： 模型（尤其是 GPT-4）表现出与人类较强的表面层对齐（对于有意义句子， $r \approx 0.60–0.90$ ）。
模型层级： GPT-4 的表现持续优于其他模型。Gemma 和 Mistral 表现出中度对齐，而 Llama-3.2 的对齐程度最低，尤其是在修辞类别方面。
类别差异： 常规性和情感类句子的相关性高于幽默、讽刺和俚语类句子。
提示词敏感性： 研究 2（精细化提示词）在各模型中显示出 SLS 的小幅提升，但“无意义”句子仍然具有挑战性。

表征相似性 (RSA)

分歧： 尽管表面层协议较高，但 RSA 揭示了模型与人类表征空间之间存在系统性分歧。
修辞性语言： 与常规或情感类句子相比，在语用丰富的类别（成语、讽刺、Gen Z 俚语）中，对齐程度显著降低。
- GPT-4 显示出最强的表征对齐（对于有意义句子， $r \approx 0.50–0.85$ ），但仍低于人类与人类之间的一致性（ $r \approx 0.75–0.85$ ）。
- 较小的模型（Llama, Mistral）在修辞类别中的表征对齐度非常低（ $r \approx 0.10–0.35$ ）。
无意义句子： 模型难以在内部表征中区分“有意义”与“无意义”的变体，其相关性较人类基准显著下降。
提示词影响： 虽然精细化提示词改善了表面层评分，但并未实质性地重构模型的内部语义组织，特别是对于 Llama 模型而言。

核心贡献

方法论区分： 本研究明确区分了表面行为一致性与表征结构对齐，证明了高评分相关性并不保证共享的内部语义组织。
分歧的实证证据： 研究提供了证据，表明即使是像 GPT-4 这样的顶尖模型，也无法完全复制人类对于修辞性语言（尤其是对于讽刺和俚语等依赖上下文的特征）的表征几何结构。
模型层级： 研究建立了一个一致的层级体系，即 GPT-4 比小型模型更接近人类的表征模式，但没有任何模型能达到人类与人类之间的一致性水平。
机制洞察： 结果表明，当前的训练目标（下一 Token 预测）不足以约束语用推理的内部意义组织，导致模型更多依赖于表面启发式方法而非稳定的语义落地。

重要性与主张

论文主张，虽然 LLMs 可以近似人类判断，但它们尚未具备理解修辞性和社会化语言所需的表征结构。

当前模型的局限性： 研究结果支持了以下观点，即 LLMs 依赖于分布式的模式匹配，而非稳定的语义落地。对于成语和俚语，模型无法在表征几何上实现对齐，这表明当前的架构缺乏上下文敏感的监督和社交落地。
对评估的启示： 作者认为，仅通过输出准确性或表面相关性来评估 LLMs 是不够的。未来的框架必须探测意义是如何在内部组织的（通过 RSA 等方法），而不仅仅是生成了什么输出。
研究范围限制： 作者承认了研究的局限性，包括数据集规模相对较小、刺激物缺乏丰富的上下文线索（这对于讽刺和幽默至关重要），以及假设人类与 LLMs 拥有可比的内部框架。因此，其主张被限定在上下文无关的语用解释上，这表明观察到的差距可能会因缺乏现实世界的对话语境而进一步扩大。

总之，本研究指出，当前的 LLMs 在编码修辞性语言时，其表征空间仅与人类语义组织呈部分对齐状态，这凸显了生成类人文本与拥有类人认知落地进行语用理解之间的根本差距。