💬 NLP

"I See What You Did There": Can Large Vision-Language Models Understand Multimodal Puns?

该论文针对现有视觉语言模型在理解多模双关语方面的不足，构建了包含对抗样本的 MultiPun 数据集并提出生成流程，通过提示和模型层面的优化策略显著提升了模型区分真实双关语与干扰项的能力。

原作者： Naen Xu, Jiayi Sheng, Changjiang Li, Chunyi Zhou, Yuyuan Li, Tianyu Du, Jun Wang, Zhihui Fu, Jinbao Li, Shouling Ji

发布于 2026-04-08

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Naen Xu, Jiayi Sheng, Changjiang Li, Chunyi Zhou, Yuyuan Li, Tianyu Du, Jun Wang, Zhihui Fu, Jinbao Li, Shouling Ji

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文就像是在给现在的"AI 大模型”做一场**“双关语幽默感”的体检**。

想象一下，你给一个很聪明的机器人看一张图，图上画着两个梨（Pear）手牵手，配文说：“我们真是一对（We make a great pear）。”
人类一看就乐了：因为"pear"（梨）和"pair"（一对）发音一样，而且图里两个梨手牵手，正好对应“一对情侣”的意思。这就是多模态双关语（Multimodal Pun）。

但现在的 AI 能听懂这个笑话吗？这篇论文告诉我们：大部分 AI 其实是个“冷场王”，甚至是个“过度解读的杠精”。

下面我用几个生动的比喻来拆解这篇论文的核心内容：

1. 现状：AI 是个“过度热情的捧哏”

研究人员发现，现在的视觉语言模型（VLM）在面对这种图文双关语时，表现得很尴尬：

分不清真假：它们太想表现自己“懂幽默”了。哪怕图里画的是两个苹果，配文是“我们真是一个苹果（We make a great apple）”，明明没有双关语，AI 也会强行说：“是的！这是个笑话！因为苹果听起来像……"（其实根本不像）。
只会背模板：它们不是真的理解了“梨”和“一对”的谐音梗，而是看到“两个水果手牵手”的图，就机械地联想到“情侣”、“一对”这些词，然后强行解释。
结论：目前的 AI 在双关语测试中，识别率很低，而且很容易产生幻觉（把不是笑话的说成笑话）。

2. 新工具：MULTIPUN 数据集（给 AI 的“幽默考卷”）

为了彻底搞清楚 AI 到底懂不懂幽默，作者们造了一个叫 MULTIPUN 的“考卷”。

考卷内容：包含 445 个真正的双关语笑话（正样本）和 890 个专门用来“坑”AI 的假笑话（负样本/干扰项）。
- 比喻：就像老师出题，不仅要有“这道题选 A"，还要有“这道题看起来像选 A，但其实选 B"的陷阱题，专门测试学生是不是真的懂了，还是靠猜。
考法：
1. 判断题：这是笑话吗？
2. 找茬题：如果是笑话，哪个词是“梗”？
3. 解释题：为什么这是个笑话？

3. 测试结果：AI 的“幽默感”有多差？

在考卷上，AI 们表现得很“拉胯”：

闭源模型（如 GPT-4o, Claude）：稍微好点，但依然经常把假笑话当真笑话，或者解释得牛头不对马嘴。
开源模型：表现更惨，经常把“苹果”硬说成“一对”，或者把“灯”说成“风扇”（因为成语里常说“大风扇”，它自动脑补了）。
核心问题：AI 缺乏跨模态推理能力。它看不懂“图”和“字”之间那种微妙的、需要拐弯抹角的联系。

4. 解决方案：给 AI 装上“幽默眼镜”

既然 AI 不懂，作者们开了两剂药方：

药方一：Pun-CoT（提示词层面的“慢思考”）

比喻：以前 AI 是“秒回”，看到图就瞎猜。现在作者给 AI 写了一套**“三步走”的说明书**：
1. 先看图：别管文字，先老老实实描述图里到底画了什么（比如：是梨，不是苹果）。
2. 再看字：把文字里的词一个个抠出来，别自己脑补。
3. 最后连线：只有当“图”和“字”真的能逻辑自洽（比如梨真的和“一对”发音像），才承认是笑话。
效果：就像给急躁的学生戴上了“冷静眼镜”，强迫它先思考再回答，准确率提升了 16.5%。

药方二：Pun-Tuning（模型层面的“特训”）

比喻：光靠“说明书”不够，还得让 AI 去**“刷题”**。作者用刚才造的那套考卷（包括真笑话和假笑话），专门训练了几个开源模型。
效果：经过特训的模型，不仅更擅长识别真笑话，而且不再乱认假笑话了，变得“耳聪目明”。

5. 总结与意义

这篇论文告诉我们：

幽默是人类的高级智慧：理解双关语需要同时处理视觉、听觉、语义和逻辑，这对目前的 AI 来说太难了。
现在的 AI 太“顺从”：它们倾向于顺着用户的话说（用户问“这是笑话吗”，它们倾向于说“是”），而不是基于事实判断。
未来方向：要想让 AI 真正像人一样幽默、机智，不能只靠堆数据，必须让它们学会**“跨模态推理”**——即真正理解图、文、音之间那种微妙的化学反应。

一句话总结：
这篇论文给 AI 做了一次“幽默感体检”，发现它们大多是个“不懂装懂”的捧哏；作者们通过造了一套“陷阱考卷”和两剂“特效药”，成功让 AI 学会了**“三思而后笑”**，不再乱认笑话了。

这是一篇关于大型视觉语言模型（VLMs）在**多模态双关语（Multimodal Puns）**理解能力方面的研究论文。论文标题为《"I See What You Did There": Can Large Vision-Language Models Understand Multimodal Puns?》。

以下是对该论文的详细技术总结：

1. 研究背景与问题 (Problem)

双关语（Puns）是一种利用多义性（polysemy）或语音相似性（phonetic similarity）创造幽默的修辞手法。在多模态双关语中，视觉元素和文本元素协同工作，既确立字面意义又唤起比喻意义。
尽管 VLMs 在通用多模态理解上表现优异，但它们在理解双关语方面的能力尚未得到系统研究，主要存在以下三个关键局限性：

单模态局限：现有研究多集中在文本双关语，忽略了视觉模态在产生歧义和解决歧义中的复杂作用。
基准测试缺陷：现有的多模态幽默数据集缺乏细粒度的双关语分类，且严重缺乏**非双关语（Non-puns）**作为负样本。这导致模型可能只是表面地将“有趣的画面”与“幽默”关联，而非真正理解双关机制。
偏好与理解的混淆：现有评估通常只问“这是双关语吗？”，容易受到模型肯定性语言偏见（affirmative language bias）的影响，难以区分真正的推理和盲目猜测。

核心研究问题 (RQs)：

VLMs 在区分双关语和非双关语方面的有效性如何？
VLMs 在解释双关语方面的能力达到什么程度？
如何增强 VLMs 对双关语的理解？

2. 方法论 (Methodology)

2.1 数据集构建：MULTIPUN

作者提出了 MULTIPUN，这是一个语言基础扎实的多模态基准测试数据集，包含 445 个双关语样本和 890 个对抗性非双关语干扰样本。

双关语类型：
- 同音双关 (Homophonic)：利用发音相似但拼写/意义不同的词（如 "pear" 和 "pair"）。
- 同形双关 (Homographic)：利用拼写相同但意义不同的词（如 "fan" 既指风扇也指粉丝）。
构建流程：
1. 双关语元组生成：利用 CMU 发音词典和 WordNet 筛选词对，确保视觉可描绘性（Visual Anchor）和语义差异。
2. 正样本生成：使用 GPT-4o 生成图像描述和双关语解释，并通过 GPT-image-1 生成图像，人工校验图文对齐。
3. 负样本生成（对抗性干扰）：为了打破“正样本偏差”，设计了两种破坏策略：
  - 解释性替换 (Explicative Substitution, ES)：将双关词替换为直接描述行为含义的词，消除歧义。
  - 随机替换 (Random Substitution, RS)：将双关词替换为语义无关的实体，并生成对应的新图像，破坏语音或语义联系。
数据规模：共 1335 个样本（445 正 + 890 负）。

2.2 评估任务

设计了三个递进的任务来评估 VLMs：

检测 (Detection)：二分类判断（是/否双关语）。
定位 (Localization)：判断并提取双关词 ( $w_p$ ) 和替代词 ( $w_a$ )。
解释 (Explanation)：判断、提供推理依据，并提取完整元组 $\langle w_p, w_a, S_p, S_a \rangle$ 。

去偏设计：为了消除语言偏见，对每个样本使用两种提示词（偏向双关语 vs. 偏向非双关语）进行提问，计算 $\Delta$ 值来衡量模型的提示敏感性。

2.3 增强策略

针对发现的问题，提出了两种增强策略：

Pun-CoT (提示级方法)：一种带有双关语意识的思维链（Chain-of-Thought）提示。强制模型执行三阶段验证：
- 视觉 grounding：确认图像中的实际物体，防止视觉幻觉。
- 词汇锚定：严格基于图像中的实际文字，防止词汇幻觉。
- 跨模态验证：验证语音或语义桥梁是否真实存在，拒绝强行关联。
Pun-Tuning (模型级方法)：利用构建的 MULTIPUN 数据集（包含正负样本和双向提示）对 VLMs 进行微调，以抑制幻觉并增强对提示偏见的鲁棒性。

3. 实验结果 (Results)

3.1 模型表现概览

高误报率：大多数 VLMs（包括 GPT-5.1, GPT-4o, Qwen 等）在检测任务中表现出极高的真阳性率 (TPR)，但真阴性率 (TNR) 极低。例如，Qwen3-VL-30B 几乎将所有输入都判定为双关语（TPR=0.99, TNR=0.018）。
提示敏感性：开源模型对提示词的变化非常敏感（ $\Delta$ 值大），表明其推理缺乏鲁棒性，更多依赖表面模式匹配。闭源模型（如 GPT-4o）相对更稳健。
解释任务的双刃剑：要求模型进行解释时，TNR 显著提高（模型更敢于拒绝假双关），但 TPR 略有下降（可能误杀真双关）。

3.2 错误分析

模型主要存在四种幻觉模式：

词汇幻觉：忽略图像实际文字，脑补成常见双关词（如把 "lamp" 看成 "fan"）。
语音幻觉：强行声称两个发音完全不同的词是双关（如 "banana" 和 "soul"）。
语义幻觉：赋予单词不存在的含义。
视觉对象幻觉：受文本误导，声称看到了图像中不存在的物体。

3.3 增强效果

Pun-CoT：显著提高了 F1 分数（平均提升 16.5%），主要通过大幅提升 TNR（减少误报）实现，同时保持了较高的 TPR。
Pun-Tuning：微调后的模型在 TNR 和抗提示偏见能力上均有显著提升，且解释质量（Win rate）优于微调前。

4. 主要贡献 (Key Contributions)

提出 MULTIPUN 基准：首个包含严格对抗性负样本（ES 和 RS 策略）的多模态双关语数据集，包含 445 个双关语和 890 个干扰项，涵盖了同音和同形双关。
系统性评估：设计了检测、定位、解释三个任务，并引入双向提示机制，揭示了当前 VLMs 在双关语理解上的严重缺陷（主要是过度解读和缺乏真正的跨模态推理）。
提出改进方案：
- Pun-CoT：通过结构化验证流程有效抑制了幻觉。
- Pun-Tuning：证明了利用高质量负样本和双向提示微调可显著提升模型性能。
深入分析：详细分类了模型的错误类型（词汇、语音、语义、视觉幻觉），为未来研究提供了明确的方向。

5. 意义与影响 (Significance)

推动多模态推理：双关语理解是检验 VLMs 是否具备真正跨模态推理能力（而非简单的图文匹配）的试金石。
提升模型鲁棒性：研究提出的去偏评估方法和增强策略，有助于开发更可靠、更少幻觉的 VLMs。
人机交互：理解幽默和双关语是 AI 实现拟人化交互的关键一步，本研究为未来 AI 掌握人类幽默感奠定了基础。
伦理考量：论文也讨论了双关语理解技术可能被滥用于社会工程或宣传的风险，强调了透明报告的重要性。

总结：这篇论文揭示了当前最先进的 VLMs 在理解多模态双关语方面仍存在显著缺陷，主要表现为“过度解读”和“幻觉”。通过构建高质量的对抗性数据集（MULTIPUN）并引入验证机制（Pun-CoT）和微调策略（Pun-Tuning），研究显著提升了模型区分真假双关语的能力，为构建更具人类幽默理解能力的 AI 系统提供了重要参考。