💬 NLP

Beyond the Literal: Decomposing Pragmatic Intent in Multimodal Meme Understanding

本文提出了**意图投影（Intent Projection）**，一种通过正交表示投影、结构化推理和对比目标，将字面视觉内容与语用意图进行显式分解与分离，从而增强大型视觉语言模型理解模因（memes）能力的创新框架，该框架在高度分歧的多模态任务上显著优于现有基准模型。

原作者： Zhengyi Zhao, Shubo Zhang, Zezhong Wang, Luyao Ye, Huimin Wang, Hanqi Yan, Binyang Li, Kam-Fai Wong, Yulan He

发布于 2026-06-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zhengyi Zhao, Shubo Zhang, Zezhong Wang, Luyao Ye, Huimin Wang, Hanqi Yan, Binyang Li, Kam-Fai Wong, Yulan He

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在看一个表情包（meme）。画面中是一只快乐、微笑的卡通狗，但配文写着：“又一个美好的周一。”

如果你问一个标准的 AI（大型视觉语言模型）这意味着什么，它很可能会告诉你：“这是一张快乐的小狗图片，文字说周一是美好的。” 它描述的是它看到的内容。

但人类立刻就能明白这个笑话：发布者其实很痛苦，讨厌周一。那只微笑的狗才是笑点所在，而不是字面意思。AI 错过了为什么。

这篇题为**《超越字面：通过解构多模态表情包理解中的语用意图》（"Beyond the Literal: Decomposing Pragmatic Intent in Multimodal Meme Understanding"）的论文介绍了一种名为“意图投影”**（Intent Projection）的新方法来解决这个问题。以下是该方法的运作原理，通过简单的概念进行拆解。

核心问题：“字面陷阱”

把 AI 的大脑想象成一个非常擅长描述画作，但完全不懂艺术家心情的学生。当 AI 看表情包时，它会被“卡”在显而易见的细节上（微笑的狗、单词“美好”）。这些细节过于鲜明且响亮，掩盖了微妙且隐藏的含义（讽刺）。

作者称之为**“字面坍缩”**（Literal Collapse）。AI 将复杂的笑话坍缩成了一个枯燥的图像描述。

解决方案：意图投影

研究人员构建了一个全新的框架，强制 AI 在尝试回答之前，先将“是什么”与“为什么”分开。他们通过三个巧妙的步骤来实现，就像侦探破案一样：

1. “降噪耳机”（表示层级）

想象 AI 的大脑是一个充满噪音的房间。那些“字面”的噪音（狗、文字）声音很大。而“语用”的信号（笑话）则是一个微弱的低语。

他们做了什么： 他们添加了一个特殊的模块，充当降噪耳机。它识别出数据中那些响亮的、明显的方向（字面内容），并在数学上将其抵消。
结果： 剩下的就是一个“残差”信号——即实际意图的微弱低语。现在，AI 可以听到那个笑话，而不会被那只微笑的狗所干扰。

2. “情感标签”（输出层级）

有时，仅仅移除噪音是不够的。AI 需要一个关于它正在观察的笑话类型的提醒。

他们做了什么： 他们给了 AI 一个小贴纸（标签），让它在开始思考之前贴在表情包上。这个贴纸标注了图像与文本之间的关系。
- 是 快乐图像 + 快乐文本？（真诚）
- 是 快乐图像 + 悲伤文本？（讽刺）
结果： 这个标签就像一个指南针。它告诉 AI：“嘿，别相信那张笑脸；去寻找隐藏的悲伤。”这有助于 AI 在笑话变得复杂时依然保持思路正确。

3. “反描述奖励”（目标层级）

这是训练阶段。想象你在教狗做动作。如果狗只是对着球吠叫（字面描述），你不会给它奖励。

他们做了什么： 他们使用一种特殊的奖励系统来训练 AI。
- 如果 AI 说：“这只狗在微笑，”它会得不到分数（甚至会被扣分）。
- 如果 AI 说：“发布者是在嘲讽周一有多糟糕，”它会得到分数。
结果： AI 明白了仅仅描述图片是“错误”的。它被迫挖掘更深层的含义才能获得奖励。

“思维链”

为了确保 AI 不作弊，他们强制要求 AI 按三个特定步骤写出答案，就像侦探的笔记本一样：

字面观察： “我看到一只微笑的狗，文字写着‘美好的周一’。”（AI 承认它看到了什么）。
意图推断： “但等等，标题说‘又一个美好的周一’，这通常暗示着讽刺。那个微笑是虚假的。”（AI 将两者联系起来）。
最终答案： “发布者正在抱怨工作。”（AI 给出了真正的答案）。

为什么这很重要

研究人员在涉及表情包和讽刺的六个不同基准测试上对其进行了测试。

结果： 他们的这种方法比现有的开源模型表现得好得多。
甜点区（优势领域）： 它在处理最难的笑话时表现尤为出色——即那些图像和文本完全相反（高差异性）的笑话。这正是其他 AI 通常会彻底失败的地方。
对比： 他们的 80 亿参数模型（相对较小）表现几乎与规模大得多、昂贵的“专有”模型不相上下。

总结

论文认为，要理解一个表情包，你不能仅仅看图片并阅读文字。你必须主动减去那些显而易见的内容，以找到隐藏的含义。通过教会 AI 忽略“响亮”的字面细节并专注于“安静”的语用意图，他们创造了一个终于能听懂笑话的系统。

注：局限性 作者提到，他们的训练数据主要来自英语互联网文化（如 Reddit）。因此，虽然该方法非常出色，但它可能会在面对未见过的其他文化或语言的表情包时感到吃力。他们还指出，这种额外的思考过程会让 AI 运行速度稍慢，这对于实时应用可能是一个问题。

技术摘要：超越字面意思：解构多模态迷因理解中的语用意图

1. 问题定义

大型视觉语言模型（LVLMs）目前在解释多模态迷因（Meme）和讽刺性帖子时表现挣扎，因为作者的交际意图与其字面内容存在分歧。当面对一个迷因（例如，一张带着“又一个美好的周一”标题的快乐小狗图片）时，LVLMs 往往倾向于生成对视觉和文本元素的字面描述，而不是推断其潜在的语用含义（例如，在抱怨工作）。

现有的方法通常将意图视为端到端的分类或生成目标，并在融合后的完整图文表示上进行训练。这使得字面信号（描绘了什么/说了什么）与语用信号（为什么要这么说）纠缠在一起。因此，当字面特征（如笑脸或积极词汇）在表示中占据主导地位时，解码器会默认发生“字面坍缩”（literal collapse），即无论监督标签如何，都只是在重复表层细节。这种失败在高分歧场景下最为严重，即预期的含义与表层形式形成鲜明对比。

2. 方法论：意图投影 (Intent Projection)

作者提出了意图投影框架，旨在通过在单个 LVLM 主干网络中，从表示、输出和目标三个层面结构化地分离字面信号与语用信号。

A. 表示层面：语用投影

核心创新是一个正交投影模块，用于从融合表示中隔离出语用残差。

机制： 模型从图像和文本摘要中计算出一个融合向量 $c$ 。随后，它识别出由图像单模态摘要 ( $u_v$ ) 和文本单模态摘要 ( $u_t$ ) 所张成的“字面子空间”。
投影： 语用向量 $\hat{h}_{prag}$ 通过将 $c$ 正交投影到与字面方向正交的子空间上来计算：
$\hat{h}_{prag} = (I - P_L)c$
其中 $P_L$ 是向字面子空间的投影矩阵。这移除了占主导地位的单模态方向，仅保留驱动意图的跨模态交互。
调节： $\hatх_{prag}$ 作为软 Token 被输入到解码器中。此外，一个表层现实情感分类器（Surface-Real Affect Classifier）会从表面情感（正/负）和真实情感（正/负）的四路笛卡尔积中预测一个离散标签。该标签（例如，针对讽刺的 [affect: surface-pos, real-neg]）作为一个持久的符号锚点，补充了连续的语用向量。

B. 输出层面：结构化推理链

模型被训练为将这种解构过程外显化为一个包含三个阶段的链条：

字面观察 ( $y_{lit}$ )：描述展示了什么以及说了什么。
意图推断 ( $y_{int}$ )：解析为何将两者进行配对。
最终意图 ( $y^*$ )：言语化作者的交际意图。

C. 目标层面：对比强化学习

训练分为两个阶段：

第一阶段 (SFT)：有监督微调用于教授链式格式和情感分类。目标是通过自我蒸馏获得的，即利用主干模型生成的包含社区评论作为辅助上下文的链条（这些上下文在推理阶段是不可见的）。
第二阶段 (GRPO)：应用组相对策略优化（Group Relative Policy Optimization）配合一种对比性的、具备字面感知能力的奖励。奖励函数 $R(y)$ $R (y)$ 包括：
- 一个将最终意图 $y^*$ 拉向参考意图的项。
- 一个对比惩罚项 ( $-\lambda_1 \text{sim}(y^*, y_{lit})$ )，该项明确要求最终答案远离模型自身的字面描述。
- 对情感一致性和链式格式的奖励。
- 梯度掩码：更新仅应用于 $y_{int}$ 和 $y^*$ ； $y_{lit}$ 则保持固定，作为对比的稳定参考点。

3. 核心贡献

重新定义问题： 作者识别出“字面坍缩”是迷因理解中的主要失效模式，并将该任务重新定义为字面-语用解构问题。
架构分离： 他们引入了一种方法，通过从融合表示中显式投影出单模态字面方向，从而让解码器能够直接获取语用残差。
对比优化： 他们提出了一种奖励机制，通过惩罚生成的意图与字面描述之间的相似性，直接针对信号的分离而非仅仅是任务准确性。
自我蒸馏： 该框架利用自我蒸馏从主干模型本身提取意图目标，避免了大规模人工标注意图的需求。

4. 实验结果

该方法在六个基准测试（MemeReaCon, MemeCap, MET-Meme, MMSD2.0, MuSE, GOAT-Bench）上进行了评估，使用了三个开源主干网络（LLaVA-OneVision-7B, Qwen3-VL-8B, InternVL3.5-8B）。

性能提升： Intent Projection 一致优于强大的开源基线模型，并缩小了与前沿闭源模型（如 Gemini-3-Flash, GPT-5.4-mini）之间的差距。
- 在 PI-G（帖子意图生成）任务上，配备 Intent Projection 的 8B 规模 Qwen3-VL 达到了 32.8% 的 ROUGE-L，将与闭源模型 Gemini-3-Flash 的差距缩小了约 60%。
高分歧场景： 最显著的改进出现在具有高字面-意图分歧 ( $\Delta(x)$ ) 的帖子中。基线模型在高分歧帖子上的表现大幅下降，而 Intent Projection 保持了性能，将低分歧与高分歧之间的性能差距缩小到了 5% 以内。
消融实验：
- 移除对比奖励 ( $\lambda_1$ ) 会导致最大的性能下降，尤其是在高分歧帖子中，证实了其在防止字面坍缩方面的作用。
- 移除情感头会显著降低性能，验证了离散符号标签的效用。
- 研究发现 GRPO 阶段是必不可少的；仅靠 SFT 虽然教会了格式，但未能防止字面坍缩。

5. 意义与主张

论文声称 Intent Projection 通过强制执行信号的结构化分离，成功缓解了 LVLM 中的“字面坍缩”现象。作者断言：

在表示层面显式解构字面与语用信号，比单纯扩展模型参数更有效。
该框架推广了字面-语用分离的原则，表明其适用于其他说话者含义与其表层形式相悖的任务（如对话中的讽刺、新闻标题中的隐含立场）。
该方法在需要深度语用理解（而非仅仅是表层理解）的场景下，弥合了开源模型与闭源模型之间的差距。

承认局限性： 作者指出，其数据向英语语言的西方互联网文化倾斜，该框架由于结构化修改引入了轻微的推理延迟，且自我蒸馏的目标依赖于主干模型的潜在能力。