🤖 AI

Learning to Think Like a Cartoon Captionist: Incongruity-Resolution Supervision for Multimodal Humor Understanding

该论文提出了 IRS 框架，通过监督“不协调建模”、“消解建模”和“偏好对齐”三个中间推理步骤，使多模态幽默理解模型在纽约客漫画caption任务中超越了现有基线并展现出可泛化的推理能力。

原作者： Hatice Merve Vural, Doga Kukul, Ege Erdem Ozlu, Demir Ekin Arikan, Bob Mankoff, Erkut Erdem, Aykut Erdem

发布于 2026-04-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Hatice Merve Vural, Doga Kukul, Ege Erdem Ozlu, Demir Ekin Arikan, Bob Mankoff, Erkut Erdem, Aykut Erdem

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲述了一个关于**教人工智能如何“懂幽默”**的故事。

想象一下，你正在参加一个非常高级的“看图猜谜”比赛（就像《纽约客》杂志的漫画配文大赛）。比赛规则是：给你一张搞笑漫画，让你从五个选项里选出最搞笑的那句配文，或者把两句配文按“好笑程度”排个序。

以前的 AI 就像是一个只会死记硬背的优等生。它看了很多漫画，记住了“看到猫就要选‘喵’"，看到“飞机”就要选“起飞”。但它其实并不真正理解为什么好笑。它只是在猜答案，就像蒙题一样，虽然偶尔能蒙对，但一旦题目稍微变难一点，或者需要一点“脑筋急转弯”，它就抓瞎了。

这篇论文的作者们觉得：幽默不是靠猜答案，而是靠“想明白”的过程。

于是，他们发明了一套新方法，叫 IRS（不协调 - 解决监督法）。我们可以把它想象成教 AI 像一位老练的喜剧编剧那样思考。

核心思想：幽默的“三步走”战略

作者把理解幽默的过程拆解成了三个步骤，就像教一个新手厨师做菜：

第一步：找茬（发现不协调）
- 比喻：就像你在看一幅画，突然觉得“哎？这里有点不对劲”。
- AI 怎么做：AI 不再只是看画面里有什么，而是专门找违和感。比如，画里是一只巨大的阿米巴原虫坐在飞机座位上，旁边的人很生气。AI 要能立刻发现：“等等，原虫是显微镜下才看得到的，怎么变得比人还大？这就是‘不协调’的地方！”
- 以前的 AI：只看到“飞机”和“虫子”，不知道这两者在一起有多荒谬。
第二步：圆场（构建解释）
- 比喻：发现不对劲后，你得想一个理由把它解释通，而且还要解释得很有趣。
- AI 怎么做：AI 开始动脑筋：“这个虫子虽然大，但它毕竟是个单细胞生物。如果它买了机票，航空公司会不会因为它占了一个座位而收它双份钱？或者它是不是没买票？”AI 会尝试用人类的逻辑去解释这个荒谬的画面，把“不协调”变成“逻辑自洽的笑点”。
- 以前的 AI：只能说出“虫子很大”，说不出背后的逻辑。
第三步：挑刺（人类偏好对齐）
- 比喻：就像喜剧演员讲完段子，要看观众笑不笑。如果观众没笑，就得改。
- AI 怎么做：AI 会模拟“专业评委”的视角。它会问自己：“这个解释够不够‘纽约客’风格？是不是太生硬了？有没有双关语？”如果 AI 选的答案虽然逻辑通顺，但不好笑，它就会被“惩罚”；如果选的答案既符合画面又充满机智，它就会被“奖励”。

这套方法有多厉害？

作者用这套方法训练了不同大小的 AI 模型（从 70 亿参数到 720 亿参数），结果非常惊人：

从小白变专家：以前，AI 在幽默理解任务上表现平平。用了这套“三步走”训练后，即使是中等大小的 AI，表现也超过了那些只靠“死记硬背”的大模型。
最大的模型接近人类专家：他们最大的模型（72B），在排序任务上的表现，竟然接近了《纽约客》的专业漫画配文专家的水平！
举一反三：最酷的是，这套方法不是死记硬背《纽约客》的题目。当把 AI 放到其他从未见过的幽默测试中时，它依然能表现得很好。这说明它真的学会了“思考幽默”的逻辑，而不是背下了答案。

总结一下

这就好比：

以前的 AI 像是背熟了《笑话大全》的学生，老师问“为什么这个好笑”，它只能回答“因为书里这么写的”。
现在的 AI (IRS) 像是学会了相声创作技巧的学徒。它知道怎么观察生活、怎么发现矛盾、怎么把矛盾变成包袱，最后还能根据观众的反应调整自己的段子。

这篇论文告诉我们：在教 AI 做需要“灵光一闪”的创造性任务（比如幽默、写作、艺术）时，光靠堆砌数据量（让模型变得更大）是不够的，更重要的是教它“怎么思考”的过程。只要教会了它思考的路径，它就能真正变得聪明起来。

和...` 格式，强制其显式地展示推理过程，而非直接猜测答案。
3. 偏好对齐 (Preference Alignment, PA)：
* 目标：根据人类判断评估候选解释。
* 方法：采用基于强化学习（GRPO 算法）的对齐策略，引入幽默感知奖励 (Humor-Aware Rewards)。奖励函数包含四个部分：
* 准确性 ( $R_a$ )：最终选择是否正确。
* 格式 ( $R_f$ )：是否遵循结构化推理格式。
* 视觉感知 ( $R_p$ )：推理是否基于显著的视觉元素和不协调点（通过 LLM 法官对比 curated 视觉参考进行打分）。
* 风格 ( $R_s$ )：语言质量是否符合专业配文标准（如双关语、隐喻、笑点位置等）。

2.2 训练流程

CPT 阶段：在幽默特定语料上微调基座模型（如 Qwen2.5-VL），注入领域知识。
SFT 阶段：使用配文师推理轨迹数据，训练模型输出结构化的思维链。
RL 阶段：利用上述四种奖励信号进行强化学习，优化模型的推理质量和风格。

3. 主要贡献

理论驱动的框架：提出了 IRS 框架，首次将认知科学中的“不协调 - 解决”理论转化为多模态学习中的显式监督信号，填补了从视觉感知到幽默解释之间的推理鸿沟。
结构化推理轨迹：构建了基于专家实践的配文师推理轨迹数据集，使中间推理步骤变得可学习、可解释。
性能提升与泛化：证明了在 7B、32B 和 72B 不同规模的模型上，IRS 均能显著提升在 NYCC 匹配和排序任务上的表现。最大模型（IRS-72B）在排序任务上接近专家水平。
零样本泛化能力：模型在未见过的幽默基准（如 YesBut, DeepEval）上表现出优异的零样本迁移能力，证明其学习到了通用的幽默推理模式，而非仅仅过拟合了特定数据集。

4. 实验结果

基准测试表现：
- 在 NYCC 的匹配任务（从 5 个选项中选 1 个）和排序任务（从 2 个选项中选更有趣的）中，IRS 模型全面超越了现有的开源和闭源基线（包括 o3, o4-mini, GLM-4V, Kimi-VL 等）。
- 规模效应：随着模型规模从 7B 增加到 72B，IRS 带来的提升更加显著。IRS-72B 在排序任务上达到了 76.10% 的准确率，超越了所有基线模型（包括 o3 的 62.85%），并接近人类专家水平（专家在排序任务上为 100%，但在更难的 30-vs-300 任务上为 40%，IRS-72B 为 50.86%）。
消融实验：
- 解决建模 (RM) 是性能提升的主要来源，证明了显式建模“如何解释不协调”至关重要。
- 不协调建模 (IM) 单独使用效果不佳，但与 RM 结合时能显著提升困难任务的表现。
- 偏好对齐 (PA) 中的幽默特定奖励（视觉感知 $R_p$ 和风格 $R_s$ ）在困难排序任务中贡献巨大，证明了仅靠准确性奖励不足以捕捉幽默的细微差别。
零样本迁移：在 YesBut 和 DeepEval 等外部数据集上，IRS 模型展现了显著的零样本性能提升，表明其推理模式具有跨领域的泛化性。

5. 意义与结论

推理结构优于单纯规模：研究结果表明，对于幽默等复杂、主观的推理任务，显式监督推理结构（Supervising reasoning structure）比单纯增加模型规模（Scale alone）更为关键。
可解释性：IRS 框架通过强制模型输出中间推理步骤，使得幽默理解过程变得透明和可解释，有助于分析模型为何做出特定选择。
未来方向：该方法为多模态创造性理解任务（如创意写作、艺术评论）提供了新的范式，即通过模拟人类专家的认知过程来训练 AI，而非仅仅依赖数据驱动的黑盒预测。

总结：这篇论文通过引入 IRS 框架，成功地将幽默理解从“黑盒预测”转变为“结构化推理”任务。通过模拟专业配文师的思维过程（识别不协调 -> 创造性解决 -> 风格化表达），IRS 显著提升了多模态大模型在幽默理解上的能力，并证明了在特定领域任务中，高质量的推理监督比单纯的数据规模扩张更有效。