💬 NLP

On the Wings of Imagination: Conflicting Script-based Multi-role Framework for Humor Caption Generation

本文介绍了 HOMER，这是一个全新的由幽默理论驱动的多角色大语言模型框架，它利用剧本对立、检索增强的分层想象以及针对性的标题生成，在创作有趣的跨模态图像标题方面显著超越了现有的最先进方法。

原作者： Wenbo Shang, Yuxi Sun, Jing Ma, Xin Huang

发布于 2026-08-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Wenbo Shang, Yuxi Sun, Jing Ma, Xin Huang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人如何讲笑话。你可能会想：“直接给它一张图片，然后让它变得有趣就好了！”但问题在于：对于计算机而言，“有趣”是一个难以捉摸且令人困惑的概念。这不仅仅是描述你所看到的东西，而是要理解这个世界的隐藏规则，发现这些规则何时被打破，然后扭转你的思维去捕捉这种打破带来的惊喜。这就是**多模态幽默生成（multimodal humor generation）**的核心领域——在这个领域中，科学家们试图帮助人工智能（AI）理解一个普通的咖啡杯与一个浴缸大小的咖啡杯之间的区别。

为了实现这一目标，这篇论文的研究人员依赖于幽默理论中一个经典的观点，即剧本对立（Script Opposition）。把“剧本”想象成我们每个人都烂熟于心的心理电影剧本，比如“参加会议”或“喝咖啡”。幽默往往发生在两个这样的剧本以一种奇怪的方式发生碰撞时——比如一场严肃的商务会议，而每个人都在用巨大的杯子喝水。论文指出，要让计算机真正变得幽默，它不能仅仅靠猜测；它需要一个结构化的计划来寻找这些碰撞，想象疯狂的联想，然后写出一个将这一切联系起来的笑点（punchline）。

该论文介绍了一个名为 HOMER 的新系统（基于幽默理论的多角色大语言模型协作框架，含幽默检索）。HOMER 并没有要求单个 AI 去“变得有趣”并寄希望于最好的结果，而是扮演了一个微型的、专业化的喜剧创作团队。它将工作拆分为三个不同的角色，每个角色由不同的 AI 智能体协作完成：

冲突侦探（冲突剧本提取器）： 这个智能体观察图像和场景描述，以寻找现实中的“故障”。如果图像显示一个配有普通座椅的会议室，但其中有一个巨大的、超大号的咖啡杯，这个智能体就会发现“正常办公室”与“巨型杯子”之间的冲突。它识别出了使笑话成为可能的内核矛盾。
疯狂想象家（层级想象器）： 一旦找到了冲突，这个智能体就会展开一场创意狩猎。它以那个奇怪的物体（巨型杯子）为起点，构建一棵联想树。它可能会想：杯子 → 咖啡 → 牛奶 → 牛。但它不仅仅是在瞎猜；它会检查一个庞大的真实人类笑话数据库，以查看哪些联想实际上能产生幽默效果。它会剪掉那些无聊的想法，保留那些具有最多“幽默潜力”的想法。
笑点作家（标题生成器）： 最后，这个智能体将冲突、疯狂的想象树以及场景描述结合起来，写出实际的标题。它将所有的线索整合进一个简短、机智的句子中，以此解释这种荒诞感。

研究发现，这种团队协作的方法比让单个 AI 尝试同时完成所有工作要有效得多。在对数千张来自《纽约客》（一家以幽默漫画闻名的著名杂志）的真实漫画标题进行测试时，HOMER 的表现持续优于其他顶尖的 AI 模型。事实上，与次优方法相比，HOMER 生成的标题平均有 7% 的概率在与人类编写的标题对抗中获胜。

作者反对认为仅仅让 AI “思考得更努力”或“推理得更多”（例如使用复杂的逐步逻辑链）就足够生成幽默的观点。他们表明，如果没有关于幽默如何运作的具体引导（例如寻找剧本对立），也没有探索创意想法的结构化方式，AI 生成的标题往往逻辑通顺但并不真正有趣。通过将过程分解为这些特定的、由理论驱动的步骤，HOMER 创建的标题感觉更加原创且真正有趣，这证明了有时，想要变得幽默，你需要一点结构，以及大量的想象力。

技术摘要：HOMER —— 基于冲突脚本的多角色幽默标题生成框架

问题定义

本文解决了多模态幽默生成的挑战，特别是为图像（如卡通）生成有趣标题的任务。虽然大语言模型（LLMs）在视觉理解和推理方面已展现出能力，但它们往往在生成真正幽默所需的创造力、原创性和深度逻辑推理方面表现乏力。依赖通用提示词、通过推理链进行自我改进（如思维链/CoT）或特定任务微调的现有方法，往往只能捕捉到表层的幽默语言，而非底层的幽默逻辑结构。因此，这些模型生成的标题往往语义准确，但缺乏实现人类水平幽默所需的“笑点”、可解释性和创造性想象力。

方法论：HOMER 框架

作者提出了 HOMER（结合幽默检索的幽默理论驱动多角色 LLM 协作框架）。该框架基于言语幽默通用理论（GTVH），该理论通过五种知识资源来建模幽默：脚本对立、情境、目标、叙事策略和语言。HOMER 通过三个协调的基于 LLM 的角色来实现这一理论：

1. 冲突脚本提取器 (Conflicting-Script Extractor)

该模块分析输入图像以导出两个关键组成部分：

情境描述 ( $D$ )： 详细的上下文背景，包括地点、人物、表情和动作。
冲突脚本 ( $C$ )： 幽默机制的核心。提取器识别情境中一对或多对对比或不一致的语义框架（脚本）（例如，“正常的咖啡杯”与“超大的杯子”）。这种脚本对立建立了幽默必不可少的预期违背逻辑。

2. 分层想象器 (Hierarchical Imaginator)

一旦建立了幽默基础（ $D$ 和 $C$ ），该模块会将关键实体识别为幽默目标，并通过双管齐下的方式扩展创意空间：

深层模式想象（骨干链）： LLM 进行多视角自由联想（局部和全局视角），生成相关实体的逻辑链（例如，咖啡杯 $\to$ 牛奶 $\to$ 奶牛）。这些链条构成了“想象树”的骨干。
广度模式想象（检索增强）： 为了防止输出重复或受限，框架从一个包含 335,570 条单句笑话的精选数据库中检索相关的笑话。它基于骨干实体和幽默上下文构建查询。
HOMER 剪枝 (HOMER-Pruning)： 一种评分机制用于过滤检索到的实体，以确保高质量的想象。得分 $H(e, \varepsilon)$ $H (e, ε)$ 结合了三个因素：
1. 相关-对立度 ( $H_{rel}$ )： 利用 WordNet 关系平衡语义相似性与概念对立性（不一致性）。
2. 幽默频率 ( $H_{freq}$ )： 优先考虑频繁出现在相关笑话中的实体。
3. 词性多样性 ( $H_{div}$ )： 鼓励词汇歧义（例如，具有多种词性的单词）以促进双关语的产生。

3. 标题生成器 (Caption Generator)

最后一个模块综合情境描述、冲突脚本以及从想象树中选择的路径。它构建一个提示词 $\Phi(C, D, P_i, \Omega)$ ，其中包含了五个 GTVH 知识资源（包括叙事策略和语言风格选项），以生成最终的幽默标题。

核心贡献

理论驱动机制： 不同于以往依赖启发式推理的方法，HOMER 显式地利用 GTVH 框架进行幽默生成建模，提供了一个从脚本对立到标题生成的具有可解释性的分步过程。
多角色协作： 该框架将复杂的任务分解为专门的角色（提取、想象、生成），从而实现对幽默逻辑和素材的针对性控制。
检索增强想象： 引入了“分层想象器”，将 LLM 驱动的深层联想与来自大规模笑话数据库的幽默相关检索相结合，显著扩展了模型的内在知识之外的创意空间。
幽默量化评分： 提出的 $H(e, \varepsilon)$ 评分函数提供了一种原则性的方法，根据相关性、对立性、频率和多样性来过滤和选择想象性关联。

实验结果

该框架在两个《纽约客》卡通基准数据集上进行了评估：Humor in AI 和 Electronic Sheep。

性能： HOMER 显著优于最先进的基准模型（包括 HumorousAI、CLoT、LoL 和 Phunny）以及高级推理策略（CoT、Few-shot、Self-consistency）。
- 在 Humor in AI 数据集（Top 10 组）上，HOMER 达到了 66.41% 的 pass@1，比表现最好的基准模型（HumorousAI 为 62.11%）高出约 6.9%。
- 在 Electronic Sheep 数据集（High-Humor 组）上，HOMER 达到了 75.53% 的 pass@1，比表现最好的基准模型高出约 12.1%。
人工评估： 在一项由 12 名评分员 对方法进行评分的研究中，HOMER 获得了最高的平均幽默评分（Humor in AI 为 3.54/5.0，Electronic Sheep 为 3.31/5.0），超过了所有基准模型。
消融实验： 移除三个核心模块中的任何一个（情境描述、冲突脚本或想象树）都会导致性能下降，证实了完整框架的必要性。“相关-对立”得分被确定为尤为关键。
泛化能力： 该方法在另一个迷因（Meme）数据集（ImgFlip）上展示了强大的泛化能力，平均领先竞争对手约 5.4%。
安全性： 使用 Detoxify 进行的毒性检测显示，有害内容极少（毒性得分总和 < 0.03），表明该框架生成的标题是安全的。

意义与主张

论文声称 HOMER 为理论驱动的多模态幽默生成提供了一条充满前景的路径。其主要意义在于将范式从“黑盒”推理转向可解释的、模块化的框架，该框架显式地利用了幽默理论。通过将幽默生成分解为脚本提取、想象扩展和结构化合成，作者证明了实现比当前仅通过提示词进行的 LLM 更高的创造力和原创性是可能的。结果表明，结合外部幽默知识（通过检索）和结构化理论指导（通过 GTVH）对于克服固有 LLM 幽默机制的局限性至关重要。作者保持了谦逊，指出该框架在处理难以检测脚本对立的纯形式化或非幽默图像时仍存在困难，承认幽默对于 AI 来说仍然是一个具有挑战性的领域。