CaRGo-T: Causal Reasoning Graph-of-Thought improves Multimodal Humor Comprehension
该论文引入了 CaRGo-T，这是一个因果推理思维图谱框架，通过将复杂的实体与上下文关系表示为一种轻量级的、基于代码的图结构，增强了多模态幽默理解与检测能力，并证明了其在多种数据集上较现有基准模型具有显著的性能提升。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
幽默是人类最本质的行为之一，然而它仍然是机器最难理解的事情之一。当一个人对着一个笑话或一张有趣的图片发笑时，他们不仅仅是在处理文字或图像；他们是在应对一个由社交暗示、文化规范和意外联系构成的复杂网络。计算机可以轻易识别出一张图片显示一个人穿着高跟鞋，但它往往难以理解为什么这张特定的图片会具有幽默感。要达到这一点，机器必须理解微妙的事件链：这个人穿上鞋是为了显得时尚，但鞋子造成了身体上的疼痛，从而在初衷与现实之间产生了冲突。这种推理不仅需要识别物体，还需要理解因果关系，即一个动作如何导致另一个动作，以及这些联系如何创造出令人惊讶或讽刺的结果。
多年来，科学家们一直试图教导大型计算机系统（被称为视觉语言模型）来处理这些任务。这些系统旨在同时观察图像并阅读文本，从而回答问题或描述它们所看到的内容。虽然它们在许多工作中已经变得非常出色，但在面对讽刺、反讽或迷因（memes）时却经常出错。它们往往会错过重点，因为它们将图像和文本视为简单的事实列表，而不是一个带有隐藏逻辑的故事。它们可能会描述鞋子和脚，但无法理解让这一场景产生幽默感的痛苦感。研究人员曾尝试通过要求计算机在给出答案前“大声思考”来修复这个问题，这是一种让机器写下其步骤的方法。然而，这些尝试往往产生模糊或重复的解释，并不能真正捕捉到理解一个笑话所需的错综复杂的联系。
现在，一组研究人员提出了一种不同的方法，来帮助这些机器看透笑声背后的逻辑。他们引入了一种名为 CARGO-T 的新方法，全称为“因果推理图思维”（Causal Reasoning Graph-of-Thought）。研究人员并没有要求计算机写一段自然语言段落来解释其思考过程，而是要求它构建一张结构化的因果地图。他们指示计算机将场景转化为一种简单的、类似代码的脚本，明确地链接物体、人物和事件。在这个脚本中，计算机不仅仅是说“一个人穿着鞋”；它会写下一行代码说“穿着鞋会导致不适”。然后，它将这种不适与追求时尚的目标联系起来，创造出一个清晰的推理链，展示幽默究竟何在。这种方法迫使模型铺设出元素之间的具体联系，将一种模糊的“有趣”感觉转化为一个具体的事件序列。
为了测试这种方法是否有效，研究人员将其应用于四个不同的幽默图像和文本集合。这些数据集包括讽刺图片、网络迷因以及配有讽刺标题的图像。他们将这种新方法与要求计算机进行推理的标准方式进行了对比，例如让机器编写段落的“大声思考”技术，或其他尝试总结图像的方法。结果显示出了明显的进步。使用这种新方法时，计算机理解某事为何有趣的能力比旧方法提高了 1% 到 20%。在计算机只需判断一张图像是否有趣的任务中，准确率提高了 1% 到 3%。这些数字看起来可能很小，但在人工智能领域——即系统已经在许多方面表现得非常出色的情况下——在理解复杂人类概念方面取得哪怕微小的进步也是意义重大的。
研究人员还仔细观察了计算机在此过程中实际写下了什么。他们发现，通过他们的方法生成的类代码推理地图比其他方法编写的段落包含了更多独特且有用的信息。当他们检查推理步骤在多大程度上能有效引导至正确答案时，新方法得分更高。这表明，通过迫使计算机以结构化的方式绘制因果关系图，它能够获取解决幽默谜题所需的特定逻辑。这项研究表明，问题不仅在于计算机需要更多的数据，还在于它需要一种更好的方式来组织已有的信息。通过将幽默视为一系列连锁事件而非静态事实的集合，系统终于可以开始像人类一样看待世界，识别出那些让我们发笑的微妙矛盾之处。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。