ProCrit: Self-Elicited Multi-Perspective Reasoning with Critic-Guided Revision for Multimodal Sarcasm Detection
本文提出了 ProCrit，一种新颖的提议 - 批评框架，该框架通过外部批评引导实现自主、自发的多视角推理与针对性修订，从而克服固定且预定义的分析视角的局限性，以增强多模态讽刺检测。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在试图判断一位朋友是否在说反话。他们发布了一张交通拥堵的照片，配文却是：“多么完美的一天！”
在图像和文本中检测反讽之所以棘手，是因为“笑点”可能来自许多不同的角度。有时它关乎文化典故，有时关乎文本与图像之间的矛盾，有时则关乎夸张的语气。问题在于，每一条反讽帖子都是独一无二的，因此你无法为每一个案例使用同一份检查清单。
这篇论文介绍了一个名为ProCrit的新系统来解决这个问题。请将 ProCrit 想象成不是一个单独的机器人，而是一个两人侦探小组，他们携手合作以解开谜团。
两位侦探：“提议者”与“批评者”
提议者智能体（侦探）：
这是思考者。当它看到图片和文字时，它不会仅仅猜测“是”或“否”。相反，它像一位侦探那样说：“好吧，让我们从几个不同的角度来看看。”- 旧方法： 先前的系统就像是被迫对每个案件都使用固定检查清单（例如，“检查语气”、“检查图像”、“检查语法”）的侦探，即使某些案件并不需要所有这些检查。
- ProCrit 方法： 这位侦探足够聪明，能够为每一个具体案例发明自己的检查清单。如果一个笑话依赖于历史典故，它就发明一个“历史检查”；如果它依赖于视觉上的矛盾，它就发明一个“视觉检查”。它利用第一步的线索来指导第二步，从而一步步构建其推理过程。
批评者智能体（编辑/教练）：
这位侦探是“第二双眼睛”。一旦提议者智能体写下其推理并做出猜测，批评者就会介入。- 批评者不会只说“对”或“错”。它像一位严格的编辑，阅读侦探的笔记并说道：“嘿，你忽略了背景中那辆着火的汽车！这改变了一切，”或者“你过于关注文本，而忽略了照片中那张悲伤的脸。”
- 批评者会针对遗漏了什么或误解了什么，提供具体且自然的语言反馈。
“起草–批评–修订”循环
以下是它们如何像作家和编辑一样协同工作：
- 起草： 提议者智能体撰写其推理的第一稿并做出猜测。
- 批评： 批评者智能体阅读它，找出漏洞，并写下一条备注，指出：“你漏掉了这个具体的线索。”
- 修订： 提议者智能体采纳该反馈，丢弃旧稿，并从头开始撰写一份全新的分析，确保修正了批评者指出的具体错误。
它们如何学会这样做（“训练”部分）
论文指出，现实世界的数据（如社交媒体帖子）通常只有“是/否”标签，而没有关于如何发现反讽的逐步解释。这就像拥有一份带答案的试卷，却没有数学解题步骤的说明。
为了解决这个问题，研究人员创造了一种特殊的训练方法：
- “动态角色”模拟： 他们利用一个超级智能的 AI 来模拟一个专家团队。一位专家查看文本，下一位查看图像，再下一位检查语气，依此类推。他们互相传递笔记，直到解开谜题。
- 笔记扁平化： 他们将这些来回传递的笔记整合成一篇单一的长故事。这教会了提议者智能体如何在无需人类指示下一步该做什么的情况下，以逻辑链条进行“思考”。
- 相互精进： 他们训练这两位侦探共同提升。由于批评者提供更优质的反馈，提议者智能体在修正错误方面变得更强；由于批评者能看到自己的哪些备注实际上帮助提议者智能体解决了问题，它在提供反馈方面也变得更擅长。这是一个双方共同升级的反馈循环。
结果
当他们在三组不同的社交媒体数据上测试这个团队时，ProCrit 的表现优于所有其他方法。
- 它更擅长捕捉其他系统错过的“棘手”反讽（提高了其发现“是”类案例的能力）。
- 它表明，拥有一位提供具体反馈的“批评者”，远比仅仅让 AI 独自尝试修正错误要好得多（论文指出后者往往不可靠）。
简而言之： ProCrit 是一个系统，它教会 AI 成为一位灵活的侦探，为每个案件发明自己的调查策略，然后由一位严格的编辑审查其工作，以确保没有遗漏任何线索。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。