ExDR: Explanation-driven Dynamic Retrieval Enhancement for Multimodal Fake News Detection
本文提出了 ExDR，一种解释驱动的动态检索框架，该框架利用模型生成的解释来优化检索触发和证据选择，从而显著提高了多模态虚假新闻检测的准确性和鲁棒性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下你是一名正在试图破解案件的侦探，有人将真实的图片与虚假的故事混合在一起，或者将真实的故事与伪造的照片结合在一起。这就是**多模态虚假新闻（multimodal fake news）**的世界。
这篇论文介绍了一种名为 ExDR（解释驱动的动态检索，Explanation-driven Dynamic Retrieval）的新型侦探工具。请不要把它仅仅看作一个只会进行猜测的机器人，而是一个知道何时该寻求支援、以及该带回什么样的证据的聪明调查员。
以下是 ExDR 的工作原理，通过三个简单的步骤，并使用日常类比来拆解：
1. “我是否需要寻求帮助？”的决策（检索触发）
大多数虚假新闻检测器就像一名保安，即使看到的是明显的本地居民，也会检查每一个进门的人。这既浪费时间又浪费精力。
ExDR 则更加聪明。在开始寻找证据之前，它会根据自己的“思维过程”（它生成的解释）问自己三个问题：
- 标签检查： “我对我的答案真的确定吗？还是我只是在瞎猜？”
- 词汇检查： “我用来解释答案的词汇听起来是自信的，还是听起来有些底气不足？”
- 故事检查： “我告诉自己的这个故事逻辑通顺吗？还是说它很混乱？”
如果这些问题的答案是“我不确定”，只有在这种情况下，它才会决定寻求帮助。如果它很有信心，它就会独立破案。这节省了大量的时间和计算资源。
2. “我需要寻找什么？”的策略（证据检索）
一旦侦探决定寻求支援，他们就需要知道要向谁索取什么。
- 旧方法： “帮我找找任何看起来像这张照片的东西。”（这就像是当你需要一本特定的传记时，却向图书管理员要“任何关于猫的书”。你会得到一堆垃圾）。
- ExDR 方法： 它首先阅读自己的解释，以找到故事中的关键人物（实体），比如某个特定的人名或地点。然后，它向图书馆询问：“帮我找找关于这个特定人物的、能证明或反驳这一说法的故事。”
这就像是告诉一名侦探：“不要只给我看任何关于抗议的照片；请给我看关于这场特定抗议在这个特定时间的照片。”
3. “让我看看两面”的战术（对比证据）
这是该论文最具有创意的技巧。当侦探去图书馆时，它不仅仅抓取一个相似的故事。它会抓取两个：
- “是”的证据： 一个看起来与当前故事非常相似但却是真实的故事。（这有助于侦探了解真实版本是什么样子的）。
- “否”的证据： 一个看起来相似但却是虚假的故事。（这有助于它识别出具体的谎言）。
通过将一个“好”的例子和一个“坏”的例子并排展示给模型，模型可以识别出使当前新闻变假的细微差别。这就像是将一幅真画和一幅伪作并排展示给学生，以此教他们如何识别伪造的笔触。
实验结果
作者在两个包含虚假新闻的大型数据集（AMG 和 MR2）上测试了这个“聪明侦探”。
- 它更准确： 它比以往的方法捕捉到了更多的虚假新闻。
- 它更高效： 它不会在简单的案例上浪费时间去寻求支援。
- 它更擅长寻找正确的线索： 通过专注于特定的人物和事件（实体），并对比真与假，它能更快地找到“冒烟的枪”（即关键证据）。
简而言之，ExDR 是一个知道何时停止思考、知道寻找哪些具体细节、以及知道如何通过比较好与坏的例子来识破谎言的系统。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。