RW-Post: Auditable Evidence-Grounded Multimodal Fact-Checking in the Wild
本文介绍了 RW-Post，这是一个面向现实世界多模态事实核查的可审计文本 - 图像基准，它将社交媒体帖子与人工验证的证据及推理轨迹相链接，并配合 AgentFact 基线，以揭示当前模型在将主张忠实锚定于证据方面存在的显著差距。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象互联网是一个巨大而混乱的城镇广场，人们不断大声喊出各种故事，有些是真的，有些是编造的。通常，骗子会将虚假故事与一张看似真实的照片配对，使其显得可信。这被称为“多模态虚假信息”。
您提供的论文介绍了一种新工具和一种测试计算机能否识破这些骗子的新方法。以下是用通俗语言进行的分解说明：
1. 问题所在：“假新闻”侦探需要更好的工具箱
当前试图识别假新闻的计算机程序，就像那些只查看嫌疑人面部或只阅读嫌疑人日记，却很少将两者结合起来的侦探。它们往往在没有找到证据的情况下猜测答案，或者被一张看似真实但被错误使用的照片所欺骗（例如，将一张 2015 年游行的照片声称是 2023 年的事件）。
2. 新数据集："RW-Post"（训练手册）
作者创建了一个名为RW-Post的新“训练手册”。将其想象为一个包含现实世界实例的巨大图书馆，其中：
- 犯罪现场：他们提取了引发谣言的确切原始社交媒体帖子（包括文本和图片）。
- 证据：他们并非凭空猜测，而是将每一项主张与具体的、现实世界的证据（如新闻报道、视频或特定网站）相关联，以证明其真伪。
- 推理过程：他们包含了一个“思维过程”，展示了人工事实核查员如何确切地将照片、文本和证据之间的线索串联起来。
为何这很特别？ 大多数以前的数据集就像答案被隐藏的测验。而 RW-Post 则像是一份附带答案键和逐步数学推导的测验，因此我们可以确切地看到计算机在哪里卡住了。
3. 新侦探："AgentFact"（专家团队）
为了测试计算机是否真的能胜任这项工作，作者构建了一个名为AgentFact的系统。与其让一个试图同时处理所有任务的大脑，不如想象一个由五名专业侦探组成的团队协同工作：
- 规划者：决定需要提出哪些问题。
- 文本猎手：上网寻找支持或反驳该主张的书面文章。
- 图像侦探：进行“反向图片搜索”，以查看照片是否陈旧、经过编辑或来自不同事件。
- 推理者：将所有线索整合在一起，以判断故事是否真实。
- 报告员：撰写最终报告，确保确切引用哪条线索证明了什么。
4. 重大发现：计算机需要“小抄”
作者使用三种不同的规则，对不同计算机模型（包括开源模型和强大的闭源模型）进行了一系列测试：
- 闭卷模式：计算机只能基于其已有知识进行猜测（无互联网，无额外文件）。
- 证据限定模式：计算机被给予特定的“小抄”（证据链接），但不能上网搜索。
- 开放网络模式：计算机可以像人类一样搜索互联网。
结果：
- 没有小抄（闭卷模式）：计算机表现糟糕。它们难以辨别真伪，经常编造理由或被图像搞糊涂。
- 有小抄（证据限定模式）：计算机变得聪明得多。当被迫查看实际证据时，它们的准确率显著提升。
- 图像问题：即使有小抄，计算机在正确结合文本和图像方面仍然困难重重。它们能很好地阅读证据，但往往无法理解照片如何融入故事之中。
5. 结论
该论文得出结论：虽然计算机在阅读方面有所进步，但在将答案“扎根”于真实证据方面仍然表现不佳。即使是在编造内容时，它们也往往表现得信心满满。
作者表示，要构建一个真正可靠的“假新闻检测器”，我们需要停止让计算机猜测，转而迫使它们展示其推理过程、链接其来源，并证明其推理与证据相符。RW-Post 就是为此设计的新测试场，旨在精确衡量它们能做到多好。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。