ContextClaim: A Context-Driven Paradigm for Verifiable Claim Detection
本文介绍了 ContextClaim，这是一种通过将上游基于维基百科的上下文检索和 LLM 生成的摘要集成到检测过程中，从而增强可验证声明检测的新颖方法，证明了与仅依赖声明文本的方法相比，该方法在不同数据集和下游验证任务中均表现出更优越的性能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在广袤且嘈杂的网络景观中，虚假信息正以惊人的速度传播，在人们能够阻止之前就塑造了观点并扭曲了民主进程。为了应对这一问题，研究人员构建了旨在充当数字事实核查员的自动化系统。这些系统通常分阶段运行：首先，寻找一个陈述；第二，决定它是否值得核查；最后，寻找证据以判定其真伪。第二个阶段是一个关键的过滤器。如果计算机试图去验证一个无法证明的陈述——例如笑话、个人观点或关于虚构人物的说法——它就会浪费宝贵的时间和计算能力。其目标是仅识别那些原则上可以根据现实世界证据进行核查的陈述。多年来，这些系统一直试图通过仅阅读陈述本身，从词汇中寻找线索来做出这种判断。但这种方法存在盲点。一个句子可能看起来像是一个严肃的事实，却依赖于计算机本身并不具备的背景知识，使得在没有外部帮助的情况下无法进行验证。
伦敦玛丽女王大学的一个研究小组提出了一种解决此问题的新方法。他们认为，要了解一个主张是否可核查，计算机需要了解该主张中提到的个人和地点，就像人类事实核查员那样。他们开发了一种名为 ContextClaim 的方法，改变了操作顺序。该系统不再等到最后阶段才收集证据，而是在甚至还没决定该主张是否值得核查之前，就在一开始收集背景信息。当系统遇到一个陈述时，它首先识别出其中提到的个人、地点或组织的名称。然后，它搜索维基百科（一个结构化的百科全书），以查找关于这些特定实体的简短摘要。最后，它将原始陈述和这些新的摘要一起输入到语言模型中，由模型做出关于该主张是否具有可验证性的最终决定。
研究人员在两种截然不同的文本类型上测试了这一想法：一组关于疫情的推文和一组来自政治辩论的句子。他们将这种新方法与仅阅读主张文本的旧系统进行了对比。结果表明，添加这些背景上下文通常有助于计算机做出更好的决策。在许多情况下，系统在识别可验证的主张方面变得更加准确。然而，这种提升并非千篇一律。该方法的成功很大程度上取决于所使用的计算机模型类型以及训练方式。有些模型能够平滑地整合新信息，而另一些模型则会因此感到困惑，有时表现甚至比之前更差。研究人员发现，最一致的收益来自于对模型进行针对特定任务的仔细调整，而非仅仅通过即时学习几个例子来进行。
他们发现的一个关键点在于理解为什么额外的辅助信息有时会失效。该系统依赖大型语言模型将维基百科文章总结成简短、有用的笔记。虽然这些摘要通常与主题相关，但往往缺乏能告诉计算机该主张是事实还是观点的特定“信号”。例如，如果一个主张提到了某位著名的政治家，系统会成功找到关于该政治家职业生涯的摘要。但如果该主张实际上是关于那位政治家的一个笑话，那么关于其职业生涯的摘要可能无法明确说明这个笑话并非一个可验证的事实。计算机看到这些严肃的背景信息后，可能会误判该主张是可核查的。这揭示了一个微妙的缺陷：拥有正确的信息是不够的；信息必须以一种能够清晰凸显主张性质的方式呈现出来。
该团队还观察了这种早期信息收集是否可以在流程的后期发挥作用。他们将为检测阶段创建的摘要用于帮助另一个系统在另一个数据集上验证主张的真实性。令人惊讶的是，这种早期的上下文也对那个下游系统有所帮助，提高了其寻找真相的能力。这表明，用于决定一个主张是否可核查的工作，也可以作为证明其是否真实的基石。研究结论指出，虽然将外部知识引入事实核查的早期阶段是一个强大的工具，但它需要谨慎处理。系统不仅要检索事实，还必须确保这些事实以一种有助于计算机区分“什么是可以证明的”和“什么是不可证明的”的方式进行框架化处理。通过优化这些背景信息的收集和总结方式，自动化事实核查可以变得更加可靠，从而过滤掉噪音，并将人类和机器的力量集中在那些真正重要的主张上。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。