CREDENCE: Claim Reduction for Decomposition & Enhanced Credibility - Semantic Metrics and Convergence Analysis
本文介绍了 Credence，这是一个将基于词元重叠（token-overlap）的指标替换为基于语义相似度评估（Semantic-F1）的断言分解框架，并为修复流水线提供了形式化收敛保证，证明了其在多个领域和模型中在分解准确性和事实核查可靠性方面的显著提升。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在数字时代，机器正越来越多地被赋予验证新闻文章、社交媒体帖子和官方报告中陈述真实性的任务。这一被称为“自动化事实核查”的领域，依赖于计算机阅读一个主张，搜索证据，并判断该陈述是真是假。然而，存在一个根本性的障碍：人类语言很少是简单的。一个句子往往会将多个不同的事实捆绑在一起，例如一份报告指出一位领导人宣布了一项新政策，且失业率随后下降。对于计算机来说，这是一个纠缠在一起的结。如果机器试图同时验证整个句子，它往往会失败，因为证据可能支持政策宣布，但却与经济数据相矛盾。为了成功，机器必须首先拆解句子，将其分解为最小的、独立的知识片段。这个过程被称为“主张分解”（claim decomposition）。多年来，研究人员一直难以衡量计算机执行这项任务的效果。用于评判这些系统的标准工具存在缺陷，经常因为计算机使用不同的词汇表达相同的意思而对其进行惩罚，而且用于修复错误的方法未经证实，有时会导致输出结果在变好之前变得更糟。
来自越南的一个研究小组推出了一种名为 CREDENCE 的新框架来解决这些特定问题。他们的工作侧重于两个主要的改进：一种更好的衡量拆解后句子质量的方法，以及一种更可靠的在计算机陷入困境时修复错误的方法。研究人员认为，旧的评分系统过于僵化。它们依赖于计算计算机答案与人类答案之间有多少词汇重叠。这种方法在计算机正确识别了一个事实但使用了不同的措辞时（例如将“他”改为全名“阿尔伯特·爱因斯坦”）就会失效。旧系统会将此标记为失败，因为词汇并不匹配，尽管其含义是完全相同的。新的框架用一种理解句子含义的系统取代了这种计数方法。通过分析文本的语义本质，新的指标可以识别出两个不同的句子传达了相同的真理，从而让计算机因其理解能力而获得认可，而不是因其词汇量而受到惩罚。
除了仅仅是评分之外，该团队还解决了修复错误过程中混乱的过程。此前，系统经常会陷入一个循环：计算机尝试修复一个错误，却引入了另一个新错误，从而产生一种退化的循环。研究人员对这种修复过程应用了形式化分析，从数学上证明了特定类型的基于规则的修复总能使系统向正确答案迈进，并最终停止。他们还证明，当计算机尝试使用更先进的语言模型来修复自己的工作时，有时会让情况变得更糟。为了防止这种情况，他们建立了一个安全机制，规定除非初始的简单规则失效，否则不会让计算机尝试自我修复。这确保了系统不会过度修正并破坏一个好的答案。
该团队在包括社交媒体帖子、百科条目和新闻文章在内的各种文本上测试了他们的新框架。他们将自己的系统与几种现有模型进行了对比，这些模型涵盖了从小型开源程序到强大的商业人工智能系统。结果显示，与旧方法相比，他们的新评分系统能为正确的分解给出更高且更准确的分数，改进幅度在 15 到 32 个百分点之间，具体取决于数据集。在实际操作中，这意味着该系统在识别计算机是否成功拆解复杂句子方面表现得更为出色。此外，当他们应用修复过程时，仍包含多个事实的句子数量显著下降，通常减少了近一半或更多，且没有丢失任何重要的细节，如姓名、日期或数字。
或许最重要的一点是，研究人员展示了这种改进后的分解直接有助于最终的目标——事实核查。当他们将拆解干净的句子输入到验证系统中时，真相核查的准确性得到了显著提升，尤其是在多个事实经常捆绑在一起的复杂科学主张方面。在一次涉及科学断言的案例中，准确率跃升了近 26 个百分点。研究还揭示了一个有趣的细微差别：虽然最强大的商业模型在拆解句子方面已经非常出色，但新的框架对于小型本地模型达到同等水平的表现至了一种必要的支撑。通过使用一种仅在必要时应用修复的条件式方法，该系统既保留了高级模型的优质特性，又提升了小型模型的性能。
研究人员还发布了三套新的测试数据集，以帮助社区在未来评估此类系统。这些数据集涵盖了不同的写作风格，从社交媒体的随性语言到新闻报告的正式结构，确保这些工具能在多样化的人类交流领域中发挥作用。虽然这项工作并不声称解决了自动化事实核查中的所有问题，但它为下一代真相验证工具提供了一个坚实的、具有数学依据的基础。通过修复我们衡量成功的方式以及我们纠正错误的方式，CREDENCE 框架为机器如何在复杂的的信息世界中可靠地分辨真伪提供了清晰的路径。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。