SourceMinds at CheckThat! 2026: NLI-Grounded Citation Auditing in a Multi-Agent Pipeline for Full Fact-Checking Article Generation

侦探的困境：为什么我们需要更好的事实核查机器人

想象一下，互联网是一个庞大而混乱的图书馆，任何人都可以从书架间大声喊出一个“事实”。这些喊叫声有时是真的，但往往是狂野的猜测、半真半假的传闻或彻头彻尾的谎言。长期以来，计算机一直擅长玩一种简单的“对或错”游戏。它们扮演着裁判的角色，为真相举起绿旗，为谎言举起红旗。但在现实世界中，仅仅一个简单的“错误”是不够的。如果有人散布谣言，我们不想要的只是裁判的哨声；我们想要的是一个完整的侦探故事。我们需要知道它为什么是错的，证据究竟说明了什么，以及到底是哪一页报纸证明了骗子是错的。这就是“事实核查文章生成”所面临的挑战。这不仅仅是寻找答案，而是要写出一个清晰、可信的故事，将主张与证据连接起来，并引用每一个来源，这样就没人能说：“你从哪儿得来的？”

这就是“SourceMinds at CheckThat! 2026”这篇论文所探讨的内容。作者们——来自北德克萨斯大学的一个团队——意识到，要求一台超级智能的计算机通过一次性的大跨步来写完一整篇事实核查文章，往往会导致混乱的结果。计算机可能会编造内容或忘记引用其来源。因此，他们构建了一个数字专家团队——一个“多智能体流水线（multi-agent pipeline）”来分步处理这项工作。他们没有让一个机器人试图同时完成所有事情，而是创建了一个工作流：一个机器人寻找线索，另一个组织计划，第三个撰写草稿，而最后一个“审计员”则检查每一处引用，以确保故事站得住脚。他们的目标不仅是写得更快，更是要写得更好，确保最终文章中的每一句话都有真实的、可验证的来源作为支撑。

数字侦探团队

论文描述了一个名为 SourceMinds 的系统，旨在解决一个非常具体的问题：如何将一个混乱的主张、一个结论（如“错误”）和一堆证据文档转化为一篇简洁、专业的实事核查文章。作者们认为，完成这项任务的最佳方式是将过程分解为一场接力赛，由不同的“智能体（agents）”（专门的计算机程序）互相传递接力棒。

第一步：证据猎人
首先，系统必须找到正确的线索。想象一下，你在一个拥有数千本书的图书馆里寻找一段特定的引文。如果你只是抓取前几本看起来相似的书，你可能会错过最好的那本。SourceMinds 团队使用了一个“密集检索（dense retrieval）”智能体，它就像一个理解词汇含义而非仅仅是拼写的图书管理员。它扫描证据文档并找到最相关的句子。但它并未止步于此，它还使用了一个“重排序器（reranker）”来复核最佳匹配项，并使用一个“来源平衡选择器（source-balanced selector）”来确保它不会仅仅从同一个网站中挑选十条引文。它需要一个多样化的来源团队，以确保证据不会偏向于单一的声音。

第二步：建筑师（事实规划器）
一旦收集到线索，系统并不会直接开始写作。那就像是在没有蓝图的情况下盖房子。 “事实规划器（Fact Planner）”智能体会获取选定的证据并创建一个结构化的 JSON 计划。可以将其想象成建筑师绘制的平面图。它决定主要论点是什么，列出支持点，并记录任何“注意事项（caveats）”（即如果证据与结论不完全匹配时的警告）。至关重要的是，如果证据薄弱，规划器被编程为承认这一点，而不是为了让故事符合逻辑而捏造虚假理由。

第三步：记者（文章撰写者）
拿着蓝图， “文章撰写者（Article Writer）”智能体介入了。这个智能体扮演着专业记者的角色。它的任务是撰写一篇 250 到 450 字的文章，解释该主张，陈述结论，并引导读者了解证据。这里的规则非常严格：每一个事实性的句子都必须带有“引用”，形式如 (source: URL)。这就像学生写研究论文，每一项主张都必须有脚注。撰写者被告知只能使用证据索引中提供的 URL，以防止其编造虚假来源。

第四步：编辑（自我批判）
在文章付梓之前，它会经过一个“门控式自我批判（gated self-critique）”。这是一个只有在草稿看起来可疑时才会苏醒的聪明编辑。系统会检查草稿：它是否有至少三个引用？它是否使用了至少两个不同的来源？如果草稿看起来“缺乏根据（weakly grounded）”（即缺少证据），编辑就会开始工作。它会逐句阅读文章。如果一个句子提出了主张，但引用实际上并不支持它，编辑就会重写该句子或更换一个更好的引用。如果草稿已经足够好，编辑则会跳过工作以节省时间。这一步确保了文章不仅仅是看起来有来源，而且这些来源确实能支撑起文字内容。

第五步：审计员（NLI 引用审计员）
最后，“NLI 引用审计员（NLI Citation Auditor）”进行严格的自动化背景调查。该智能体使用了一种称为“自然语言推理（Natural Language Inference, NLI）”的技术。想象一下一个逻辑测试，计算机会问：“如果这个证据是真的，是否意味着这句话也必然是真的？”审计员进行三轮检查：

1. 清理： 它会剔除任何指向不在原始证据列表中的 URL 的引用。
2. 修复： 如果一个句子没有引用，审计员会寻找最匹配的证据，并且只有在证据在逻辑上证明该句子时，才会附上引用。
3. 修剪： 如果一个句子有太多引用，审计员会移除冗余的引用，仅保留核心来源。

他们的发现

团队在官方的 CLEF 2026 CheckThat! Lab 测试集上测试了他们的系统，该测试集包含 1,158 个主张，每个主张平均有 7.8 篇证据文章。他们将 SourceMinds 多智能体流水线与标准基准系统进行了对比。

结果既有成功，也有对未来的明确启示。SourceMinds 系统实现了 0.329 的平均分，超过了基准系统的 0.272。作者认为，将任务分解为专门阶段确实有所帮助。具体而言：

• 证据覆盖率（Evidence Coverage）： 系统得分 0.394，是所有指标中最高的。这意味着系统非常擅长寻找相关证据并将引用分布在不同的来源中，而不是仅仅依赖单一文档。
• 引用质量（Citation Quality）： 与基准系统（分别为 0.223 和 0.240）相比，系统在 引用精确度（0.337） 和 引用召回率（0.339） 方面有了显著提升。这表明“撰写者”和“审计员”智能体很好地协作，确保了引用的存在及其必要性。

然而，论文也强调了一个显著的瓶颈。蕴含得分（Entailment Score）——衡量生成的文章是否真正符合参考答案的逻辑和推理——是最低的得分，仅为 0.245。事实上，这是唯一一个他们的系统得分低于基准系统（0.298）的指标。

作者通过指出，拥有一个引用并不保证故事是正确的来解释这一差距。一个句子可以有一个看起来完美的引用，如 (source: example.com)，但仍然可能误传该网站实际表达的意思。该系统擅长在句子后贴标签，但在构建连接证据与最终结论的深层逻辑论证方面仍显吃力，无法像人类专家那样思考。论文指出，虽然“逐句验证”很有帮助，但下一个重大挑战是改进“证据与主张的一致性（evidence-to-claim alignment）”——即确保整个故事是有意义的，而不仅仅是单个部分有意义。

总结

SourceMinds 团队得出结论，他们的多智能体流水线是一种极具前景且模块化的事实核查文章生成方式。它证明了你不需要从头开始训练一个庞大的专门化机器人；相反，你可以使用一个轻量级的专门化智能体团队来获得更好的结果。该系统在选择正确证据以及生成具有良好引用和可追溯性的文章方面非常有效。然而，较低的蕴含得分表明，事实核查的“魔力”不仅仅在于寻找来源，更在于如何将它们编织成一个连贯、逻辑严密的叙事。作者建议，未来的工作应侧重于更好的推理阶段，以弥合“拥有引用”与“讲述完整真相”之间的差距。