DS@GT ARC at CheckThat! 2026: LLM-Based Trace Ranking and Grouped Reward Modeling for Multilingual Numerical Claim Verification
本文介绍了用于 CheckThat! 2026 的 DS@GT ARC 系统，该系统证明了在多语言数值声明验证中，基于大语言模型（LLM）且采用 Best-of-N 选择机制的验证器优于轻量级的 TF-IDF 奖励模型，同时也表明 AraBERT 在阿拉伯语方面超越了多语言基准模型，并且子声明分解未能提升性能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，互联网就像一座巨大且混乱的图书馆，任何人都可以编写书籍，而有些书里却充满了谎言。在这个数字时代，虚假故事传播的速度比高中走廊里的流言蜚语还要快，它们通常躲在一堆数字和日期的围墙后面，让它们看起来极其严肃。这就是“事实核查”的世界——在这个领域，科学家们试图构建机器人侦探，来分辨真相与虚构。但棘手之处在于：当一个谎言包含了一个具体的数字时——比如“50%的人做了这件事”——它会让我们的脑部感觉更加真实，即便它是编造的。这被称为“数字真实效应”。为了捕捉这些狡猾的谎言，我们需要不仅能阅读文字，还能进行数学运算并检查日期的计算机，而这项技能一直以来都是机器难以掌握的。
现在，想象一支来自佐治亚理工学院的研究团队正进入一场名为“CheckThat!”的高水平竞赛，目标是打造终极事实核查机器人。他们的任务是什么？是创建一个能够验证关于数字和日期之陈述的系统，且该系统需同时支持英语和阿拉伯语。但他们并不只是想要一个只会猜测“真”或“假”的机器人。他们希望机器人能够观察一堆不同的推理路径（就像不同的侦探在撰写各自的案情报告），并从中挑选出最佳的一条路径来做出裁决。把它想象成一位法官，他不仅想要一个判决结果，还希望看到最严密的法律论证，以确保决策是稳固可靠的。
这个被称为 DS@GT 的团队尝试了两种截然不同的策略来解决这个谜题。第一种方法就像雇佣了一位博学多才的超级侦探（大语言模型），并为它进行了一次专门的培训，学习如何给其他侦探的工作打分。他们使用了一种叫做“LoRA”的技术，这就像是给这位侦探一套专门的荧光笔，让他能够专注于案件中最重要的部分，而无需重写整个大脑。他们甚至尝试先将宏大、复杂的陈述拆解成更小的、易于消化的碎片，希望能让这项工作变得更容易。
第二种方法则更像是一位机敏的快速图书管理员。他们没有构建一个超级智能的侦探，而是建立了一个轻量级的工具，用于寻找特定的模式，比如计算陈述、证据和推理之间有多少个数字或日期相匹配。这是一个“奖励模型”，它会为匹配的数字加分，并对不匹配的情况进行惩罚，然后对结果进行分组，以查看哪个结论拥有最多的支持。
那么，他们发现了什么？“超级智能侦探”（大语言模型方法）最终成为了全能冠军，尤其是在快速找到正确的推理路径方面。它在大多数情况下都能更好地识别出正确答案。然而，“机敏的图书管理员”（奖励模型）拥有一个秘密超能力：在处理那些证据在“真”与“假”之间摇摆不定的混乱案例时，它表现得异常出色，研究人员将这类情况称为“冲突”。
有趣的是，团队关于将大陈述拆解成小碎片的想法并没有如预期般奏效。这种做法不仅没有让工作变得更容易，反而增加了噪音，就像试图通过把拼图碎片切得更碎来解决谜题一样，反而让事情变得更混乱。对于阿拉伯语部分的挑战，他们发现使用专门针对阿拉伯语训练的模型（AraBERT）要比使用通用的多语言模型好得多，这证明了有时专家确实比通才更胜一筹。
最后，论文指出，虽然大型智能 AI 模型目前是最好的全能事实核查者，但在处理最具歧义和最棘手的陈述时，我们不应忽视简单模式匹配工具的价值。他们并没有彻底解决虚假信息问题，但他们为我们提供了一份更清晰的地图，告诉我们什么样的工具最适合应对哪种类型的谎言。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。