Verifying the Verifiers: Unveiling Pitfalls and Potentials in Fact Verifiers
本研究评估了 14 个基准测试中的 13 个事实验证模型，结果表明数据集标注错误显著扭曲了排名，少样本前沿大语言模型（LLMs）的表现优于专门的验证器，且小型微调模型可以通过合成的多跳数据来增强复杂推理能力。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你雇佣了一支“事实核查员”团队，负责验证一群非常聪明但有时会犯糊涂的机器人（大语言模型）所讲述的故事是否属实。你想知道哪位“事实核查员”的工作做得最好。
这篇论文就像是对这些“事实核查员”进行的一次质量控制审计。研究人员不仅运行了测试，他们首先意识到测试题目本身很混乱，指令模糊，且评分系统需要进行彻底的改革。
以下是他们三大发现的简要说明：
1. 测试题目出错了（“烂苹果”问题）
问题所在： 在开始对“事实核查员”进行评分之前，研究人员查看了他们使用的 14 个不同的“题库”（数据集）。他们发现，大约有 16% 的题目要么逻辑混乱，要么答案解析写错了。
- 类比： 想象一场数学考试，老师不小心把“2 + 2 = 5”写成了正确答案。如果一个学生回答“4”，他会被判错，尽管他是对的；而那个猜“5”的学生看起来却像个天才。
- 他们做了什么： 他们构建了一个流水线，利用其他 AI 模型充当“侦探”。这些侦探标记出了那些令人困惑的问题和错误的答案。随后，他们创建了一个全新的、干净的测试集 CLEARFACTS（其中答案已修正），以及一个专门存放“陷阱题”的文件夹 GRAYFACTS。
- 结果： 当他们在干净的测试集上重新运行排名时，排行榜发生了彻底的变化！一个在混乱测试中看起来像是赢家的轻量化、专业化“事实核查员”，在干净的测试中竟然落后于那些庞大且强大的模型。这证明了糟糕的数据会误导我们，让我们误以为错误的模型才是最好的。
2. “小抄”被忽视了（“少样本”惊喜）
问题所在： 在以往的研究中，研究人员大多让“事实核查员”在没有任何提示的情况下（Zero-shot，零样本）回答问题，即只给出问题并要求给出答案。他们忽略了这样一个事实：如果先给模型一些例子，它们的表现会好得多。
- 类比： 想象你让一名学生在没有任何帮助的情况下写一篇关于“罗马历史”的论文，他们可能会感到吃力。但如果你说：“这里有三个如何写好历史论文的范例，现在轮到你了，”他们的表现就会大幅提升。
- 他们做了什么： 他们给顶尖模型（“前沿”模型）提供了一份包含九个范例的“小抄”，然后再让它们进行事实核查。
- 结果： 这个简单的技巧让最好的模型变得更强了。事实上，表现最好的选手是一个使用了这份“小抄”的巨型模型 (o1)。 研究人员是在说：“别再忽视这份‘小抄’了！如果你想知道谁才是真正的‘事实核查员’，你必须通过示例来测试它们，而不是只用冷冰冰的问题。”
3. 小模型需要针对“硬核谜题”进行专门训练
问题所在： 大模型在各方面都很擅长，但运行成本很高。小型、高效的模型虽然便宜，但在面对需要复杂、多步推理（例如跨越不同文档进行逻辑关联）的事实时，往往会出错。
- 类比： 把小型“事实核查员”想象成一名初级侦探。他们擅长处理简单的案件，比如“约翰去商店了吗？”但如果案件变成了“约翰去商店了吗，买了票，然后去公园见莎拉了吗？”（这需要连接三个不同的信息点），初级侦探就会迷失方向。
- 他们做了什么： 研究人员创建了一个特殊的“合成谜题”训练集。他们利用 AI 生成了数千个需要这种复杂、多步推理能力的虚拟案例，并利用这些谜题来训练这个小型模型。
- 结果： 该小型模型在解决这类难题的能力上有了显著提升。它并没有失去处理简单任务的能力，只是学会了如何应对复杂的任务。这表明，你并不需要一个庞大、昂贵的模型才能成为优秀的“事实核查员”；你只需要在正确类型的困难数据上训练那个小型模型即可。
总结
这篇论文告诉了我们三件事：
- 先修复你的数据： 如果你的测试题目是坏的，那么你的排名就是谎言。
- 使用示例： 最好的模型如果先看到如何完成任务的示例（Few-shot prompting），其表现会惊人地出色。
- 在难题上训练小模型： 通过在复杂的推理谜题上进行专门训练，可以让廉价的小型“事实核查员”变得非常强大。
作者发布了他们的干净数据、代码以及训练好的模型，以便其他人能够停止使用这些“坏掉的测试”，转而构建更好的“事实核查员”。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。