Do You Need a Frontier Model as a Citation Verifier? Benchmarking Rubric LLMs for Deep-Research Source Attribution

技术摘要：针对深度研究溯源的 LLM 基准测试评估量表

问题陈述
随着强化学习与可验证奖励（RLVR）成为缺乏程序化验证器任务（如医学建议、科学写作）的主导后训练范式，社区正依赖于 LLM 评判员（LLM judges）来为特定提示词的量表进行评分。这些评判员实际上充当了奖励模型，这意味着设计训练量表等同于设计操作化的目标。然而，一个关键的校准问题仍然存在：一个评判员需要具备多强的能力才能提供可靠的奖励信号，以及其内在的偏见如何影响下游训练？

虽然引用质量是深度研究系统中一个主要的目标，但现有工作尚未系统地测试现成的（通用型）LLM 作为针对引用特定量表任务的评判员。现有系统通常假设需要单个大型或专用模型，或者侧重于检索质量，而非评判员区分“相关来源”与“事实支持来源”的能力。目前对于更便宜、更小的模型是否能可靠地在达到前沿模型水平时完成闭环，特别是它们的定向偏见（例如：假阳性 vs 假阴性）如何以标量准确率指标所掩盖的方式塑造训练信号，仍存在理解空白。

方法论
作者引入了深度研究引用基准（Deep-Research Citation Benchmark），这是一个旨在压力测试引用质量评估的对抗性长文本数据集。

• 数据集构建： 该基准涵盖 25 个不同领域（如量子计算、历史学、生物学）。它始于清晰且带有属性标注的长文本摘要，其中约 60% 使用 19 种策略进行了对抗性编辑，以引入事实错误、无关来源或看似合理但不提供支持的引用。这产生了 624 个归因-引用对。
• 金标准标签（Gold Labels）： 一个由 6 个 LLM 评判员组成的委员会独立从两个维度对这些配对进行了评估：来源相关性（主题契合度）和事实支持（相对于来源的陈述真实性）。一名人类审核员验证了所有 1,248 个决策（624 个配对 × 2 个维度），并对委员会产生分歧的 378 个案例进行了裁定，从而创建了一个金标准数据集。
• 受评评判员： 本研究基准测试了来自三个家族（Anthropic、Google、OpenAI）的 8 个现成 LLM，范围涵盖低成本模型（如 GPT-OSS-120B、Gemini 3.1 Flash Lite）到前沿模型（如 Claude Opus 4.6、GPT-5-mini）。
• 指标： 除了标准的准确率（Pass-class F1 和 Cohen's $\kappa$）之外，作者还测量了对 RLVR 至关重要的定向偏见指标：通过率漂移（Pass-rate drift）、假阳性率（FPR）和假阴性率（FNR）。这些指标决定了评判员是系统性地过度奖励错误的引用，还是过度惩罚正确的引用。

关键结果

1. 成本 vs 性能： 廉价的评判员与前沿模型具有竞争力。
   • 来源相关性： GPT-5-mini（第三便宜的模型）获得了最高的 F1 值（0.908），超越了更昂贵的模型如 Claude Opus 4.6（F1=0.866）。
   • 事实支持： 没有单一模型具有统计学上的绝对优势。虽然 Claude Opus 4.6 拥有最高的点估计值（F1=0.750），但其 95% 置信区间与所有其他模型（包括最低成本的 GPT-OSS-120B，F1=0.649）均有重叠。
2. 定向偏见掩盖了标量指标： 具有相似 F1 分数的模型表现出了显著的偏见差异。
   • 大多数评判员在来源相关性方面比金标准更为严格，导致高精确率但中等召回率（系统性低估奖励）。
   • 在事实支持方面，假阴性率差异巨大（从 0.183 到 0.470），这意味着某些评判员拒绝了大量确实得到支持的陈述。
   • 作者指出，标量 F1 掩盖了这些不对称性，而这些不对称性至关重要，因为高 FPR 会训练模型去利用宽松的评判员，而高 FNR 则会训练模型过度谨慎或减少引用。
3. 分歧与困难案例： 在初始委员会产生分歧的 378 个“困难”案例中，排名发生了显著变化。没有单一的评判员能可靠地匹配人类裁定的标签，这表明全集 F1 是衡量在模糊引用上可靠性的不完整指标。

意义与主张
本文认为，校准评判员是使用引用量表作为 RLVR 奖励信号的前提条件。作者主张：

• 前沿模型并非严格必要： 最昂贵的可用模型并不占据性能优势，较便宜的模型可以在特定维度（如来源相关性）上取得相当或更优的结果。
• 偏见比原始准确率更重要： 选择评判员应由特定维度所需的定向偏见（例如：最小化假阴性 vs 假阳性）驱动，而非仅仅追求最大化标量 F1。
• 人类裁定至关重要： 由于评判员排名在模糊案例中会发生偏移，且没有单一模型在困难实例上是完全可靠的，因此必须通过人类审查分歧来建立稳健的金标准标签。

研究结论指出，虽然低成本评判员可以有效地完成闭环，但选择评判员必须是一个基于每维度量表契合度和偏见特征的刻意设计过程，而不是默认认为更大的模型更优。