Evidence Lock Before Commitment: A Frozen Interface Degrades LLM-as-Judge Evaluation
本文证明了“证据锁定”（evidence locking）——即一种要求 LLM 评判员在做出最终裁决前，先通过单独的调用来提取并持久化证据的工作流——与结构化单次调用评判相比，会通过降低与人类偏好的对齐度以及增加答案顺序的不一致性，从而显著降低评估性能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你是一名试图破解谜团的侦探，但你并不是亲自去查看犯罪现场，而是被迫阅读一份由他人撰写的警察报告。你必须完全基于这份书面总结来决定谁是罪犯。这就是“AI 法官”的世界。在人工智能领域，我们经常要求聪明的计算机模型充当裁判，决定两个答案中哪一个更好。通常情况下，这些 AI 法官会同时观察原始答案和问题，然后迅速做出判断。但最近，出现了一个流行的新想法：“让我们让 AI 先写下它的理由！”人们希望，如果 AI 在做出选择之前必须先解释其思考过程并收集证据，那么它会更加公平、更有逻辑，也更难被欺骗。这就像要求一名学生在给出数学考试成绩之前，先展示他们的解题步骤。但是，如果这些书面的“过程”实际上并不足以解决问题呢？如果“冻结”那份书面笔记并丢弃原始答案的行为，反而让 AI 变得更不擅长处理任务呢？
这篇题为《承诺前的证据锁定》（Evidence Lock Before Commitment）的论文，正是深入探讨了这样一个问题。研究人员，来自佛罗里达大学的 Divyansh Singh，想要测试一种许多人正开始使用的特定工作流。他们问道：如果我们强迫 AI 在一个步骤中写下它的证据，保存那份笔记，然后仅将那份笔记交给第二个步骤来做出最终决定（而不让它再次看到原始答案），它是否仍能做出明智的选择？他们使用两个非常聪明的 AI 模型——Claude Sonnet 4.5 和 GPT-5，在 24,000 个不同的评判场景中进行了测试。
结果令人有些震惊。研究人员发现，这种“证据锁定”方法实际上让 AI 法官的表现变差了。当 AI 被迫只能依赖于它冻结的笔记时，它与人类偏好的一致性比能够直接查看原始答案时降低了 4 到 6 个百分点。它还更容易受到答案呈现顺序的影响，变得不一致的情况增加了 8 到 10 个百分点。有趣的是，如果只是要求 AI 在仍然能看到原始答案的同时写下证据（一种“结构化单次调用”方法），效果就很好。问题不在于写作，而在于“锁定”。通过冻结证据并切断对源材料的访问，AI 失去了观察全局的能力。论文表明，虽然保留书面记录对于审计和后期检查非常有益，但不应在做出最终决定时用它来取代原始素材。这种“冻结界面”降低了裁决的质量，证明了有时你确实需要亲眼观察犯罪现场，而不仅仅是阅读一份报告。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。