Illusions of the Gold Standard: A Large-scale Analysis of Human Evaluation Protocols for Long-form Text Generation
本文对长文本生成研究中的人工评估协议进行了大规模分析，揭示了近期计算语言学（CL）会议论文中普遍存在的关键方法论细节报告不足的问题，并为提高透明度和可复现性提出了具有操作性的建议。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，人工智能（AI）研究的世界就像一个繁忙、喧闹的建筑工地。每天，都有团队在建造新的“AI建筑师”（大语言模型），它们能够写长篇故事、回答复杂问题或起草法律合同。
在这个建筑工地上，有一个大家都认同的规则，即金标准（Gold Standard）：在你宣布一座建筑安全之前，必须有一名人类检查员走进去并说：“是的，这看起来不错。”用AI术语来说，这被称为人工评估（Human Evaluation）。
然而，一篇名为《金标准的幻象》（Illusions of the Gold Standard）的新研究表明，尽管大家都在使用这些人类检查员，但实际上没有人能把检查报告写得规范。
以下是该论文的研究结果，通过简单的类比进行解释：
1. “缺失的食谱”问题
想象一下，你请一位厨师烤一个蛋糕。你想知道它好不好吃，于是请一位朋友去品尝。
- 好消息是： 论文发现，大多数研究者确实告诉了我们他们让朋友品尝了什么（例如：“你喜欢这个巧克力味吗？”）。
- 坏消息是： 他们几乎从未告诉我们是如何询问的。
- 他们是否给朋友提供了一张带有说明的食谱卡？（仅约50%的论文说是）
- 他们是否为朋友的时间支付了报酬？（仅29%的论文说是）
- 他们是否检查了这位朋友是否真的在认真观察，还是仅仅在瞎猜？（仅6%的论文说是）
- 他们是否让朋友签署了一份声明，表示理解规则？（仅11%的论文说是）
如果没有这些细节，就像是根据一份只说“加点糖”却没说要加“多少”或“哪种糖”的食谱来烤蛋糕。你无法信任结果，因为你不知道测试是如何进行的。
2. 检查员的“秘密配方”
论文研究了这些“检查员”（人类标注员）究竟是谁。
- 谜团： 在许多研究中，研究者并没有说明他们的检查员是学生、专家还是互联网上的随机人员。
- 风险： 如果你请一位专业厨师来评判蛋糕，他们的品味可能与一个10岁的孩子不同。如果论文没有告诉你评委是谁，你就不知道这次“品尝测试”是否公平或存在偏见。
- 发现： 大多数论文（65%）甚至没有说明他们在哪里找到的评委。这就像一家餐厅说：“我们请了一些人来品尝我们的食物”，却没告诉你这些人是饿着的、饱了的，还是为了能说出食物美味而被收买的。
3. “神奇数字”的迷思
当研究人员决定询问多少人进行品尝测试时，他们通常选择一个感觉“对”的数字，而不是一个在数学上被证明准确的数字。
- 现实情况： 论文发现，零个研究者使用了名为“功效分析”（power analysis）的统计工具来确定合适的评委人数。
- 结果： 一些研究仅使用了10个人，而另一些则使用了超过23,000人。这就像一个人试图通过一个朋友来评价一部电影，而另一个人则询问了一整个体育场的人。由于缺乏衡量群体规模的标准方法，结果千差万别，且难以比较。
4. “金标准”正在崩塌
这是这个故事中最令人惊讶的转折：
- 转变： 随着AI变得越来越聪明，研究人员开始使用AI评委（计算机）来评估其他AI，而不是人类。他们使用人类的情况越来越少。
- 危险： 当人类被使用时，通常是为了检查AI评委做得是否出色（一种“元评估”）。
- 讽刺之处： 如果人类的“金标准”记录不全且缺乏一致性（正如论文所证明的那样），那么我们也无法信任AI评委。这就像试图用一个损坏的、未经校准的水银温度计来校准一个新的、高科技温度计。如果基础是不稳固的，整个建筑都面临风险。
论文的解决方案：“最小可行性报告”
作者并不是说“停止进行人工评估”。他们是在说：“如果你要做，请务必正确地记录下来。”
他们提出了一个简单的清单（包含20个项目），要求每篇论文都应包含的内容，例如：
- “这是我们给评委的指令。”
- “这是我们使用的评委人数以及他们是谁。”
- “如果两个评委意见不一，我们是如何处理的。”
他们认为，记录这些内容并不会占用太多篇幅，但它会让整个AI研究领域变得更加值得信赖。
总结
这篇论文是对AI界的一次警钟。它在说：“我们把人工评估当作一种魔术，观众只需要信任我们就行。但科学不是关于信任，而是关于证明。如果你想让你的AI成为金标准，你需要停止隐藏你测试细节的过程。”
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。