State-of-the-Art Claims Require State-of-the-Art Evidence
本文认为，人工智能研究中的“最先进”主张往往缺乏基准证据支持，因为总体分数的提升通常依赖于异常值而非一致且稳健的优越性，因此需要更诚实、更精确地报告模型性能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
以下是用通俗易懂的语言和日常类比对论文《最先进的声明需要最先进的证据》的解释。
核心问题：“班长”幻觉
想象一所高中，学生们正在竞选班长。为了决定获胜者，校长将每位学生在所有科目（数学、历史、艺术、体育、科学）的成绩相加，得出一个“总分”。
在人工智能（AI）领域，研究人员的做法如出一辙。他们让 AI 模型在许多不同任务上接受测试（如编写代码、回答历史问题或识别照片中的猫），将各项得分相加，并宣布总分最高的模型为**“最先进”（SOTA）**冠军。
这篇论文指出，这是一个陷阱。 仅仅因为一个学生的总分最高，并不意味着他在所有方面都是最棒的。他可能是数学天才但体育极差，而另一个学生则各项“尚可”。论文认为，将总分获胜者称为“最佳”，就像给某人颁发奖杯，仅仅因为他在几门简单的课程中得了满分，哪怕他在难课上不及格。
“获胜者”可能是巧合的三种方式
作者考察了 10 个不同的 AI“排行榜”（就像班长竞选的记分牌），发现超过一半的情况下，被宣布的获胜者并非真正的冠军。他们使用了三个简单的测试来检查胜利是真实的还是仅仅是运气：
1. “获胜幅度”测试（量级）
- 类比： 想象两名跑步者。A 选手用时 10.00 秒，B 选手用时 10.01 秒。A 选手真的显著更快吗？还是这种差异仅仅是风、松开的鞋带或起跑不佳造成的？
- 论文发现： 通常，“获胜”的 AI 模型仅比第二名略好一点点。差异微乎其微，可能只是随机噪声。然而，研究人员仍声称获胜者“更优越”，忽略了差距实际上几乎不可见。
2. “一致性”测试（胜率）
- 类比： 想象一名篮球运动员，在一场比赛中得了 100 分，但在接下来的五场比赛中投丢了每一个球。如果你计算他们的平均得分，他们看起来像个明星。但如果你问：“他们赢得了大多数比赛吗？”答案是否定的。
- 论文发现： 许多“获胜”的 AI 模型实际上在超过一半的具体测试任务上输掉了。它们之所以赢得总体排名，仅仅是因为在一两个特定任务上获得了巨大分数，从而拉高了平均分。它们并非一致的赢家，而是碰巧赛程安排对其有利的专家。
3. “脆弱性”测试（稳定性）
- 类比： 想象一座叠叠乐（Jenga）塔。如果你只需抽出一块积木，整座塔就倒塌了，那么这座塔就是脆弱的。
- 论文发现： 论文发现，对于许多 AI 模型，如果你从排行榜中移除一两个特定的测试问题（数据集），“获胜者”会突然跌至最后一名。这意味着它们的“冠军”地位完全取决于少数几个特定问题。如果你稍微改变测试内容，排名就会完全反转。
“声明与证据的差距”
作者将这种现象称为声明与证据的差距。
- 证据： 数据显示某模型“平均分第一”。
- 声明： 论文声称“该模型是最先进的（有史以来最好的）”。
论文认为，“最先进”意味着模型具有鲁棒性、一致性且实质性地更优越。但证据往往仅支持“该模型在今天的这份特定测试列表中拥有最高的平均分”。
为什么这种情况会持续发生？
论文指出，这并不是因为研究人员不擅长数学。这是一个体制性问题。
- 压力： 会议和期刊喜欢大胆的标题。一篇题为“我们的模型平均分第一”的论文听起来很无聊。“我们的模型是新的最先进！”听起来令人兴奋，能获得更多引用。
- 现状： 每个人都在这样做，所以没人停下来。这就像一场每个人都在跑步机上跑步的游戏；如果你停下来检查速度，就会落后。
解决方案：诚实报告（无需新实验）
好消息是，我们不需要发明新的 AI 模型或运行昂贵的新测试来解决这个问题。我们只需要改变我们描述结果的方式。
与其说：
“我们的模型是最先进的！”
作者建议说：
“我们的模型在该基准测试中取得了最高的平均分，但它仅在 60% 的任务中获胜，且如果我们移除两个特定数据集，其领先优势就会消失。”
核心要点：
论文呼吁 AI 界停止将单个平均数视为全面优越的证明。就像你不会因为一个学生在一门简单的考试中得了满分就称其为“全校最聪明的学生”一样，我们也不应仅仅因为一个 AI 在摇摇欲坠的排行榜上拥有最高平均分就称其为“最佳”。我们需要用诚实、详细的证据来匹配我们大胆的声明。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。