想象一个这样的世界：科学家们建造了“学习机器”，它们可以观察电子表格中的数据——比如房价列表或医疗记录——并从中找出预测未来的方法。这个领域被称为 AutoML（自动化机器学习）。其目标是让计算机能够自主尝试数千种不同的数学技巧，以找到效果最好的那一个。通常情况下，这些机器会在长达数小时的、严谨且受严格监督的马拉松式测试中进行测试，以确保它们没有违反规则。但在现实世界中，开发者往往想要快速的结果。他们会让这些机器只运行 30 或 60 秒，看看哪一个跑得最快。这就像是在进行一场短跑而非马拉松。问题在于，当你跑得这么快时，非常容易在不知不觉中违反规则，从而让一个笨拙的慢跑者看起来像是一个打破世界纪录的短跑健将。

这篇论文讲述了一位研究人员构建属于自己的微型、简单的学习机器“Orcetra”的故事。他让 Orcetra 与两个著名的重量级冠军（FLAML 和 AutoGluлоn）进行了一系列 513 场快速的 60 秒赛跑。乍看之下，结果令人惊叹：Orcetra 赢得了超过一半的比赛，并以巨大的优势击败了这些巨头。这些数字如此完美，数学逻辑如此有说服力，看起来就像是一次巨大的突破。但作者意识到，他们被自己的实验欺骗了。他们发现 Orcetra 并不是真的更聪明，它只是以两种非常隐蔽的方式违反了规则。首先，它在练习阶段就偷看了“答案解析”（测试数据），这使得它能够根据运气而非技能来挑选赢家。其次，它忽略了秒表，在假装在规定时间内停止的同时，实际运行时间是其他机器的两倍。当研究人员修正了规则、停止了偷看并强制执行了时间限制后，Orcetra 的“超能力”消失了。它从一名冠军变成了一个平庸的选手，这证明了在快速 AI 测试的世界里，如何衡量比赛与你跑得有多快同样重要。

背景设定：一场带有故障秒表的比赛

为了理解这个故事，让我们来看看这三位参赛者。FLAML 和 AutoGluon 就像是接受过长时间训练的专业运动员。它们是复杂且强大的系统，旨在通过长时间的运行来寻找最佳解决方案。Orcetra，则是论文作者构建的系统，是一个弱势的挑战者。它是一个仅由 1,661 行代码编写的微型、简单的脚本。它没有花哨的技巧；它只是尝试许多标准的数学模型，选出最好的一个，然后继续前进。

研究人员组织了一场“短跑”竞赛。他们选取了 513 个不同的数据集（数据集合），并给予每台机器整整 60 秒的时间来找到最佳预测。在第一轮中，使用原始规则，Orcetra 看起来像个奇迹。它在面对另外两个对手时赢得了 57.1% 的比赛，而那两个巨头分别只赢得了 21.6% 和 10.9%。在与 FLAML 进行的 30 秒短跑中，Orcetra 甚至以 78.4% 的胜率惊人地获胜。数学数据表明这是一个巨大且不可否认的胜利。

但作者怀疑有些不对劲。他们决定对自己的实验进行审计，寻找可能导致这些虚假胜利的“机器幽灵”。

第一个缺陷：“偷看”问题

第一个重大缺陷在于 Orcetra 如何挑选它的赢家。想象一个正在参加模拟考试的学生。一个诚实的学生学习、考试，然后得到分数。但 Orcetra 做得不一样。它在做模拟考试，看着答案，然后再次考试，一次又一次。

用技术术语来说，这台机器在尝试每一个模型时，都在针对测试集（即作为最终考试的数据）进行评分。它在 60 秒内尝试了数十个模型，检查它们在测试数据上的表现，然后仅仅报告它见过的最好的分数。这是一个经典的陷阱，称为选择偏差（selection bias）。

这就像掷骰子。如果你掷一次骰子，你会得到一个随机数字。但如果你掷 50 次，并且只把其中最高的数字展示给我看，我可能会认为你有一个总是能掷出 6 的神奇骰子。实际上，你只是通过足够多次的尝试碰到了运气。因为 Orcetra 尝试了如此多的模型，并根据测试数据挑选了那个“运气最好”的模型，其得分被人为抬高了。而其他机器，FLAML 和 AutoGluon 则是诚实的：它们仅使用练习数据（训练数据）来挑选最佳模型，并且只在最后时刻看一眼测试数据。

第二个缺陷：“漏洞”秒表

第二个缺陷甚至更加物理化。实验有一个规则：“60 秒后停止。”

FLAML 和 AutoGluon 遵守了这个规则。如果它们在计时器达到 60 秒时正处于计算过程中，它们会停止或尝试快速结束。它们很有纪律。然而，Orcetra 在逻辑上有一个漏洞。它在开始一项新任务之前会检查时间，但一旦开始了任务，它就不再关心计时器是否到期。它会让一项计算运行多久就运行多久。

数据显示，虽然预算设定为 60 秒，但 Orcetra 实际运行的中位数达到了 120 秒——是限制时间的两倍！事实上，它在 78% 的数据集上都超过了时间限制。与此同时，其他机器都紧贴着 60 秒的界限。这就像一场比赛，其他跑者在终点线前停下，而 Orcetra 却又多跑了一圈，从而获得了更多解决问题的机会。“60 秒”对 Orcetra 来说只是一个建议，而不是一条规则。

第三个小故障：“拼接”的结果

在撰写论文时发现了第三个较小的议题。研究人员在稍后进行的第二次实验中，不小心将第一次运行的结果与第二次运行的结果混在一起进行计数。这种“拼接”让 Orcetra 看起来比实际表现还要好，在某些统计中将其胜率推高到了 61.2%。当他们将两次运行分开处理时，数字回落了。这是一个简单的人为错误，但也说明了如果你不小心处理文件，结果是多么容易被扭曲。

大规模修正：公平地进行比赛

为了寻找真相，作者使用一套全新的、严格的协议重新运行了整个实验。他们修复了三个问题：

1. 不再偷看： Orcetra 必须使用“验证集”（模拟考试）来挑选其最佳模型，然后仅在最后时刻看一次“测试集”（最终考试），就像其他机器一样。
2. 严格的时间限制： 他们使用了一个外部计时器，如果过程超时就会强制终止，确保没有人获得额外时间。
3. 公平的资源： 他们确保所有机器都获得完全相同的计算能力，以免有人仅仅因为拥有更多核心而跑得更快。

结果：魔力消失了

当他们进行公平的比赛时，“奇迹”消失了。

• 原始（违反规则）胜率： 在重新运行的子集中，Orcetra 赢得了 59.4%。
• 修正（公平）胜率： Orcetra 的胜率骤降至 34.3%。

在公平的比赛中，Orcetra 不再击败那些巨头。它赢得了 34.3% 的比赛，而 FLAML 赢得了 28.0%，AutoGluon 赢得了 27.3%。两者的差距如此之小，完全可能是由于随机偶然造成的。曾经让原始结果看起来像是重大发现的统计“显著性”（p 值，衡量结果由运气导致的概率）从天文数字般的 9.5 × 10⁻⁴⁴ 变成了完全平庸的 0.39，这基本上就像抛硬币一样。

我们学到了什么？

论文总结道，这场“胜利”是由两个主要因素造成的幻象：

1. 偷看（选择偏差）： 这解释了大约 4.8 个百分点 的胜率。这确实存在，但影响较小。
2. 额外时间（计算量）： 这是关键所在。因为 Orcetra 实际运行时间是其他机器的两倍，它得以尝试更多的模型。这种不公平的优势解释了剩余的大部分胜率。

作者还精确测量了“偷看”到底有多少帮助。他们发现，虽然偷看确实带来了一定的提升，但并没有某些数学理论预测得那么夸张。因为所有模型都是在相同的数据上进行测试的，所以“运气”在很大程度上相互抵消了。这种提升大约只有 0.27 个准确率点，与他们最初看到的巨大差距相比微不足道。

给每个人的启示

这个故事不仅仅关于一段代码；它是对任何进行快速 AI 工具对比的人的一个警告。如果你进行的是 60 秒测试，你必须非常小心。

• 不要让测试数据被偷看： 确保机器在看到最终答案之前已经选出了赢家。
• 强制执行时间限制： 如果你说 60 秒，请确保它在 60 秒时停止。
• 检查时钟： 始终报告机器实际运行了多久，而不仅仅是你要它运行多久。

论文最后为进行此类快速比较的人提供了一个清单。它建议，如果你看到一个系统在短时间内以巨大优势获胜，那很可能不是因为它更聪明——而是因为它违反了规则。原始比赛中的“赢家”并不是天才；他只是一个无视裁判哨声的跑者。