🤖 AI

Two AI Metrics Diverged: Will it Make All the Difference?

本文认为，前沿人工智能能力是继续集中在富有的参与者手中，还是扩散到规模较小的开发者手中，关键取决于用于衡量这些能力的特定性能指标相对于计算资源而言是数学上有界的还是无界的。

原作者： Alex Fogelson, Zachary A. Brown, Hans Gundlach, Jayson Lynch, Neil Thompson

发布于 2026-07-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Alex Fogelson, Zachary A. Brown, Hans Gundlach, Jayson Lynch, Neil Thompson

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于论文《两种 AI 指标的分歧：这会产生本质区别吗？》的解释，采用了简单的语言和日常类比。

核心问题：是强者恒强，还是人人都能赶上？

想象一下人工智能的世界就像一场巨大的赛跑。在一边，你拥有“前沿”选手：规模巨大的公司，拥有无限的资金，每年都在购买最昂贵的超级计算机，并用呈指数级增长的算力来训练他们的 AI 模型。在另一边，你拥有“平庸”选手：规模较小的开发者、开源爱好者和研究人员，他们拥有固定且有限的预算。他们无法购买新的超级计算机，但他们确实能从技术的普遍进步（比如更好的道路或更快的鞋子）中获益，这些进步对每个人都有帮助。

这篇论文提出的核心问题是：富有的选手最终会远远甩开领先位置，导致贫穷的选手永远无法追赶吗？还是说差距会缩小，直到每个人都跑得差不多快？

论文给出了一个令人惊讶的答案：这完全取决于你如何衡量这场比赛。

两种类型的“尺子”（指标）

作者认为，我们经常使用不同的“尺子”（指标）来观察 AI 的进展，而这些尺子讲述了两个完全不同的故事。他们将这些尺子分为两类：平庸指标（Meek Metrics）和强大指标（Mighty Metrics）。

1. 平庸指标： “天花板”效应

把平庸指标想象成一个电子游戏关卡，目标仅仅是到达终点线。

类比： 想象一场比赛，终点线在 100 米外。“前沿”选手带着喷气背包，10 秒钟就到了。“平庸”选手骑着自行车，用了 20 秒才到。
关键点： 一旦“前沿”选手到达了 100 米处，他们就会停止。他们不能跑过终点线。即使明年他们换了一个更好的喷气背包，他们也只是站在 100 米处。最终，骑自行车的人也会到达 100 米处。
结果： 从长远来看，喷气背包和自行车之间的差距消失了。两者都站在了终点线。
现实世界的例子：
- 测试分数（0-100%）： 如果一个模型在测试中得了 99%，它不可能得到“更多”的正确率。一个更便宜的模型也可能得到 98% 或 99%。差距会缩小。
- 验证损失（Validation Loss）： 这是一种衡量误差的方法，误差会越来越小，直到趋近于零。一旦接近零，拥有更多的钱并不会让它变得“更零”。

论文的观点： 如果你关注的事物是一个“平庸指标”，那么昂贵、强大的模型最终看起来会和廉价、微小的模型一样好。“平庸模型将继承地球。”

2. 强大指标： “无限阶梯”效应

把强大指标想象成爬一架向无限高处延伸的梯子。

类比： 想象一场比赛，目标不是到达终点线，而是尽可能爬得更高。“前沿”选手带着喷气背包，爬到了 1,000 英尺。“平庸”选手拿着梯子，爬到了 100 英尺。
关键点： 这里没有天花板。明年，“前沿”选手使用更好的喷气背包爬到了 10,000 英尺。即便“平庸”选手换了更好的鞋子，也只能爬到 200 英尺。差距不仅没有缩小，反而越来越大。
结果： 富有的选手永远保持领先。 “平庸”选手永远无法追赶。
现实世界的例子：
- 游戏排名（ELO）： 在国际象棋中，你可以变得越来越强。超级计算机可以击败人类，但一个更强大的超级计算机可以击败第一个。这里没有“完美”的分数，你可以一直变强。
- 任务长度： AI 能完成多复杂的项目？如果一个便宜的模型能完成 1 小时的任务，而一个富有的模型能完成 10 小时的任务，那么富有的模型可以永远去做 100 小时、1,000 小时的任务。这种能力上的差距会不断扩大。

论文的观点： 如果你关注的事物是一个“强大指标”，那么富有的模型将永远保持领先。差距永远不会缩小。

转折点：关键在于你如何提问

这篇论文最重要的部分是：同一种技能，根据你提问方式的不同，可以被测量为“平庸”或“强大”。

作者用软件工程举了一个极好的例子：

场景 A（平庸）： 你问：“AI 能写出没有 Bug 的代码吗？”
- 如果 AI 把 99% 的代码写对了，这通常已经“足够好”了。一个 99% 正确的模型和一个 99.9% 正确的模型之间的差距其实并不重要。这是一个平庸的视角。
场景 B（强大）： 你问：“AI 在出错之前，能连续完美地编写多少行代码？”
- 在这里，富有的模型可能会完美编写 100 万行代码，而便宜的模型只能写 1 万行。富有的模型可以一直持续下去。这是一个强大的视角。

教训： 如果你通过“它是否通过了测试？”（平庸）来衡量 AI，未来是民主且开放的。如果你通过“它能解决多复杂的难题？”（强大）来衡量 AI，未来将被少数富有者所主导。

为什么这在现实世界中很重要

论文得出结论，我们在制定法律和政策时，需要非常谨慎地选择使用哪种“尺子”。

如果我们使用平庸指标： 我们可能会认为 AI 正在变得安全且触手可及。我们可能会放宽监管，因为“现在每个人都能做到了”。
如果我们使用强大指标： 我们可能会意识到，富有的公司在复杂性方面正远远甩开其他人，从而控制了科学、经济和安全的未来，让其他人掉队。

底线：
论文并没有说 AI 一定会变成垄断，或者一定会变成民主。它说答案取决于我们看重什么。

如果我们看重简单任务上的完美准确度，差距会缩小，小玩家也能赶上。
如果我们看重解决日益困难、复杂的难题，差距会扩大，只有富有的少数人才能拥有这些工具。

作者警告说，许多人正在使用“平庸”的尺子（如测试分数）来观察，并认为差距正在缩小；而“强大”的尺子（如解决艰深的科学问题）则显示出差距实际上正在变得巨大。要理解 AI 的未来，我们必须选择正确的尺子。

技术摘要：两种 AI 指标的分歧：这会产生本质区别吗？

问题陈述

随着 AI 开发在算力规模上呈指数级增长，一个关键问题浮出水面，涉及治理与经济学：前沿模型（那些拥有大规模、指数级增长算力预算的模型）的能力，是否会永久性地超越“温顺”（meek）模型（那些算力预算固定或增长缓慢，但受益于共享硬件和算法效率提升的模型）？

现有的实证文献给出了相互矛盾的答案。一些研究表明，性能差距将会扩大，导致能力的寡头垄断式集中。而另一些研究（特别是 Gundlach 等人，2025b）则认为，差距将会缩小，使得温顺模型最终能够“继承地球”。本文认为，这些分歧性的结论并不一定相互矛盾，而是由于用于衡量 AI 能力的特定性能指标（performance metrics）所导致的产物。核心问题在于，不同的指标即使在衡量看似相似的能力时，其相对于算力的函数形式也不同，从而导致了根本不同的长期收敛特性。

方法论

作者采用了一个理论框架，根据性能指标在有效算力指数级缩放下的数学行为对其进行分类。

定义：
- 常规性能指标（Normal Performance Metric）： 一个可微的、弱单调递增的函数，将训练算力映射为性能。
- 温顺指标（Meek Metric）： 指在前沿模型（投资呈指数级增长）与温顺模型（投资呈常数增长，但受益于共享效率提升）之间的性能差距，随着时间趋于无穷大时收敛至零的指标。
- 强大指标（Mighty Metric）： 指性能差距不会收敛至零（它可能保持为一个常数或发生发散）的指标。
分析方法：
本文泛化了 Gundlach 等人 (2025b) 关于验证损失（validation loss）的论点。它分析了当 $t \to \infty$ 时， $P(C_{frontier}) - P(C_{meek})$ 之差的极限，其中 $C$ 代表有效算力。作者推导出了严密的数学条件，通过指标的增长率和有界性来确定该指标是属于“温顺”还是“强大”类型。
分类框架：
作者构建了一个决策树（图 1）来对指标进行分类：
- 如果一个指标是有界的（具有上限），则它始终是温顺的。
- 如果一个指标是无界的，则当且仅当其增长速度慢于 $\log \log C$ 时（即 $\lim_{C \to \infty} \frac{P(C)}{\log \log C} = 0$ ），它是温顺的。否则，它是强大的。

核心贡献

性能指标的理论分类： 本文提供了区分“温顺型”指标（差距会弥合）与“强大型”指标（差距会持续）的首个严密的数学条件。它确立了有界性是温顺性的充分条件。
对常见基准测试的重新解读： 作者证明了许多标准指标仅在特定解释下才是“温顺”的，而与其紧密相关的同一底层能力的变换形式则是“强大的”。
- 示例： 基准准确率（0-100%）是有界的，因此是温顺的。然而，底层的错误率 $\epsilon$ 或可靠性的“九个零”（ $\log(1/\epsilon)$ ）是无界的，因此是强大的。
- 示例： 游戏胜率是有界的（温顺），但底层的 Bradley-Terry 能力值（ELO）是无界的（强大）。
向推理缩放的扩展： 该框架被扩展到推理侧算力预算，表明虽然基准准确率在推理缩放下仍是温顺的，但相应的“九个零的推进”（误差减少）仍然是强大的。
政策相关性： 本文认为，确定特定领域的“适切”指标是有效政策的前提。有界指标与无界指标暗示了截然相反的政策响应，涉及算力控制与监管。

关键结果

有界指标的收敛性： 对于任何有界指标（如分类准确率、pass@k、验证损失），前沿模型与温顺模型之间的性能差距最终将会消失。从长远来看，温顺模型将在这些尺度上达到与前沿模型无法区分的性能。
无界指标的发散性： 对于增长速度快于 $\log \log C$ 的无界指标（如 ELO 能力值、任务时界长度、错误率的数量级），差距会持续存在或扩大。前前沿模型将保持永久性的优势。
对效用函数的敏感性： 在“温顺”与“强大”指标之间的选择通常取决于用户的效用函数。
- 如果用户关心的是是否在固定阈值内完成了任务（有界效用），那么温顺模型就足够了。
- 如果用户关心的是性能能有多好（例如，将错误率降低几个数量级、延长任务时界），则该能力是无界的，前沿模型将占据主导地位。
位置性指标（Positional Metrics）： 文中指出，在“赢家通吃”的情景下（位置性指标），即使底层能力是有界的，由于存在极微小的优势，奖励可能始终流向前沿模型，从而在经济回报层面创造出一种“强大”的结果，尽管其底层能力是“温顺”的。

意义与主张

本文声称，关于 AI 能力是趋于集中还是趋于扩散的争论，往往是关于正在使用哪种指标的争论，而非关于 AI 缩放底层物理规律的争论。

对于治理： 如果相关的社会能力是通过有界指标（例如，“模型能否编写一段功能性脚本？”）来衡量的，那么监管可能需要考虑到这些能力最终会在许多参与者（温顺模型）中普及。如果该能力是通过无界指标（例如，“它合成新型蛋白质的效率如何？”）来衡量的，那么能力很可能会继续集中在拥有大规模算力的富裕参与者手中。
对于政策： 算力控制（出口限制）对于衡量温顺指标的能力而言，可能只是一个延迟手段，而非永久性的天花板，因为温顺模型最终会通过共享硬件/算法进步实现赶超。然而，对于强大指标，此类控制可以维持持久的差距。
对于安全： 本文强调，危险能力通常具有“阈值”性质。如果一种能力是有的（温顺），那么该阈值最终可能被许多参与者而非仅仅是前沿实验室所跨越。相反，如果危险程度随规模无界增长（例如，利用漏洞的速度），则风险可能保持高度集中。

作者总结道，分析师和决策者必须超越单纯地从单一指标中读取收敛或发散。相反，他们必须明确定义该领域的效用函数，以确定相关的指标是温顺的还是强大的，因为这一区别决定了 AI 的未来是走向集中还是走向普及。