Capability, ranking dynamics, and inference pricing in the large language model ecosystem: evidence from linked public data
本文通过整合来自排行榜、人类偏好面板和价格目录的关联公开数据来刻画大语言模型生态系统，揭示了性能随参数量和时间而增长，偏好评分在模型内部表现出快速更迭与稳定性，且尽管供应商之间的价格存在显著差异，但定价主要受能力评分和开源状态驱动。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在快速发展的人工智能领域，一种被称为大语言模型的特定类型的计算机程序已成为写作、推理和解决问题的核心工具。这些系统通过在海量文本上进行训练，学习预测句子中的下一个词，直到它们能够生成连贯的段落、回答复杂的问题，甚至编写代码。由于现在已经出现了数以千计的模型，从由大型科技公司构建的巨型系统到由独立研究人员创建的较小型开源版本，人们产生了一种需求，即了解它们如何相互比较。为此，业界依赖于两件主要工具：标准化测试（模型通过回答一系列难题来获得分数）以及人类偏好竞技场（人们投票选出他们更喜欢的两个模型答案中的哪一个）。在这些性能指标之外，还出现了一个按字数出售模型访问权限的市场，这创造了一个复杂的价格与能力图景，难以驾驭。
彼得·巴戈（Peter Bago，布达佩斯科维纳斯大学）最近的一项研究试图通过将三个大规模的公共数据源联系起来，为这个混乱的生态系统带来秩序。研究人员结合了来自开源模型的数千条测试记录、一份长期的真人偏好排名日志，以及一份来自不同供应商的全面价格目录。通过连接这些数据集，该研究超越了仅关注最著名的模型，转而考察整个景观，探讨性能如何与规模相关联、排名如何随时间变化，以及价格究竟是如何决定的。其目标不是宣布单一的赢家，而是理解驱动这些数字工具价值及其演变的底层规则。
第一个重大发现涉及测试本身的性质。该研究分析了超过 4,500 条开源模型的记录，这些模型在包括指令遵循到高级数学在内的六个不同基准测试上进行了测试。研究人员发现，这六种不同的测试并不是在测量六种不同的技能；相反，它们绝大多数情况下是在测量一种单一且主导的能力。当一个模型在一项测试中表现出色时，它几乎肯定在其他测试中也会表现出色。这种共同点解释了整个生态系统中近四分之三的分数变异。然而，研究也指出，这些测试在性能底端表现乏力。许多模型的得分如此之低，以至于无法与随机猜测区分开来，这表明目前的测试更擅长区分“优”与“良”，而非区分“极差”与“完全失效”。
在探讨什么因素驱动模型表现更好时，研究证实了规模固然重要，但并非全部。较大的模型（以其包含的参数数量衡量）通常得分更高。具体而言，一个比另一个大十倍的模型，其平均测试得分通常会高出约 13.7 分。然而，时间是同样强大的力量。即使在比较相同规模和类型的模型时，较新提交的模型表现明显更好。一个与另一个模型规模和计算能力相当，但提交时间晚了一年的模型，其得分大约高出 10.5 分。这表明，该领域的进步不仅是通过制造更大的机器，更是通过寻找更聪明的训练方式。研究还发现，专为对话设计或通过合并现有模型创建的模型，其表现往往优于原始的、未经修改的模型，这表明微调和组合过程是当前进步的关键驱动力。
关于生态系统的“人类侧”则讲述了一个关于稳定性截然不同的故事。研究追踪了人类偏好竞技场中排名靠前的模型超过一年的情况，观察到领导地位极其短暂。冠军头衔易手了 19 次，平均领先者仅持有顶尖位置约 12 天。尽管存在这种不断的更迭，但最顶尖的模型与第十名之间的差距却保持得相当稳定。研究还揭示了评分系统本身的一个显著变化。在 2025 年 5 月的一个特定日期，计算分数的默认方式发生了变化，导致每个模型的评级在一夜之间跳升了约 18 分。这意味着，如果不进行调整，直接对比该日期前后的分数将会产生误导，因为数值不再处于同一尺度上。在此变化之前，评级是稳定的，模型不会仅仅因为被重复列出而产生漂移。
或许最复杂的发现与使用这些模型的价格有关。研究检查了来自 82 个不同供应商的近 2,700 个不同价格列表。研究发现，对于同一个模型，价格会因销售商的不同而产生巨大差异。对于由三个或更多供应商提供的模型，最贵的价格通常比最便宜的价格高出 38%，对于某些模型，这种差异甚至更大。这表明，仅仅通过货比三家就能为买家节省大量资金。研究还建立了一个模型来理解这些价格的驱动因素。它发现能力是一个主要因素：在人类偏好排名中提升一个标准差的模型，其价格会比提升前高出三倍以上。然而，作为开源模型，其代码是公开的，这起到了巨大的折扣作用，使其价格不到具有类似技能的私有模型价格的五分之一。此外，研究还发现，较旧的模型（即在列表中存在时间较长的模型）往往带有价格溢价，这表明成熟的模型即使在新的、可能更好的模型到来时，仍能保持其价值。
最后，研究检查了两种主要质量衡量方式之间的契合程度。当研究人员查看同时出现在测试分数记录和人类偏好排名中的 69 个模型时，他们发现了高度的一致性。在标准化测试中得分高的模型，通常也是人类所青睐的模型。这种趋同现象表明，虽然测试和人类投票衡量的东西略有不同，但它们都指向了能力的同一现实。研究结论认为，尽管景观广阔且数据杂乱，但当数据源被链接起来时，清晰的模式便显现了出来。该生态系统由单一的主导能力驱动，通过时间和规模得以提升，并以一种奖励性能但大幅折让开源访问的价格方式运行。对于任何试图理解或购买这些工具的人来说，教训是：性能是可预测的，领导地位是暂时的，而你支付的价格既取决于谁在销售以及何时购买，也取决于模型本身实际能做什么。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。