Mind the Gap: Explicit Cross-Benchmark Calibrations for Estimating Missing LLM Evaluation Scores
该论文介绍了“benchgap”，这是一个通过在能力组内利用单调曲线拟合和多元映射来显式校准基准测试，从而估算缺失的大语言模型评估分数的流水线，其实现的误差率显著低于矩阵补全基准方法，同时量化了被称为“评测框架税”（harness tax）的评估设置差异。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在快速发展的人工智能领域，新语言模型的发布速度甚至超过了测试速度。这些模型旨在解决问题、编写代码并进行复杂的推理任务，但它们的真实能力只有在通过被称为基准测试（benchmarks）的标准测试时才能被了解。可以将基准测试想象成一份特定的试卷；一个模型在该试卷上的得分是其在严格条件下表现的一个快照。然而，这些考试的格局是庞大且碎片化的。不同的研究实验室和公司会选择不同的测试集来展示他们的模型，而评估服务机构也会根据自己的进度运行各自的模型子集。其结果是一个巨大的、不完整的图景，大多数模型仅参加了极少数考试，导致绝大部分潜在得分处于缺失状态。这种差距使得公平比较模型或理解其完整能力范围变得十分困难，因为分析师被迫面对那些超过 90% 的数据都是空白的表格。
为了解决这个谜题，研究人员 Patrik P. Süli、György Eigner 和 Roland Hollós 开发了一种名为 benchgap 的方法，这是一个旨在无需实际运行测试即可估算缺失得分的系统。该系统并非试图从零开始预测模型的性能，也不是使用适用于所有模型的单一全局公式，而是充当特定考试之间的“翻译官”。它观察那些已经参加过两种不同测试的模型，并映射它们得分之间的关系。如果一个模型在一项考试中得分很高，系统会利用其他模型的历史数据，来估算该模型在另一项未经过测试的考试中可能取得的得分。这个过程并非盲目猜测，而是一种精确的校准，它通过拟合一条平滑曲线来确保估算结果尊重测试的自然极限和模型的能力。该系统对规则执行得非常严格：它绝不允许将一个模型用于它本质上不适用的测试，例如根据纯文本结果来预测视觉测试得分，并且拒绝做出任何超出其所见数据范围的估算。
研究人员在包含 401 个不同模型和 146 个基准测试版本的数据库上测试了这种方法。他们发现，该系统可以成功填补 71% 的缺失得分，并保持高度的准确性。当他们将估算值与为了测试而隐藏起来的实际测量得分进行对比时，系统的平均误差仅为 4.6 个百分点。这明显优于另一种试图利用广泛的全局模式来填补空白的竞争方法，后者在相同的单元格上产生了更大的误差。该系统还对其自身的不确定性保持透明；它产生的每一个估算值都附带一个置信水平和特定的误差范围，告诉用户该数字到底有多可靠。例如，基于测试之间强有力且清晰关系的估算会被标记为高置信度，而基于较少数据点或较不确定连接的估算则会被标记为低置信度，从而让用户能够权衡信息的权重。
这项工作的一项重大发现是量化了作者所称的“框架税”（harness tax）。这是指当同一个基准测试由不同的评估设置运行时所产生的分歧。即使两个服务机构是在使用完全相同的软件和协议对同一个模型进行完全相同的题目测试，其得分也可能会因运行测试的软件和协议不同而产生显著差异。研究人员发现，对于涉及能够使用工具或操作计算机终端的智能体（agents）的基准测试，这种差异非常显著，不同设置之间的平均得分差异为 8.7 个百分点。相比之下，对于更简单的、无需工具的知识类测试，这种分歧要小得多，仅为 2.3 个百分点。这一发现强调了基准测试得分不仅是模型本身的属性，也是测试所处特定环境的属性。该系统通过仅在共享相同能力组的测试之间进行校准，并记录每个得分的来源，来应对这一情况，从而确保估算结果反映了这些测试开展的现实情况。
该系统作为一个每日更新的动态流水线运行，不断拉取新发布的得分并重新计算估算值。它不依赖于隐藏的训练数据或模型的内部架构，因此适用于任何模型，包括那些仅发布最终得分的闭源模型。通过使用显式的、可追溯的校准来填补空白，该系统为人工智能领域提供了一个更完整、更诚实的视角。它承认虽然没有任何估算能达到完美，但基于现实数据的精心构建的预测远比空白更有价值。其结果是，该工具帮助研究人员、开发人员和公众以更高的清晰度来应对复杂的人工智能评估世界，将一个稀疏且混乱的数据矩阵转化为一张连贯的能力地图。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。