BayesAME: Bayesian Active Model Evaluation
BayesAME 是一个序列贝叶斯框架，它通过对潜在项目能力进行建模、量化不确定性，并迭代选择具有信息量的项目直到性能估计趋于稳定，从而自动确定用于高效评估大型生成模型的最佳核心集大小，同时通过使用连续对数似然函数，证明了其优于随机选择及现有方法的优越性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在试图评判一个新出的视频游戏角色有多厉害。你可以玩完整个长达 100 小时的战役，打败每一个 Boss 并解开每一个谜题，但这太慢了，而且会耗尽你的电池。相反，你决定只玩其中的几关，来感受一下这个角色的强度。这就是科学家们在测试大规模人工智能模型时面临的日常挣扎：在巨大的题库中对每一个问题都运行一遍模型，既太慢又太贵。因此，他们尝试挑选一小部分“样本”问题，来推测最终的分数。
难点在于应该挑选哪些问题。如果你随机挑选，就像从罐子里抓一把 M&M 豆一样，你可能会走运，也可能抓到的一把全是红色的，而完全错过了蓝色的。长期以来，许多专家认为，由于 AI 模型如此复杂，随机挑选和试图耍聪明的方法效果是一样好的。他们认为，确保万无一失的唯一方法就是随机抓一把，然后听天由命。但如果有一种方法，能让你成为一名聪明的侦探，通过观察过去其他类似角色的表现，来精准判断出哪些特定的几个问题最能代表这个新角色呢？
这就是 BayesAME 的故事，这是一个由 Google DeepMind 和伦敦帝国理工学院的研究人员开发的新方法。把 BayesAME 想象成一位超级聪明、充满好奇心的图书管理员，他想在不读完整本书的情况下，了解一位新作者的水平如何。与其一页一页地阅读，这位图书管理员会观察作者之前的作品（或类似作者的作品），从而推测出哪些特定的段落最能揭示其写作风格。
其背后的奥秘在于：研究人员并不将 AI 的表现视为一个固定的数字，而是一个带有“潜在能力”的神秘盒子——这是一种会根据问题类型而变化的隐藏技能水平。他们使用一种叫做“高斯先验”（Gaussian prior，一种基于历史经验的“聪明猜测”）的数学工具，其逻辑是：如果新的 AI 在某些问题上的表现与旧的、已知的 AI 相似，那么它在新的问题上也很可能表现得类似。随着图书管理员阅读几页内容（评估几个问题），他们会不断更新自己的猜测。如果新的 AI 让他们感到意外，他们就会调整自己的认知地图。
最酷的部分在于，BayesAME 不需要你告诉它“请读正好 50 页”。相反，它拥有自己的内在指南针。它会逐页阅读，并不断自问：“如果我读下一页，是否能消除我的困惑？”只有当它对估计结果充满信心，以至于再多读几页也不会改变它的想法时，它才会停止。这就像一位侦探，一旦线索已经清晰到足以证明嫌疑人的罪行，他就会停止调查，而不是死板地遵守“调查整整 3 小时”的规则。
论文发现，这种聪明的、侦探式的策略明显优于旧有的“随机抓一把”的方法。在他们针对许多基准测试（如 GPQA、MMLU-Pro 等）进行的测试中，BayesAME 始终能以更少的问题，更准确地预测最终得分。它证明了关于“问哪些问题”确实非常重要，这推翻了“随机猜测与聪明做法效果相当”的观点。
此外，研究人员发现得分的类型也非常重要。如果你只是问“对或错？”（二元评分），想要精确就很难。但如果你使用模型的实际置信度（连续得分，例如“我有 87% 的把握这是对的”），BayesAME 会变得更加敏锐，就像从黑白素描切换到了高清照片。他们还展示了，如果你同时在测试多个 AI 模型，你可以通过观察它们是否倾向于犯同样的错误，从而节省更多时间，实现用一套问题就能了解多个模型。
简而言之，这篇论文表明，我们不需要把时间浪费在测试 AI 的所有方面。通过使用这种聪明的、循序渐进的策略，利用历史经验进行学习，并在获得足够证据时恰到好处地停止，我们可以更快、更便宜地获得可靠的答案。这是效率的一次胜利，它证明了有时，了解全貌最好的方式不是问更多问题，而是问出正确的问题。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。