💬 NLP

Large Language Model Selection with Limited Annotations

本文介绍了 SELECT-LLM，这是一个新颖的框架，它利用从成对模型输出相似性中推导出的预期信息增益，主动选择最少数量的查询进行标注，从而在无需访问模型权重的情况下，显著降低评估成本并有效识别出针对特定任务的最佳大语言模型。

原作者： Yavuz Durmazkeser, Patrik Okanovic, Andreas Kirsch, Torsten Hoefler, Nezihe Merve Gürel

发布于 2026-05-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Yavuz Durmazkeser, Patrik Okanovic, Andreas Kirsch, Torsten Hoefler, Nezihe Merve Gürel

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一位招聘经理，正试图为一份非常具体的工作寻找完美的员工。你拥有一个庞大的候选人池，共有 156 名候选人（这些就是大语言模型，或称 LLMs）。你知道他们都很聪明，但你不知道哪一位实际上最擅长你的特定任务。

通常，为了弄清楚这一点，你会要求每一位候选人参加一场完整的、包含 100 道题的测试，然后雇佣一支昂贵的专家团队来批改每一份答案。这既缓慢、昂贵，又令人疲惫不堪。

这篇论文介绍了一种名为SELECT-LLM的新方法。把它想象成一位超级聪明的招聘助理，它只需让候选人回答测试中的一小部分题目——也许只需 5 到 10 道题，而不是 100 道——就能找出最佳人选。

以下是其工作原理，使用简单的类比来说明：

问题：“盲测”

想象你有 156 位不同的厨师（即 AI 模型），你想找出谁做的披萨最好。

旧方法：你要求每位厨师做 100 个披萨。你雇佣 100 位美食评论家来品尝每一个披萨并撰写报告。这在时间和金钱上代价高昂。
随机方法：你要求厨师们只做 5 个披萨，但这 5 道题是随机挑选的。也许这 5 位厨师都擅长做芝士披萨，却不擅长做意式辣香肠披萨。你可能仅仅因为运气不好而选错了赢家。

解决方案：SELECT-LLM（“智能测验”）

SELECT-LLM 就像一位侦探，确切知道哪些问题能揭示真相。它不只是随机挑选问题，而是挑选信息量最大的问题。

以下是逐步流程：

设置：你拥有一个“潜在问题池”（题库）和一份候选模型列表。
猜谜游戏：系统查看如果让所有模型回答某个问题，它们会说什么（此时尚不需要人类进行评分）。
“分歧”检测器：系统会问：“如果我问这个问题，顶尖候选者会给出截然不同的答案吗？”
- 如果所有顶尖厨师都给出完全相同的答案，那么这个问题对于区分它们来说就没什么用处。
- 如果最好的厨师们给出了截然不同的答案，那这个问题就是黄金。它是能帮你找出谁真正最优秀的那个问题。
选择：系统挑选出那个“黄金”问题，并请一位人类专家（“神谕”）仅批改那一个答案。
更新：基于这单次评分，系统更新其对厨师们的排名。它可能会说：“哦，厨师 A 答对了，但厨师 B 答错了。厨师 A 现在更可能是赢家。”
重复：它重复这一过程，始终挑选下一个能在剩余顶尖竞争者中引发最多“分歧”的问题，直到它有足够的信心选出赢家。

为什么这很重要？

该论文在 23 种不同类型的任务（如数学、新闻摘要、语言翻译和回答科学问题）以及 156 种不同的 AI 模型上测试了这种方法。

结果：与次优方法相比，SELECT-LLM 使用**少至 84%**的人类评分就找到了最佳模型。
类比：与其雇佣 100 位评论家品尝 100 个披萨，这种方法可能只需要 15 位评论家品尝 15 个披萨，就能找到完全相同的赢家。

关键特性

对“黑盒”友好：你不需要了解 AI 模型内部的构建方式（如代码或权重）。你只需要看它们说了什么。这既适用于开源模型，也适用于昂贵的闭源商业模型（例如你通过 API 付费使用的模型）。
模型无关：它不在乎模型是大是小，也不在乎它们使用什么语言。它只看它们答案的相似性。
安全：即使它没有选出绝对的 #1 模型，它也几乎总是能选出一个非常接近最佳模型的模型，因此你不会得到糟糕的结果。

总结

SELECT-LLM 是一种明智的策略，旨在停止在不必要的测试上浪费资金。它不再要求每个 AI 参加完整考试并由人类批改所有内容，而是只问那少数几个恰到好处的问题，从而快速识别出明星模型。它将一场庞大而昂贵的搜索，变成了一次快速高效的搜寻。

技术摘要：SELECT-LLM

问题陈述

大型语言模型（LLM）的快速普及造成了显著的模型选择挑战。尽管现代 LLM 具备强大的零样本能力，但其相对性能高度依赖于上下文，在不同领域、任务和语言间存在显著差异。通常，识别特定应用的最佳 LLM 需要针对固定的基准测试集评估候选模型。然而，标准基准测试越来越难以用于选择，因为基准测试往往滞后于新模型的发布，且可能无法反映特定领域的需求。

一种更实用的替代方案是使用小型的、带注释的查询子集来选择最佳模型。然而，对这些子集进行随机或基于启发式的选择往往导致注释预算的低效利用，且无法揭示候选模型之间有意义的性能差异。虽然主动学习已在分类任务中得到广泛研究，但生成式设置下的现有方法较为有限，通常仅限于两个模型的比较，或侧重于单一模型测试，而非从任意候选池中进行选择。核心问题在于：如何在有限的注释资源下，可靠地识别出针对目标任务和数据分布的最佳 LLM。

方法论：SELECT-LLM

作者提出了SELECT-LLM，这是一个用于 LLM 主动模型选择的框架。其目标是从 $n$ 个未注释查询的池中选择一个包含 $b$ 个查询的小集合（其中 $b \ll n$ ），使得对这些查询的注释能够最大程度地减少关于最佳模型身份的不确定性。

问题表述

该问题被表述为最大化未知最佳模型身份（ $F$ ）与所获取注释（ $A$ ）之间的互信息。作者将最佳模型定义为：当针对真实参考（ground-truth references）进行评估时，在查询集上实现最高平均性能得分的模型。

为了使该问题可解，他们采用了一种概率公式，其中模型输出的概率与其与参考答案的相似度成正比，并由温度参数 $\tau$ 控制。目标是最优化选择那些能最大化期望信息增益的查询：
$A_{opt}[b] = \arg \max_{A \subseteq \{(q_i, r_i)\}, |A| \le b} I(F; A)$

算法与近似

由于参考空间无界，直接计算开放生成任务的信息增益是不可行的。SELECT-LLM 通过三个关键近似推导出了可解的选择规则：

泰勒近似：互信息目标中的对数项使用二阶泰勒展开进行近似，将目标转化为涉及成对比较的二次型。
线性化：对似然模型进行局部线性化，用模型输出与潜在参考之间的相似度得分差异来替代概率差异。
相似度替代：对可能参考响应的平均值近似为候选模型输出本身之间的不相似度。

这导出了一个贪心选择规则（公式 5），通过最小化候选模型输出之间的后验加权成对相似度来选择下一个查询 $q_t$ ：
$q_t = \arg \min_{q \in U_t} \sum_{j=1}^{m} \sum_{k=1}^{m} P(F = f_j | A_t) P(F = f_k | A_t) s(f_j(q), f_k(q))$
直观地说，该算法优先选择那些最可能的候选模型产生最不同响应的查询，从而最大化单次注释所获得的信息量。

模型无关性

SELECT-LLM 的一个关键特征是它仅依赖生成的模型响应。它不需要访问模型权重、logits 或内部状态。这使得该框架既适用于开放权重的 LLM，也适用于黑盒（仅限 API）LLM。

参数选择

控制后验分布锐度的温度参数 $\tau$ 在主动选择过程之前进行选择，且不需要 oracle 注释。作者利用从模型响应之间的成对相似度导出的噪声代理信号进行网格搜索，以识别出能产生最佳识别性能的 $\tau$ 。

主要贡献

首次表述：据作者所知，这是首次针对有限注释预算下的 LLM 主动模型选择进行表述和研究。
SELECT-LLM 框架：一个原则性的、模型无关的框架，通过贪心选择查询以最大化信息增益。它基于模型输出之间的成对相似度推导出可解的近似，避免了对内部模型访问的需求。
全面评估：该框架在 23 个多样化数据集（涵盖推理、问答、摘要、翻译等）和 156 个评估模型（包括开源和仅限 API 的模型）上进行了验证，使用了多种基于参考的指标（BERTScore、ROUGE、BLEU、F1、精确匹配等）。

结果

评估表明，SELECT-LLM 在所有设置中均一致优于调整后的基线策略（包括 Random、Margin、Min Agreement、VMA 和 AMC）：

最佳模型识别：SELECT-LLM 使用显著少于最强基线的注释量即可识别出真正的最佳模型。注释成本降低幅度高达81.8%（例如，在 XSum 数据集上使用 ROUGE-L 时）。
近优模型选择：当目标放宽为识别与最佳模型性能差距在 $\delta$ 范围内的模型时，SELECT-LLM 实现了更高的效率，注释减少幅度高达84.78%。
鲁棒性：就第 95 百分位性能差距（所选模型与真实最佳模型之间的最坏情况差异）而言，SELECT-LLM 在所有数据集和识别概率水平（70%、80%、90%、100%）下始终保持着最小的差距，表明即使在困难的实现情况下也具有鲁棒性。
泛化能力：该方法在多样化的任务家族和评估指标上表现良好，表明其不依赖于特定的评分规则或领域。

意义与主张

论文主张，SELECT-LLM 提供了一种在现实黑盒设置中进行主动模型选择的实用方法。通过仅依赖模型输出和外部 oracle，它弥合了理论主动学习与现代 LLM 部署的实际约束之间的差距。

作者指出，虽然该方法显著降低了模型选择的注释成本，但其运行基于特定假设：

它假设存在可靠的 oracle 信号（基于参考的评估），而非嘈杂的人类偏好或“LLM 作为裁判”系统。
它假设候选池和查询池在选择开始前已固定。

这项工作强调，高效的选择可以使 LLM 的严格比较更加易于获取，但也警告称，有偏见的注释或评估标准可能导致有偏见的模型选择，特别是在安全关键领域。作者将此定位为迈向更高效、更可靠的 LLM 评估协议的基础性一步。