A Jury, Not an Electorate: Label-Free Reliability Estimation for Ensembles of Language Models

在快速发展的人工智能领域，研究人员经常转向一种被称为“集成学习”（ensemble learning）的策略来解决难题。他们并不依赖于一个单一的、庞大的计算机程序来寻找正确答案，而是聚集一群不同的程序，每个程序都经过了不同的数据训练或具有不同的优势，并要求它们共同完成同一项任务。其希望在于，虽然一个程序可能会出错，但另一个则会成功；通过结合他们的努力，这个群体可以达到任何单个成员单独无法达到的准确度水平。然而，一个持久的挑战是如何决定在成员产生分歧时该信任哪一个。传统方法通常像是一场选举，每个模型都获得一票，选出的答案仅仅是获得最多支持的那一个。这种方法假设群体的集体智慧存在于多数派之中，但它忽略了最受欢迎的答案可能是错误的可能性，或者一个更安静、更可靠的专家正被一个更响亮、但不那么准确的专家所淹没。

一项新研究提出了一种看待此问题的不同方式，建议将一组人工智能模型视为不是一个选民群体，而是一个陪审团。在法庭上，陪审团并不只是计算有多少人同意某个判决；相反，他们会倾听每位证人的证词，并试图根据他们所说的话以及他们的陈述如何相互吻合来判断谁更具可信度。这项工作的研究人员提出了这样一个问题：一组语言模型是否也能做到这一点：仅从答案的模式中推断出每个成员的可靠性，而无需预先知道正确答案。他们构建了一个系统，让这些模型充当证人，而该系统则学习去信任那些其证词与事实保持一致的模型，尽管该系统本身从未见过真相。

研究人员在涵盖从数学、科学到法律和通用推理等广泛领域的 1,560 个基准问题上测试了这个想法。他们收集了九种不同规模和训练方式的语言模型来担任专家。在标准设置中，这些模型会被给予一组问题，它们的答案会通过简单的多数投票或加权平均值进行组合，其中权重是根据这些模型在已知答案的另一组问题上的表现来确定的。然而，新方法跳过了通过查看正确答案来确定信任度的步骤。相反，它使用一种数学过程来分析模型对所提问题的回答。通过观察哪些模型彼此一致以及哪些模型彼此分歧，该系统可以估算出每个模型的可靠性。它将正确答案视为一个隐藏的事实，模型正试图报告该事实，并根据群体响应的配置来计算每个模型说实话的可能性。

实验结果令人瞩目。这个通过“听证”学习到的陪审团系统，在从未见过任何正确答案的情况下，在完整基准测试中实现了 76.9% 的准确率。这一表现显著优于 63.0% 的简单多数投票，也优于该组中表现最好的单个模型（其准确率为 75.0%）。或许最重要的一点是，该陪审团的表现与一个使用了相同的组合规则但利用正确答案来确定权重的系统不相上下。这一发现表明，为了教导系统应该信任哪些模型而进行的数据标注这一复杂过程并非严格必要；系统只需通过倾听它们所说的话，就能学会信任正确的证人。研究还发现，保留模型可能给出的完整答案范围，而不是仅仅取其首选答案，能显著提高结果。当系统考虑答案的概率分布时，其准确率比简单投票高出了 8.4 个百分点，而正确地为专家加权则又增加了 5.5 个百分点。

研究人员非常谨慎地排除了这种成功是由于单纯拥有更多数据或更好的采样技术所致的可能性。他们将自己的方法与几种同样尝试在无标签情况下组合模型的先进技术进行了对比，而该陪审团始终表现更佳。例如，它比最强的替代性无标签方法高出了 5.5 个百分点。研究还检查了该系统仅仅是运气好，还是真正学习到了正确的模式。他们在不同的模型子集上测试了该陪审团，发现它在几乎所有的组合中，都持续优于等权重投票和表现最好的单个专家。只有当小组由非常弱的专家组成时，陪审团才没有优于表现最好的单个模型，而在这种情况下，任何组合方法都无法实现现实的提升。

这项工作的最重要意义之一在于，它挑战了“为了获得最佳结果必须进行监督”的假设。在人工智能的许多领域，标准做法是训练一个系统，使用一个已知正确答案的大型数据集，以便系统学习哪些模型是优秀的。这种新方法表明，对于组合模型而言，系统可以直接从模型之间的共识与分歧中推断出可靠性。研究人员发现，陪审团与受监督系统之间的差异非常小，在考虑到模型拟合的自然变异时，这种差异在统计学上并不显著。这意味着，在很多情况下，为了训练组合规则而进行的数据标注额外工作可能并不值得。

研究还观察了该系统如何处理不确定性。当模型被要求生成答案时，它们往往会产生一系列可能性，而不是一个单一的确定性陈述。陪审团方法利用这些完整的分布，使其能够捕捉到比简单投票更多的细微差别。例如，如果一个模型对一个错误的答案非常有信心，而另一个模型对正确的答案信心稍弱，系统可以适当地权衡证据。研究人员发现，这种方法在数学问题上特别有效，在这些问题上，组内表现最好的单个模型表现挣扎，但陪审团却能够利用其他模型的优势来得出正确解。

尽管该方法功能强大，但研究人员也指出了一些局限性。该系统要求组内的每个模型都必须提供一个答案，并且对于生成式任务，需要运行多次采样以构建可靠的答案分布。与仅仅询问一个模型答案相比，这增加了计算成本。然而，研究表明，相对于准确率的显著提升，这种成本是合理的。研究人员还观察到，该系统对其答案的置信度往往高于其实际准确率，这意味着它有时会对错误的答案感到非常笃定。这是人工智能中的一个常见问题，研究人员指出，在将其置信度分数作为可靠的真理衡量标准之前，该系统需要进行重新校准。

最终，这项研究为我们如何利用人工智能的集体智能提供了一个全新的视角。通过将模型视为陪审团而非选民，我们可以构建出比其部分之和更聪明的系统，而无需预先知道答案。这种仅凭证词即可学习信任的能力，为更高效、更具适应性的使用人工智能的方式打开了大门——在这种方式下，系统可以在遇到新问题时，不断精炼其对哪些专家值得信赖的理解。研究结果表明，解锁这些群体全部潜力的关键，不在于强迫它们达成一致，而在于教会它们如何倾听彼此，并判断自身声音的可信度。