🤖 AI

Agreement Before Diversity: Verification-First Complementarity for Heterogeneous Language-Model Coordination

本文提出了“先一致后多样性”（Agreement-Before-Diversity, ABD），一种针对异构语言模型的验证优先协调方法，该方法利用一个冻结且无标签的决策规则，仅在锚点答案得到可信样本证实时才予以保留，从而在 LiveCodeBench 和 GPQA-Diamond 上实现了最先进的性能，同时提供了精确的理论恒等式，用以审计准确率提升与推理成本之间的权衡。

原作者： Ruitong Li, Binjie Guo, Aisheng Mo, Guowei Su, Jie Li, Ru Zhang

发布于 2026-08-06

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ruitong Li, Binjie Guo, Aisheng Mo, Guowei Su, Jie Li, Ru Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图解决一个棘手的谜题，你没有只向一个人询问答案，而是向一整个专家团队求助。其中有些是数学奇才，有些是创意作家，还有一些是逻辑大师。这就是**大型语言模型（LMs）**协同工作的世界。在科学领域，这被称为“集成”（ensemble）。其核心思想非常简单：如果你有更多的人参与尝试，你获得正确答案的机会就越大。这就像是有十个人去猜罐子里有多少颗豆子；他们猜测的平均值通常比任何一个人的猜测都更接近真相。

然而，这里有一个陷阱。仅仅拥有十个猜测并不意味着你知道该选哪一个。有时候，听起来最自信的专家实际上是错的，而那个沉默寡言的专家才是对的。更糟糕的是，如果你请一位“超级专家”来整合所有答案，他们可能会不小心用一个华丽但错误的答案盖过了正确的答案。科学家们一直在问的一个大问题是：**我们如何知道什么时候该信任那个新的、华丽的答案，什么时候该坚持原有的答案？**我们需要一条规则，它能说：“停！这个新答案足够好，可以取代旧的了，”而不是仅仅靠猜测。

这就是一种名为**“先共识后多样性”（Agreement-Before-Diversity, ABD）**的新方法。把它想象成一个负责任且公正的裁判，负责监督一支 AI 专家团队。ABD 不会盲目地让一个华丽的新答案覆盖旧答案，而是设置了一个简单的“安全检查”。它是这样运作的：

锚点（The Anchor）： 首先，团队选定一个“锚点”答案（当前的最佳猜测）。
安全检查（The Safety Check）： 在他们看到那些华丽的新答案之前，来自同一团队的另外两位受信任的专家会对这个“锚点”进行检查。如果这两位专家与“锚点”完全一致，裁判就会说：“太好了！我们达成了共识。保留锚点，不要浪费时间或金钱在其他事情上。”
切换（The Switch）： 但如果这两位专家与“锚点”不一致，裁判就会说：“好吧，‘锚点’不太稳固。现在，请引入整个多样化的专家团队，来合成一个全新的、华丽的答案。”

论文证明了这种简单的规则之所以极其强大，是因为它将多样性（拥有多种选择）与权威性（改变答案的权利）区分开来。作者发现，这种方法不仅仅是在猜测；它利用数学证明了其有效性的确切原因。他们发现了两个“神奇公式”（精确恒等式）来解释结果：

该方法优于这样一种系统：即仅当“锚点”在两者达成一致的具体案例中确实优于“华丽答案”时，才制作一个新的华丽答案。
该方法也优于这样一种系统：即仅当新的“华丽答案”修正了“锚点”所犯的错误，且没有意外破坏正确答案时，才永不改变答案。

在现实世界的测试中，这个裁判系统表现惊人。在一项名为 LiveCodeBench 的编程挑战赛中，ABD 方法达到了 59.43% 的正确率，击败了仅有约 52% 正确率的标准方法。在一次高难度的科学测试 GPQA-Diamond 中，它达到了 75.00%，再次领先于其他方法。

真正酷的地方在于，论文展示了在每种情况下它为何奏效。在编程测试中，“安全检查”很少通过（仅为 1.71%），因为计算机代码非常精确，两个随机尝试很难完美匹配。因此，系统大多时候只是让华丽的团队接管，事实证明这是正确的举动。但在科学测试中，安全检查经常通过（73.33%），由于“锚点”通常是正确的，系统通过坚持简单的答案节省了大量的精力，而不是过度思考。

论文还明确排除了一些常见的观点。它表明，仅仅拥有一个“多样化”的不同 AI 模型团队本身是不够的；如果没有关于何时切换的严格规则，你可能只会得到更多的错误答案。它还证明了你不需要预先知道“正确”答案来做决定；该规则仅通过观察专家之间是否达成一致即可奏效。

简而言之，**“先共识后多样性”（Agreement-Before-Diversity）**教会我们，拥有更多选择固然好，但你需要一个聪明的把关人来决定何时使用它们。它将向许多 AI 求助的混乱过程，转变为一种精确、可审计且高效的策略。这不仅仅关乎拥有最聪明的 AI，更关乎拥有使用它们的最高明规则。

技术摘要：先一致后多样性 (Agreement Before Diversity, ABD)

问题陈述

异构语言模型集成扩展了候选响应的空间，通过多样性提供了更高的准确性潜力。然而，现有方法缺乏一个原则性的标准来确定何时新生成的答案应当取代已有的支持答案。当前的方法往往将候选余量（多样化输出的原始潜力）与替换权限（改变当前答案的正当理由）混为一谈。一个多样化的错误仍然是一个错误，而一个流畅的合成器既能修复错误，也同样容易覆盖正确答案。核心挑战在于，如何在不依赖于不可验证的假设（如样本独立性或校准置信度）的情况下，区分“拥有更多选项”与“知道信任哪个选项”。

方法论：先一致后多样性 (ABD)

作者提出了 先一致后多样性 (ABD)，这是一种冻结的、无标签的决策规则，它将候选生成与替换权限解耦。该方法针对特定项 $x$ 的操作如下：

锚点与探测 (Anchor and Probes)： 一个锚点模型产生一个答案 $y_0$ （温度为 0）。另外两个受信任的样本 $y_1$ 和 $y_2$ 由同一模型生成（温度为 0.7）。
验证事件 ( $A$ )： 一个冻结的等价关系 $E$ $E$ （例如，用于代码的归一化字符串相等，或用于多选题的精确选项匹配）对解析后的答案进行比较。
- 如果 $y_0, y_1,$ 和 $y_2$ 均为非空，且满足 $E(y_0, y_1)$ 和 $E(y_0, y_2)$ ，则一致性事件 $A(x) = 1$ 。
- 否则， $A(x) = 0$ 。
决策分支：
- 若 $A(x) = 1$ （受保护状态）： 保留锚点 $y_0$ 。总成本：3 次推理调用。
- 若 $A(x) = 0$ （升级状态）： 系统使用由四个异构同行模型和一个解析器组成的候选池，合成一个新的答案 $s$ 。总成本：8 次推理调用（3 个探测 + 4 个同行 + 1 个解析器）。

等价关系 $E$ 是刻意保持保守且无标签的；它并不证明正确性，而仅作为决定是否允许多样性覆盖锚点的闸门。

核心贡献与理论框架

本文的主要贡献并非一个经过调优的协调器，而是一个具有精确核算的决策原则。作者推导出了两个精确恒等式，将 ABD 相对于两种极端策略的表现进行了分解，且无需任何关于独立性或校准置信度的假设。

恒等式 1（对比无条件合成）：
$E[U - Q] = q(a - b)$
ABD 与始终进行合成之间的准确率差距，由一致性覆盖率 ( $q$ ) 乘以受保护子集上的锚点优势 ( $a - b$ ) 决定。该恒等式表明，只有当锚点在发生一致性的项上比合成结果更准确时，ABD 才能优于无条件合成。
恒等式 2（对比永不合成）：
$E[U - Z] = (1 - q)(r - d)$
ABD 与始终保留锚点之间的准确率差距，由升级率 ( $1-q$ ) 乘以升级子集上的净授权恢复减去授权破坏 ( $r - d$ ) 决定。此处， $r$ 代表合成修正了错误的锚点的情况， $d$ 代表合成破坏了正确锚点的情况。
成本恒等式：
$E[C] = 8 - 5q$
预期推理成本是覆盖率的线性函数。如果 $q > 0.4$ ，则 ABD 在调用次数方面比始终开启合成（成本为 6 次调用）更便宜。

这些恒等式将每种聚合差异都定位到了可枚举的、受保护的层级中，使得系统的行为完全可审计。

实验结果

该方法在两个不同的基准测试下，在严格的盲测条件下进行了评估：LiveCodeBench-v6（175 个任务，可执行测试）和 GPQA-Diamond（180 个未触及项目，精确选项评分）。

LiveCodeBench-v6： ABD 达到了 59.43% 的准确率，优于 Single9 (52.57%) 和 HAC (52.00%)。它与 Heterogeneous MoA（始终合成）持平，并超过了 Homogeneous MoA。
- 机制： 一致性覆盖率 ( $q$ ) 极低（1.71%），因为独立生成的代码极少能精确匹配。因此，闸门几乎处于失效状态，系统实际上退化为了异构合成。理论边界预测的最大贡献为 1.71 个百分点；观察到的贡献恰好为零，证实了该理论。
GPQA-Diamond (未触及)： ABD 达到了 75.00% 的准确率，优于 Single9、HAC 和 Heterogeneous MoA (72.78%)。
- 机制： 此处，覆盖率较高 (73.33%)。相对于始终合成 (Always Synthesis) 的增益（2.78 个百分点）完全可以用保护集上正确锚点答案的保留 ( $q(a-b)$ ) 来解释。
扰动研究： 当锚点模型被替换为较弱的模型（冻结扰动）时，覆盖率降至 39.44%，但锚点在受保护集上的优势显著增加。ABD 仍然优于基准模型，证明了该方法可以在无需重新训练的情况下适应锚点质量的变化。

组件消融实验：

移除闸门（始终合成）： 结果表明，仅靠多样性并不保证改进；在 LiveCodeBench 上，移除闸门的影响为 0.00，而在 GPQA 上，则导致了性能下降。
移除提议者异构性（Homogeneous MoA）： 结果显示多样性并非普遍优越；在代码任务上它有所帮助，但在 GPQA 上与异构版本相比反而表现较差。

意义与主张

论文声称 ABD 提供了一个管理语言模型集成中稳定性与探索性之间紧张关系的原则性框架。

可审计的决策过程： 不同于启发式协调器，ABD 提供了精确的恒等式，可以解释所有的聚合差异。从业者可以测量覆盖率 ( $q$ )、受保护集优势 ( $a-b$ ) 以及恢复/破坏率 ( $r-d$ )，从而在无需带标签验证集的情况下诊断系统行为。
分离潜力与权限： 实验结果表明，多样性提供了潜力（余量），而验证结构提供了实现该潜力的权限。只有当闸门正确识别何时信任锚点以及何时升级时，多样化池才会发挥作用。
限定范围： 作者明确指出，其证据范围限于代码生成和专家级多选题。他们并未声称 ABD 是所有任务的通用解决方案，而是强调了定义等价关系 $E$ 时需要领域感知验证信号（如代码的执行签名、推理的溯源）的重要性。
非“正确性预言机”： 该方法并不声称知道地面真值（Ground Truth）。它仅授予在得到一致性支持时保留答案，或在支持失效时进行替换的许可。

总之，ABD 将协调问题从黑盒优化任务转变为一个透明、可衡量的过程，其中准确性、成本与多样性之间的权衡被明确量化。