技术摘要：用于鲁棒大语言模型集成的互补代理混合

问题陈述

本文解决了在“代理混合”（MoA）范式下的多大语言模型（LLM）集成框架中，选择最优提议者（LLM-提示词对）子集的挑战。在该设置中，来自 $N$ 个提议者的响应由单个总结器 LLM 聚合，以生成最终答案。核心问题具有组合性：给定一个庞大的提议者池和固定的集成规模 $k$，应选择哪 $k$ 个提议者，以最大化总结器在下游任务上的准确率？

作者认为，现有的选择启发式方法之所以不足，是因为它们孤立地对待提议者。

1. 追求准确性的方法选择最强的个体模型，忽略了它们与总结器或彼此之间的相互作用。
2. 追求多样性的方法优先考虑输出的方差，往往以牺牲质量为代价，且未能考虑总结器特定的纠错能力。

本文提出，关键因素是互补性：一组提议者作为团队协同工作的程度，特别是它们的输出如何补充总结器的内部推理。作者通过理论证明（涉及贝叶斯总结器的反例）和实证表明，如果一组低个体准确率的提议者能提供总结器可独特综合的信息，其表现将优于高准确率提议者的集合。

方法论

作者将提议者选择重构为特征选择问题，其中“特征”是提议者，“模型”是总结器。然而，标准的包装器（wrapper）方法计算成本过高，因为评估候选集需要昂贵的总结器 LLM 调用。为了平衡准确率与查询复杂度（总结器调用次数），本文提出了三种贪婪风格的选择算法：

1. 模型优先贪婪（Model-First Greedy）

这是一种包装器风格的方法，通过在模型层面而非单个提议者层面操作，降低了查询复杂度。

• 机制：该算法不评估每一个单独的提议者，而是首先基于其提示词变体在验证集上的平均边际增益，对整个 LLM 进行评分。它选择表现最佳的模型，然后在该模型内挑选最佳的提示词实例。
• 复杂度：将总结器调用次数从 $O(N \cdot m)$ 减少到 $O(n_{LLM} \cdot m \cdot k)$，其中 $n_{LLM}$ 是模型数量，$m$ 是验证集大小，$k$ 是集成规模。
• 原理：假设不同模型之间的多样性比同一模型内不同提示词之间的多样性更有价值。

2. 真值预测贪婪（Truth-Prediction Greedy）

这是一种过滤风格的方法，在选择阶段完全避免调用总结器。

• 机制：它将提议者的预测标签视为特征，用于训练一个轻量级机器学习模型（例如分类器），以预测真实标签。该算法使用 $k$-贪婪策略（算法 1）来选择能最大化该代理预测器准确率的提议者。
• 关键创新：与标准贪婪选择不同，$k$-贪婪通过以最终团队规模 $k$ 为条件来估计边际增益。这考虑了 LLM 总结器的非单调性，即某个在较小 $k$ 值下有益的提议者，在目标规模 $k$ 下可能产生负面影响。
• 复杂度：选择过程中零次总结器调用；仅依赖标签级别的统计信息。

3. 代理 - 代理贪婪（Oracle-Surrogate Greedy）

该方法通过使用简单的代理来近似总结器的行为，弥合了前两种方法之间的差距。

• 机制：它拟合一个简单的函数 $\tilde{g}(c)$，将 $k$ 个输入中正确标签的数量（$c$）映射到预期的总结器准确率。该代理使用少量神谕（总结器）查询进行训练。随后选择提议者以最大化该代理的预测准确率。
• 复杂度：训练需要 $(k+1)T_{\tilde{g}}$ 次总结器调用，远少于模型优先贪婪法。

主要贡献

1. 互补性的识别：本文确立了互补性（提议者与总结器之间）作为 LLM 集成中至关重要却被忽视的目标。它提供了一个理论反例，表明即使在贝叶斯最优总结器下，追求准确性和多样性的启发式方法也可能无法识别出最优集合。
2. 算法框架：作者引入了互补-MoA框架以及三种特定算法（模型优先、真值预测、代理 - 代理），以应对准确率与效率之间的权衡。这些方法专为 LLM 集成的约束而设计，其中评估成本高昂。
3. 实证验证：通过在三个推理基准（AIME、CLadder、MMLU-Pro）上，使用多样化的提议者池和总结器进行广泛实验，本文证明了互补性引导的方法在标准启发式方法失效的场景中具有鲁棒性。

实验结果

作者将所提出的方法与以下基线进行了评估：“最佳模型”（追求准确性）、“条件多样性”（追求多样性）、"LLM 裁判”和“近似沙普利值”。

• 性能：
  • 模型优先贪婪始终取得顶级性能，在六个测试设置中的五个中排名前二（例如，在 CLadder 上准确率为 0.812，而最佳模型为 0.793）。
  • 真值预测贪婪和代理 - 代理贪婪在所有场景中均提供了持续强劲的性能，通常优于在 MMLU-Pro 等数据集上失效的追求多样性基线。
  • 基线失败：追求准确性的方法（Top-accuracy、Best-model）在 AIME 上表现不佳，而追求多样性的方法在 MMLU-Pro 上降低了性能。LLM 裁判基线表现不佳，表明孤立地评判提议者无法捕捉集成价值。
• 效率：
  • 真值预测贪婪无需任何总结器调用。
  • 代理 - 代理贪婪需要约 1,200 次调用。
  • 模型优先贪婪需要约 16,000 次调用。
  • 近似沙普利值（一个强大但昂贵的基线）需要约 64,000 次调用，且在准确率上被模型优先贪婪超越。
• 分布分析：作者观察到，追求准确性的基线诱导了正确标签的 U 形分布（许多全对或全错的集合），而追求多样性的基线诱导了以 $k/2$ 为中心的钟形分布。基于互补性的方法产生的分布更好地与总结器的准确率曲线对齐，避免了两种极端情况的陷阱。

意义与主张

本文主张其主要贡献在于视角的转变：最优集成不仅仅是最强或最多样化代理的集合，而是与总结器在结构上互补的团队。

• 鲁棒性：所提出的方法据称在不同数据集、总结器模型和提议者池组成（包括移除最强模型的“混合人群”情形）下均具有鲁棒性。
• 实用性：通过提供从零调用（真值预测）到中等调用（模型优先）的一系列算法，该工作为从业者在不同的查询预算下选择提议者提供了原则性工具。
• 局限性：作者谦逊地指出，其基于标签的算法目前专为多项选择题设计，可能需要调整以适应开放式生成。他们还建议，混合选择策略（结合互补性和准确性）仍是未来探索的开放领域。

本文得出结论：显式优化互补性对于有效的多 LLM 协作至关重要，因为个体质量指标是集成性能不可靠的代理。