技术总结：路由、投票与混合智能（MoA）中的协同失效天花板

问题陈述

大语言模型（LLM）编排领域已从选择单一“最佳”模型转向通过路由、投票、级联和混合智能（Mixture-of-Agents, MoA）来管理异构模型池。从业者目前依赖成对误差相关性 ($\rho$) 作为判断多样性是否能带来精度提升的主要诊断工具。普遍的假设是，低 $\rho$ 意味着高多样性，从而意味着高提升潜力。

本文认为 $\rho$ 是错误的诊断指标。它指出，任何输出为成员模型答案的策略（如路由器、多数投票或级联）所能达到的可实现精度，其上限并不取决于成对相关性，而是取决于 $\beta$——即池中所有模型在同一查询上同时出错的速率。核心问题在于 $\rho$ 无法识别 $\beta$；不同的联合误差分布可以拥有完全相同的边缘分布和成对相关性，却拥有截然不同的协同失效率。因此，依赖 $\rho$ 会导致系统性地低估“协同失效尾部”（co-failure tail），从而可能导致购买者高估编排的价值，或误判可实现的精度天花板。

研究方法

理论框架

作者将编排形式化为一个预算受限的分配问题。

1. 天花板定理 (命题 1)： 对于任何输出成员答案的选取策略 $\pi$，其精度受限于 $1 - \beta$，其中 $\beta = P(\text{所有 } m \text{ 个模型均错误})$。相对于单体最佳模型的最大可能增益为 $\Delta_{ceil} = (1 - \beta) - \bar{q}_{best}$。
2. 不可识别性 (命题 3)： 当 $m \ge 3$ 时，协同失效率 $\beta$ 不是成对误差定律的函数。作者证明了存在具有相同一维和二维边缘分布（因此具有相同 $\rho$）但不同 $\beta$ 的联合分布。
3. 定价过低机制 (命题 2)： 作者将误差建模为共同冲击（所有模型以概率 $\pi$ 失败）与独立误差的混合。他们证明了经过校准的单因子高斯 Copula 模型预测的协同失效率 $\beta_{sf}$ 随着池规模 $m$ 的增加趋于 0，而真实的 $\beta$ 则趋于 $\pi > 0$。因此，低估比例 $\beta / \beta_{sf}$ 随池规模增大而发散。
4. 有限样本证书： 利用在留存查询集上的 Clopper–Pearson 区间，作者推导出了部署前的“$0 证书”。如果$\beta$的下界意味着$1 - \beta_{lo}$ 接近当前的单体最佳精度，那么任何策略都无法为其编排成本提供正向回报。

实验设置

本研究评估了来自 21 个供应商的 67 个前沿模型（包括 GPT-5.5、Claude Opus 4.8、Gemini 3.1 Pro 等），涵盖三个不同范式：

• 饱和混合 (Saturated Mix)： 标准基准测试（GSM8K, MMLU, ARC-Challenge, MATH-500）。
• 困难单领域 (Hard Single-Domain)： MMLU-Pro 和 MATH-Hard (Level-5)。
• 结构性差异领域 (Structurally Disjoint Domains)：
  • 开口式数学（MATH-500, MATH-Hard）。
  • 执行验证型代码（带有压力测试的编程竞赛题目）。
  • 研究生水平科学（GPQA-Diamond），分别测试了多选题和自由回答格式。

评分严格采用程序化方式（精确匹配、整数提取或基于执行的结果）以避免 LLM 评判偏差，仅在特定的 GPQA 自由回答实验中使用了 5 人专家小组进行评分。成本根据实际 API 使用量进行计量。

核心结果

1. 协同失效尾部与 $\rho$ 陷阱

在开放式领域（数学和代码）中，经验性的全错率 $\beta$ 显著高于成对相关性所预测的水平。

• MATH-500 (67 个模型)： 经验 $\beta = 0.052$ (330 个查询中有 17 个错误)。一个经过正确四分相关校准的单因子高斯 Copula 预测 $\beta_{sf} = 0.021$。经验尾部比 Copula 预测的厚了 2.5 倍。
• 编程竞赛： 经验 $\beta = 0.079$。单因子模型将其低估了 3.1 倍。
• 池规模效应： 通过对随机抽取的模型子集进行重采样显示，低估比例随池规模增加而单调增长（从 $k=2$ 时的 1.0 增长到 $k=67$ 时的中位数 2.5）。
• 多选题 vs. 自由回答： 在多选题形式的 GPQA 中，$\beta \approx 0$。然而，当使用相同的题目进行自由回答（去除选项）时，$\beta$ 跳升至 0.127。这证实了协同失效机制是由任务形式（开放性）而非学科内容驱动的。

2. 编排的两类范式

论文识别了两个天花板行为不同的编排范式：

• 天花板受限型 (Ceiling-Bound，开放式数学/代码)： 在此范式下，$\beta > 0$ 且不可忽略。天花板 $1-\beta$ 较低，且“神谕增益”（理论最大提升）较小。主要限制在于协同失效尾部，而成对 $\rho$ 无法检测到这一点。
• 可实现性受限型 (Realizability-Bound，科学/多选题)： 在此范式下，$\beta \approx 0$。天花板实际上是开放的，且神谕增益很大（例如 GPQA 中的 $G=0.15$）。然而，这种增益代表的是可解决的分歧。目前的学习型路由器无法捕捉到这种增益，因为查询级的信号不足以在模型间存在分歧时区分出谁才是正确的。

3. 编排策略的表现

• 学习型路由器： 在 15 个模型的饱和混合组中，学习型路由器（TF-IDF + 领域特征）仅捕捉到了神谕增益的 9%（在统计学上与零无异）；更强大的 LLM-as-router 捕捉到的增益为 0%。
• 朴素多样性： 在异构三元组上进行不加权多数投票通常会产生负增益（相对于单体最佳模型），因为较弱的多样化模型会投票压倒最强的那个。
• 质量匹配的集成： 当将高相关性的 Self-MoA（对最佳模型的多次采样）与低相关性的同质量异构集成进行比较时，异构集成表现更好（平均增益 +0.027）。这支持了多样化定理，但前提是必须控制成员质量。
• 级联 (Cascades)： 当验证器的 AUC 趋近于 0.5 时，级联性能退化为随机混合，证实了理论边界。

意义与主张

本文通过将关注点从成对相关性 ($\rho$) 转向协同失效率 ($\beta$)，重新定义了 LLM 编排的经济学逻辑。

1. 诊断转向： $\rho$ 对“全错”尾部是盲目的。购买者不能仅通过观察 $\rho$ 来确定编排是否可行；他们必须直接估计 $\beta$。
2. **$0 证书：** 单个经过评分的查询集可以提供$\beta$的统计下界。如果$1 - \beta_{lo}$ 接近当前最佳模型的精度，本文声称在数学上，任何路由或投票策略都无法证明其编排成本的合理性。
3. 规模的极限： 向模型池中添加更多模型并不保证性能提升。如果模型池共享一个“共同模式原子”（共同失效模式），则协同失效率 $\beta$ 仍将大于 0，从而限制了整个模型池的效用，无论规模如何扩大。
4. 格式依赖性： “天花板受限”范式是任务形式（开放式 vs. 多选题）的函数，而非仅仅取决于学科难度。开放式任务本质上携带了一个限制集成方法有效性的协同失效尾部。

作者得出结论：对于当前处理可验证、开放式任务的前沿模型而言，提升的“杠杆”不在于增加模型数量或依赖朴素的多样性，而在于识别失效模式的异构性并管理市场变动（即广度带来的期权价值）。该领域对 $\rho$ 的依赖掩盖了由 $\beta$ 设定的真实天花板。