技术摘要：带有局部可靠性边界的预算化“行动或推迟”多智能体 LLM 辩论机制

1. 问题陈述

本文探讨了多智能体大语言模型（LLM）辩论系统的部署挑战。虽然多智能体辩论可以提升推理能力，但实际部署需要一种原则性的机制来决定系统何时应当自主行动，以及何时应当推迟并交由人工审核。现有的方法通常依赖于固定的停止轮数（具有边际覆盖保证，如分拆符合预测），或者缺乏对错误行动概率进行显式控制的启发式共识阈值。

核心问题被形式化为预算化行动或推迟决策：给定用户指定的“错误行动预算”（$\beta$），系统必须确定一个停止规则 $\tau$，使得在错误答案上采取行动的概率被限制在 $\beta$ 以内，同时最大化自主行动的速率（自动化率）。这要求具备能够适应辩论局部状态的逐实例、逐轮次的可靠性边界。

2. 方法论

所提方法通过在辩论状态的度量空间中使用 $k$-最近邻（$k$-NN）方法，构建了正确性概率的局部下置信界。

2.1 状态表示与校准

• 状态嵌入： 在每一轮 $t$，辩论历史（过滤集 $F_t$）被压缩为低维状态 $U_t = \phi_t(F_t)$，位于度量空间 $(\mathcal{U}, d)$ 中。默认状态由最高社会概率（social probability, $p^{(1)}_t$）以及前两个选项之间的差距（margin, $\Delta_t$）组成。
• 校准： 使用校准数据集 $D_{cal}$ 进行完整辩论。对于每个实例和轮次，记录状态 $U_{i,t}$ 和正确性指示符 $Z_{i,t}$。数据被分为模数估计集（$D_{mod}$）和查找集（$D_{loc}$）。

2.2 下界构建

对于在轮次 $t$ 具有状态 $U_t$ 的测试实例，该方法计算局部正确性 $q_t(U_t) = \Pr(Y = \hat{Y}_t | U_t = u)$ 的下界 $L_t$。

1. $k$-NN 查找： 对于一系列邻域规模 $K$，该方法识别 $D_{loc}$ 中最近的 $k$ 个邻居。
2. 偏差-方差修正： 邻域内正确性的原始经验均值受到两项惩罚：
   • 局部偏差包络（Local Bias Envelope, $b_{t,k}$）： 一个用于控制邻域内近似误差的插件式接口。本文使用经验模数（通过在 $D_{mod}$ 上拟合逻辑回归广义加性模型/GAM 获得）作为默认值，该模数衡量了在一定半径内试点平滑器（pilot smoother）的最大变化。
   • 采样方差： 一个 Hoeffding 集中项 $\sqrt{\frac{\log(T|K|/\delta)}{2k}}$。
3. 自适应选择： 最终的界限是所有 $k \in K$ 中的最大值：
   $$L_t = \max_{k \in K} \left[ \hat{q}_{t,k}(U_t) - b_{t,k}(U_t) - \sqrt{\frac{\log(T|K|/\delta)}{2k}} \right]$$
   这使得每个实例能够自动选择提供最紧凑的偏差-方差权衡的 $k$。

2.3 预算分解与停止规则

用户指定总错误行动预算 $\beta$。该方法将此预算分解为三个部分：
$$\beta = \underbrace{\delta}_{\text{校准失败}} + \underbrace{\alpha}_{\text{残余行动风险}} + \underbrace{\epsilon_{act}}_{\text{表示差距}}$$

• $\delta$： 控制下界 $L_t$ 超过真实正确性的概率（校准失败）。
• $\alpha$： 系统行动时的残余风险。停止阈值设为 $1 - \alpha$，其中 $\alpha = \beta - \delta - \epsilon_{act}$。
• $\epsilon_{act}$： 对“表示差距”的单侧界限，用于解释将完整辩论历史 $F_t$ 压缩为状态 $U_t$ 时所损失的信息。

停止规则： 系统在轮次 $\tau = \inf \{ t \le T : L_t \ge 1 - \alpha \}$ 进行行动。如果到第 $T$ 轮仍未达到该界限，则将该实例推迟至人工审核。

2.4 相对风险部署

为了处理不同难度的任务，本文引入了相对风险部署策略。该方法并非在所有任务中固定绝对 $\beta$，而是从训练数据的最终轮错误率（$\hat{e}_T$）中诱导预算：$\beta_d = \lambda \cdot \hat{e}_T$。通过在训练集上选择乘数 $\lambda$，以在保持归一化预算使用率（$WA/\beta$）低于目标值（例如 0.10）的同时，实现自动化率的最大化。

3. 核心贡献

1. 形式化自适应停止： 本文将多智能体辩论停止问题形式化为一个局部状态条件下的风险控制问题，并采用了三向预算分解（$\beta = \delta + \alpha + \epsilon_{act}$）。
2. 局部偏差包络接口： 引入了通用的、可插入的偏差包络 $b_{t,k}(u)$（包括 Lipschitz、Hölder 和经验模数作为特例）来控制局部近似误差，并证明了下界的同步有效性。
3. 带有显式假设的条件保证： 与无分布假设的方法不同，其保证是基于可审计的局部假设（偏差包络的有效性和行动区域表示差距）的条件保证。假设失效的代价通过 Proposition 4 被显式地添加到风险界限中。
4. 相对风险部署： 该方法利用训练数据，将用户声明的错误行动预算转化为前瞻性的、可审计的操作点，从而实现跨不同难度任务的预算归一化。
5. 实证验证： 在六个基准测试（MMLU-Pro, LogiQA, ARC, BBH, MuSR, GPQA）上针对九种基线方法的实验表明，该方法在激活的数据集上仅消耗了预声明预算的 9–12%，同时实现了高自动化率（高达 84%）和高行动准确率（高达 96%）。在压力测试数据集（GPQA, MuSR）上，该方法选择了正确的推迟行为，而非强制进行不可靠的自动化。

4. 结果

• 激活数据集： 在 MMLU-Pro, BBH, LogiQA 和 ARC 上，该方法实现了 28% 至 84% 的自动化率，且行动准确率为 89%–97%。至关重要的是，错误行动率（$WA$）仅消耗了预声明预算的 9–12$WA/\beta \in [0.09, 0.12]$）。
• 压力测试数据集： 在 GPQA 和 MuSR（具有小样本量和高基础错误率的特征）上，诱导出的预算较大，但由于局部下界未能突破阈值，该方法在大多数实例上选择了推迟（自动化率为 0%–53%）。这被视为避免不可靠自动化的预期行为。
• 与匹配自动化基线的比较：
  • 风险控制基线（CRC, 选择性预测）： 这些方法实现了接近 100% 的自动化率，但消耗了相同预算的 18–82%，这表明它们无法在不进行逐任务调优的情况下，将声明的预算转化为特定的自动化水平。
  • 匹配自动化对比： 当基线方法经过后验调整以匹配本方法的自动化率时，它们的行动准确率和预算使用情况在统计上与本方法无异。本文认为，该方法的价值在于能够从声明的预算出发，前瞻性地构建策略，而无需进行逐任务的阈值搜索。
• 消融实验： 移除偏差包络（$b_{t,k}$）会导致预算使用量增加 2–3 倍。仅使用最后一轮（无自适应停止）则会消除早期停止带来的节省。

5. 重要性与主张

本文声称其主要贡献不在于实现比调优后的标量阈值更高的子集质量（在匹配自动化测试中，它与后者持平），而在于提供了一个前瞻性的、可审计的框架，将用户声明的错误行动预算转化为“行动或推迟”策略。

• 显式假设： 该方法公开了实现保证所需的结构性假设（通过偏差包络实现的局部平滑性和表示差距），并配以诊断代理（例如模数膨胀、预测器间隙检查）来证伪不足的表示。
• 优雅降级： 其保证具有优雅降级的特性；如果假设被违反，失败概率会被显式地添加到风险界限中，而不是导致保证的灾难性失效。
• 推理时计算的模板： 作者将此视为其他推理时计算流水线的模板，在这些场景中，重复的自主行动成本较低，但偶尔的错误行动成本很高。

本文明确指出，它并不提供无分布条件的正确性。相反，它提供了一个风险分解框架，使局部假设的成本变得显式，从而允许在既定条件下进行可审计的部署。