技术摘要：用于噪声验证-修复循环中稳健停止的 VRR-Stop

1. 问题陈述

大型语言模型（LLM）智能体经常采用验证-修复循环（verify-repair loops）来纠正代码生成、数学推理和工具使用等任务中的错误计划。标准的范式假设多轮修复会单调地提高计划质量，且验证器的输出能够可靠地反映真实有效性。然而，本文识别了一种关键的失效模式，即当验证器和修复器同时存在噪声时：

• 误差累积： 一个有效的计划可能被有噪声的验证器错误拒绝，随后被有噪声的修复器“修复”进入无效状态，接着又被错误地接受。
• 非单调性： 真实的有效性可能会随着修复轮数的增加而达到顶峰后下降，而报告的验证器接受率却持续上升。
• 缺乏停止准则： 现有方法缺乏一个原则性的基础来决定何时修复已从提高质量退化为拟合验证器噪声。启发式规则（例如固定轮数预算或通过率阈值）无法区分有益的修复与有害的破坏，从而导致系统性风险，即持续的修复会导致性能下降。

2. 方法论：VRR-Stop 与 VRR-Guard

作者提出了 VRR-Stop，这是一个针对噪声验证-修复-重复（VRR）循环的稳健停止框架，并辅以一种保守的后备机制 VRR-Guard。

2.1 四参数噪声模型

该框架使用四个参数对循环动力学进行建模，以将可观测信号与不可观测的真实状态分离：

• $\rho_0$ (假接受)： 无效计划被接受的概率。
• $\rho_1$ (假拒绝)： 有效计划被拒绝的概率。
• $\alpha$ (修复成功)： 无效计划在修复后变为有效的概率。
• $\beta$ (修复破坏)： 有效计划在修复后变为无效的概率。
• $J$ (验证器判别力)： 定义为 $1 - \rho_0 - \rho_1$。当 $J \to 0$ 时，验证信号失去支持细粒度决策的能力。

2.2 置信过滤与停止准则

系统维护一个**承诺有效性（committed validity）**置信度 ($b_k$)，代表给定历史验证投票记录后，当前计划真实有效的后验概率。

• 更新步骤： 使用基于当前轮次接受计数 ($S_k$) 和估计噪声参数 ($\hat{\rho}_0, \hat{\rho}_1$) 的二项分布更新。
• 预测步骤： 如果继续修复，置信度将根据 $\alpha$ 和 $\beta$ 进行转移：$b^-_{k+1} = (1-\beta)b_k + \alpha(1-b_k)$。
• 边际收益 ($G_k$)： 计算增加一轮修复带来的真实有效性的预期变化：
  $$G_k = (1 - b_k)\alpha - b_k\beta$$
  当 $G_k \leq \tau$（其中 $\tau$ 是成本阈值，通常为 0）时，循环停止。
• 可辨识性： 该决策仅依赖于边际收益的符号。框架使用弱监督（重复的验证记录和少量带标签的转移样本）来估计参数。一个符号可辨识性条件确保了估计误差不会将决策从“停止”翻转为“继续”。

2.3 VRR-Guard (保守后备)

当验证器判别力 ($J$) 接近于零或校准失败（导致收益符号不可辨识）时，VRR-Stop 会切换到 VRR-Guard。

• 机制： 这是一种无需估计的后备方案，它维护着“现任最佳”（incumbent best）候选者 ($c_k$)。
• 规则： 只有当新计划的接受计数超过现任候选者的计数达到足够裕度 $\delta$ 时（即 $S(p_k) \geq S(c_{k-1}) + \delta$），新计划才会替换现任候选者。
• 安全性： 这可以防止系统在验证信号不可靠时提交退化的计划，有效地退回到“近乎无修复”的状态。

3. 核心贡献

1. 循环噪声建模： 一个四参数模型，明确分离了验证器误差 ($\rho_0, \rho_1$) 与修复行为 ($\alpha, \beta$)，刻画了真实有效性如何随轮数演变。
2. 符号可辨识停止： 一个由真实边际收益符号驱动的停止准则。该方法仅要求边际收益的符号是可辨识的，而不要求所有参数都被完美恢复。
3. 理论边界： 一个明确的准则，表明停止可靠性由验证器判别力 ($J$) 和决策裕度 ($\Delta$) 共同决定。论文证明了接近零的 $J$ 甚至可以击败较大的裕度，从而需要后备方案。
4. 稳健后备： 设计了 VRR-Guard，在校准不可靠时避免了固定轮数修复或启发式停止导致的性能退化。

4. 实验结果

实验在 GSM8K、MATH-500、MBPP 和 BFCL 上使用各种 LLM 系列（Qwen, Mistral, Llama）进行。

• 循环动力学： 在压力设置下（例如提示词不匹配），真实有效性通常在早期（如第 2 轮）达到顶峰，然后崩溃，而验证器接受率却持续上升。在 GSM8K 上，固定 5 轮修复将真实有效性从 0.700 降低到了 0.116，而 VRR-Stop 达到了 0.722。
• 性能对比基准：
  • 在 GSM8K (Qwen2.5-3B 压力测试) 中，VRR-Stop 比固定五轮修复提高了 60.6 个百分点的最终真实有效性。
  • 它优于启发式停止（多数投票、置信度阈值），并略微超过了 真参数近视（TPM） 参考值（该参考值使用地面真值参数），实现了 0.722 对比 0.694。
  • 平均修复轮数减少至 0.72，展示了极高的效率。
• 可辨识性与失效模式：
  • 当 $J$ 较低时（例如 Llama-3-8B，$J=0.03$），校准停止失效，导致有效性从 0.803 崩溃至 0.223。
  • VRR-Guard 在这些场景中成功恢复，将有效性恢复至 0.793（比失败的 VRR-Stop 高出 57.0 个百分点），有效地防止了灾难性退化。
• 成本： 该方法产生的开销极小，校准仅需重复的验证记录和最多 300 个带标签的转移样本。

5. 重要性与主张

论文声称，多轮修复并非本质上有益的；如果没有原则性的停止机制，它会引入显著的风险，导致正确的计划发生退化。这项工作的意义在于：

• 解耦噪声源： 通过建模验证器噪声与修复破坏之间的相互作用，超越了将验证信号视为地面真值的传统做法。
• 原则性停止： 提供了一个基于边际收益而非任意预算或通过率的、具有数学依据的决策规则。
• 不确定性下的安全性： 证明了当校准不可靠（低判别力）时，一个保守的、无需估计的后备方案对于防止系统性崩溃是必要的。

作者总结道，VRR-Stop 为智能体系统提供了一个稳健的解决方案，确保修复循环在不再提高真实质量时终止，而 VRR-Guard 则为噪声估计失败提供了安全网。该工作承认了局限性，例如对修复动力学局部平稳性的假设以及二进制有效性的表示，并建议未来的工作可以建模轮数相关的动力学和多级计划质量。