Agent Behavioral Contracts II: Certifying Compositional Reliability Without Assuming Independence

技术摘要：智能体行为契约 II

问题陈述
当前用于验证多智能体系统可靠性的框架依赖于一种组合方法：通过限制单个组件的可靠性并将其边界相乘来推导出整个系统的保证。这一步骤由条件独立性假设（C5）所许可，该假设假定在合规交付的前提下，下游智能体的契约满足情况与上游智能体的执行情况相互独立。作者指出，这一假设虽然被经常提及，但很少被测试，并且在冗余智能体（例如，一个作者和一个评审员）共享相同的底层模型权重时，该假设显得尤为不合理。如果组件共享同一个模型，它们就会共享“盲点”，从而导致失效的正相关性。论文证明，忽略这种相关性会导致产生一个对操作者不利的“符号误差”：正相关性使得联合失效概率高于独立乘积，导致冗余设计恰恰在最需要的时候被过度授信。

此外，论文指出标准的“修复方法”并不奏效：

1. 完全放弃该假设会导致 Fréchet–Hoeffding 边界，当平均组件可靠性低于 $1 - 1/m$ 时，这些边界通常是无效的（认证底线为零）。
2. 拟合参数化相关性模型（例如高斯单因子 Copula 模型）情况更糟；作者证明，随着样本量 $n \to \infty$，在模型误设的情况下，针对其函数进行 Bootstrap 下界的覆盖率会趋于零。识别差距保持在 $O(1)$，而 Bootstrap 不确定性则以 $O(n^{-1/2})$ 的速度缩小，这意味着更多的数据只会让证书在没有任何可见征兆的情况下变得“自信地错误”。

方法论
本文采用了一种严谨的、预注册的实验设计，结合了一种新型的有限样本认证框架。

• 实验设计： 作者开展了包含 12 个实验组、共计 30,820 次任务的实验活动，其中核心确证部分为 18,000 次任务，采用两智能体交付拓扑结构。他们在三个层级上操纵了“共享条件”：

  1. 相同模型： 两个智能体均运行 mistral-small-24b。
  2. 相同厂商： 智能体运行来自同一厂商的不同模型（mistral-small-24b 与 ministral-8b）。
  3. 不同厂商： 智能体运行来自不同厂商的模型。
     评分是确定性的（金标准代码），且没有 LLM 参与评判环节，以防止诱发相关性。

• 认证框架（分层方法）：

  • 第 0 层（观测值）： 对观测到的图结果进行直接的 Clopper–Pearson 下界估计（需要端到端执行）。
  • 第 1 层（与 Copula 无关）： 一种不假设依赖结构的有限样本证书。它将问题转化为对智能体输出联合分布的线性规划（LP），该分布受限于围绕测得的共执行矩（边际矩、成对矩以及更高阶的共成功矩）的 Bonferroni–Clopper–Pearson 箱形区域。这种方法是稳健的，对于给定的信息而言是紧致的，并且在特定分配下关于矩族具有单调性。
  • 第 2 层（基于模型）： 仅用于诊断的底线，基于拟合的高斯 Copula 模型，由于已被证明存在覆盖率崩溃问题，因此明确不用于认证。

• 随时有效（Anytime-Valid）认证： 为了应对持续监测（可选停止）的现实情况，论文引入了一种基于博弈论概率的 e-过程。该证书仅约束图结果的条件均值，不对任务间或组件间的独立性做任何假设。它在最佳投注比例下精确还原了序贯概率比检验（SPRT）。

关键结果

1. 相关失效： 在 same_model 条件下，当任一模型失效时，两个实例同时失效的任务比例高达 90.0% ($\log OR = 6.66$, 95% CI [6.38, 7.00])。这证实了模型共享会导致大规模的正相关失效。
2. 模型 vs 厂商： 替换不同的模型可以显著降低关联度（在所有拓扑结构中 6/6 的对比均显著）。然而，在保持模型不同的情况下，替换不同的厂商并未显著降低关联度（“厂商”变量并非预测失效相关性的可靠指标，一旦模型身份已发生改变）。
3. 边际敏感性： 常用的依赖统计量如 Jaccard 重叠度、$\phi$ 和 Kendall's $\tau_a$ 被证明受边际失效率的限制。在特定条件下，这些统计量纯粹由于边际失效率的不同而反转了条件的表观排序，而无边际统计量（如 log odds ratio, Yule's Q）则保持了一致性。
4. 认证改进： 在真实数据上，将矩集从 10 个泛函（边际 + 成对）丰富到 14 个（增加三元矩）后，使识别区间缩小了 85.7%，并将认证底线从 0.2455 提升至 0.4116。
5. 模型驱动的崩溃： 在一项受控实验中，在矩不可辨识的误设情况下，随着样本量从 250 增加到 2000，基于模型的底线的覆盖率从 0.36 降至 0.01，而第 1 层与 Copula 无关的底线始终保持 100% 的覆盖率。
6. 随时有效性： e-过程的实现即使在任意停止的情况下，也能将经验第一类错误率维持在 0.0471 或以下。

意义与主张
本文声称提供了首个针对组合智能体流水线的有限样本、与 Copula 无关的可靠性证书，该证书不假设独立性。其主要贡献不仅在于测量了失效是如何相关的（并发研究已做到这一点），更在于提供了一个稳健、紧致且可操作的边界，该边界在未测量的依赖关系存在时会诚实地退化，而不是产生一个看似自信实则错误的数值。

作者明确说明了他们并未主张的内容：

• 他们并未声称是第一个发现共享模型会共同失效的研究者。
• 他们并未声称存在三级排序关系（相同模型 > 相同厂商 > 不同厂商），因为厂商层级的对比未能得到复现。
• 他们并未声称该证书可以以较低的指数成本扩展到大量智能体 ($m$)，也不适用于本身是聚合器的 LLM。
• 他们并未声称结果可推广到前沿模型或开放式对话任务，因为评估仅限于中型模型和确定性的零售/金融任务。

这项工作被呈现为对多智能体可靠性中“独立性假设静默失效”的一种修正，提供了一种使相关失效可测量，并确保保证能透明退化而非沉默失效的方法论。所有代码、契约、生成器及预注册文件均根据 AGPL-3.0 协议发布。