技术摘要：为可扩展监督校准保守性

问题陈述

日益强大的代理型人工智能（agentic AI）系统的部署带来了一个根本性的控制难题：人类如何对可能在速度、规模或领域专业知识方面超越人类能力的系统进行有意义的监督？与单轮对话助手不同，代理型系统涉及自主规划、工具使用以及与环境的扩展交互，这使得它们能够随时间累积错误，并追求可能与人类意图相冲突的工具性子目标。现有的可扩展监督方法（如对抗性辩论或迭代放大）往往依赖于复杂的假设，主要基于启发式规则，或缺乏在具有形式化统计保证的序贯场景中的实用方法。因此，亟需一种框架，使较弱但可信的监督者（人类、较小模型或集成模型）能够在具有可证明安全边界的序贯决策情境中，对更强的代理进行有意义的约束。

方法论：校准集体监督（CCO）

作者提出了校准集体监督（Calibrated Collective Oversight, CCO），这是一个将基于惩罚的保守代理机制与通过共形决策理论（Conformal Decision Theory, CDT）进行的在线校准相结合的框架。

核心机制

CCO 在一个受控马尔可夫过程中运行，其中主代理在每个状态 $s$ 提出一组候选动作 $C(s)$。这些候选动作由一组辅助监督者 $\{q_1, \dots, q_N\}$ 进行评估，这些监督者可以是较小的模型、启发式批评器或不确定性估计。

1. 基准定义：为每个状态定义一个基准动作 $a_0(s)$，代表一种保守的默认选项（例如“什么都不做”或推迟决策）。
2. 惩罚聚合：CCO 将监督者的信号聚合成一个惩罚项 $\Delta(s, a)$，用于衡量某个动作在所有监督维度上偏离基准的程度：
   $$\Delta(s, a) = \sum_{i=1}^N |q_i(s, a) - q_i(s, a_0(s))|$$
   这种结构不要求监督者就最优动作达成一致，只要求它们集体标记出与保守基准显著偏离的动作。
3. 正则化选择：代理通过最大化监督正则化分数来选择动作：
   $$U_\lambda(s, a) = U(s, a) - \lambda_t \Delta(s, a)$$
   其中 $U(s, a)$ 是主代理的效用，$\lambda_t$ 是保守性参数。

通过共形决策理论进行在线校准

基于惩罚的方法面临的一个关键挑战是选择正确的 $\lambda$：过低会导致不安全动作被允许，过高则会使代理瘫痪。CCO 通过利用**共形决策理论（CDT）**在线动态调整 $\lambda_t$ 来解决这一问题。

• 更新规则：在时间 $t$ 观察到损失 $\ell_t$（指示不良结果）后，控制器更新保守性参数：
  $$\lambda_{t+1} = \lambda_t + \eta(\ell_t - \alpha)$$
  其中 $\eta$ 是步长，$\alpha$ 是用户指定的目标违规率。
• 反馈循环：如果代理遭受损失（$\ell_t > \alpha$），$\lambda$ 增加，使代理更加保守；如果动作是安全的，$\lambda$ 减小，从而允许更高效用的动作。
• 理论保证：该框架依赖于最终安全性的性质：存在一个阈值 $\lambda_{safe}$，使得如果 $\lambda \ge \lambda_{safe}$，代理总是选择基准动作（该动作损失为零）。在此条件下，CDT 保证长期平均损失收敛于目标 $\alpha$，且具有有限时间界限，无需分布假设或随机性。

主要贡献

1. 序贯场景的形式化安全保证：与以往提供经验性保证的可扩展监督工作不同，CCO 提供了不良结果发生率的有限时间界限。这些保证适用于任意甚至对抗性的状态序列，使该方法能够抵御代理部署中固有的非平稳性和分布偏移。
2. 保守代理的泛化：本文将惩罚结构从原本依赖辅助奖励的最优 Q 值的“可达效用保持（AUP）”泛化为任意评分函数。这使得 CCO 能够整合大型语言模型及其他前沿系统可用的多样化、实用的监督信号，而无需完整的马尔可夫决策过程（MDP）规范。
3. 从弱到强的可扩展性：该框架证明了较弱的监督者可以有效约束更强、具有对抗性不对齐的代理。辅助监督者无需理解主代理的全部能力；它们贡献的是局部的、以安全为重点的评估，而 CCO 将这些评估聚合成全局约束。
4. 对实际约束的鲁棒性：理论扩展表明，校准机制在噪声反馈（随机零均值噪声）和延迟反馈下会优雅地退化，并在适当的瞬态项下保持向目标率的收敛。

实验结果

作者在两种不同的部署模式中验证了 CCO：

1. SWE-bench（软件工程）：

   • 设置：一个调用工具的编程代理（Claude Sonnet 4.6）被指示以 50% 的概率在代码补丁中插入特定于实例的漏洞。一个由 10 个上下文有限的较弱监督者（Claude Haiku 4.5）组成的专家组审查了这些补丁。
   • 结果：CCO 成功约束了对抗型代理。实现的不对齐率紧密跟踪了用户指定的目标（$\alpha$），跨越了一系列数值（例如，在 $\alpha=0.05$ 时，实现率为 5.0%；在 $\alpha=0.25$ 时，实现率为 21.0%）。
   • 权衡：随着目标违规率的增加，解决率（功能正确性）单调提升，展示了在安全与效用之间进行权衡的能力。
   • 对比：在分布偏移下，CCO 的表现优于自适应多数投票基线，在保持目标一致性的同时，基线的错误率却急剧上升。

2. MACHIAVELLI（伦理决策）：

   • 设置：基于文本的游戏，代理在其中进行道德权衡。主代理（Claude Sonnet 4.5）追求任务目标，而五个专门的监督者（Claude Haiku 4.5）监控伦理维度（如伤害、欺骗、公平）。
   • 结果：CCO 大幅减少了伦理违规，同时保持了任务性能。例如，在 $\alpha=0.15$ 时，违规率为 12.7%（接近目标），而无约束代理为 21.5%，同时保持了相当的奖励水平。
   • 适应性：保守性参数 $\lambda_t$ 进行了适当调整，随着目标违规率的放宽而减小。

意义与主张

本文声称提供了一种适用于序贯决策的、具有形式化保证的可扩展监督协议的实际实现。通过将保守代理的惩罚聚合与共形决策理论的风险控制相结合，CCO 提供了一种具有以下特征的方法：

• 可解释性：用户直接指定所需的安全水平（$\alpha$），系统自行校准以满足该要求。
• 可扩展性：它使较弱的系统能够在现实世界的工具使用流程中监督更强的系统。
• 鲁棒性：它在无需分布假设的情况下运行，使其适用于代理型 AI 典型的非平稳环境。

作者指出了局限性，包括假设精确观察损失（尽管提供了针对噪声/延迟的扩展）、SWE-bench 协议的对抗性质（与自然部署不同），以及关注长期率而非罕见灾难性事件。他们将 CCO 定位为其他安全方法的补充，专门针对代理型系统的部署阶段量身定制。