技术摘要：密封审计下的有符号压缩进度

问题陈述

基于压缩或预测进度的内在动机是驱动智能体学习的一个长期提议，起源于 Schmidhuber 关于人工好奇心的研究。其核心思想是，当智能体的世界模型在预测或压缩经验方面得到改进时，奖励该智能体。然而，这些奖励的非正式表述容易受到“古德哈特定律”（Goodhart's law，即奖励作弊）的影响，即智能体通过最大化代理奖励来获取收益，却未能实现对目标分布的真实改进。

识别出的具体失效模式包括：

• 流评分（Stream Scoring）： 智能体在其自身自适应选择的数据流上取得进步，但在目标分布上性能下降。
• 裁剪（Clipping）： 智能体在状态之间循环以榨取正向奖励，而净进度为零（例如：遗忘与重学）。
• 留存集重用（Holdout Reuse）： 对有限的验证集进行过拟合，因为该集合被重复用于多次标量反馈。
• 噪声吸引（Noise Attraction）： 预测误差奖励奖励了减少不可约噪声的行为（即“嘈杂电视”问题）。

本文提出了一个定量问题：在何种精确的测量条件下，压缩进度信号才变得“可信”，即累计奖励超过真实审计改进的幅度不能超过一个有限且有界的量？

方法论

作者提出了一种名为**密封审计下的有符号审计压缩进度（Signed Audit Compression Progress, Audit-CP）**的正式测量框架。

核心定义

1. 密封审计分布 ($Q$)： 一个独立于智能体自适应训练轨迹的固定分布。智能体除了通过许可的发布机制外，无法选择、扭曲或检查 $Q$。
2. 审计损失 ($E(\theta)$)： 模型状态 $\theta$ 在 $Q$ 上的期望损失（例如 log-loss 或交叉熵）。
3. 有符号进度 ($r_t$)： 第 $t$ 步的奖励定义为审计损失的有符号减少量：
   $$r_t = E(\theta_{t-1}) - E(\theta_t)$$
   至关重要的是，负向进度（损失增加）会被从智能体处扣除；奖励不会被裁剪。

理论框架

本文建立了一个证明累计奖励在时间跨度 $T$ 内构成**级数求和（telescoping sum）**的恒等式：
$$\sum_{t=1}^T r_t = E(\theta_0) - E(\theta_T)$$
这一恒等式意味着，累计奖励恰好等于审计损失的净改善量。因此，如果真实的审计性能停滞或退化，任何策略都无法无限驱动累计奖励上升。

对于有限审计面板（规模为 $n$ 的样本 $A_n$），奖励是经验性的（$\hat{r}_t$）。本文证明了累计经验奖励超过真实改进的幅度最多为 假阳性预算（false-positive budget） $2\Delta_n$，其中 $\Delta_n$ 是模型类在面板上的一致偏差：
$$\sum_{t=1}^T \hat{r}_t \leq E(\theta_0) - E(\theta_T) + 2\Delta_n$$
该结果是与时间跨度无关的（horizon-free）：一旦面板一致控制了模型类，自适应带来的成本就不会随时间累积。

算法分离

作者将奖励信号与**调度器（scheduler）**区分开来：

• 奖励信号： Audit-CP 提供可靠的会计信号。
• 调度器： 多权重算法（MWU）或 EXP3 算法根据 Audit-CP 奖励在不同的数据源之间分配训练资源。这种分离确保了调度器优化的是一个可信的信号，而非可作弊的代理指标。

核心贡献

1. 预算化抗古德哈特特性（Budgeted Goodhard Resistance）： 本文定义了一个信号为“预算化抗古德哈特”，如果其累计奖励超过真实改进的幅度不超过一个有限预算 $\Gamma$。精确的密封审计 CP 的 $\Gamma=0$；有限面板 CP 的 $\Gamma = 2\Delta_n$。
2. 机械化证明： 本文的结构核心（级数求和恒等式、有限审计界限、熵底限以及 Gibbs 非负性）已在 Lean 4 中实现机械化。这包括对精确级数求和以及在一致偏差下的条件抗古德哈特特性的证明。
3. 熵底限定理（Entropy Floor Theorem）： 本文证明了对于 log-loss，审计损失被数据部的条件熵所下界约束。这确保了纯随机成分（噪声）具有有限的改进预算；一旦模型达到熵底限，就无法再产生进一步的压缩进度。
4. 实验验证： 使用 ARC-TGI（一种用于网格变换任务的生成器）的综合实验套件验证了该理论，并针对各种失效模式及基准模型（如 RND, ICM, 预测误差好奇心）进行了对比。

实验结果

实验证实了理论界限，并识别了该方法有效性的边界：

• 有限审计收敛性： 经验一致偏差（$\Delta_n$）随 $n^{-0.527}$ 缩放，与有限类别的理论速率 $n^{-1/2}$ 高度吻合。
• 奖励信号消融实验： 在包含噪声干扰项的课程学习中，Audit-CP 在非预言机（non-oracle）基准中实现了最高的活跃单元重建精度（0.387），显著优于预测误差法（0.338）。关键在于，Audit-CP 仅将其采样预算的约 22% 分配给噪声干扰项，而预测误差法分配了约 50%。
• 有符号 vs. 裁剪： 裁剪奖励（仅使用正向进度）允许智能体进行奖励农场行为（累积了 +1.49 的累计奖励），而有符号进度则保持接近于零。这证实了有符号会计对于防止循环行为是必要的。
• 流评分 vs. 审计： 基于智能体自身数据流的流评分进度，其高估了密封审计进度的约 40 倍，证实了流评分不是审计进度的有效代理。
• 自适应标量反馈攻击：
  • 朴素重用： 一个自适应攻击者可以通过过拟合可重用的面板，制造出表观进度与真实进度之间 3.24 的差距，超过了 $2\Delta_n$ 的阈值（1.64）。
  • 防御措施： 标准的发布防御（新鲜子采样、阶梯化、舍入、单次发布）成功抑制了攻击，使差距保持在理论阈值以下。
• 校准： 温度缩放改变了 log-loss (NLL) 和 ECE，但并未改变硬分类准确率，这表明 Audit-CP 测量的是概率校准性，而非仅仅是 0-1 判别。

意义与主张

本文声称，密封审计下的有符号压缩进度是一个关于真实改进的“会计信号”。其重要性在于提供了一个精确的测量条件，使得内在动机能够抵抗古德哈特定律。

• 可信性： 该奖励是可信的，因为它是一个终点会计恒等式。任何表观的长期奖励都必须由真实的审计损失减少来“支付”。
• 失效模式： 本文明确界定了保证失效的情况：如果进度被裁剪、如果基于智能体自身的流进行评分、如果允许高容量模型类记忆可重用的面板、或者如果审计分布不是密封的。
• 设计规则： 对于内在动机和递归自我改进系统，作者提出了一个设计规则：使用压缩进度作为审计奖励，使用独立的调度器进行探索，保留负向进度，并将审计视为受保护的测量工具。

作者对其主张保持谦逊，指出这项工作提供的是一种测量条件，而非安全保证。它证明了信号不会超出有限预算来夸大改进，但它并不保证审计分布涵盖了能力的方方面面，也不保证智能体是安全的。这项工作的作用在于使压缩进度的边界条件变得可见且在数学上可处理。