技术摘要：AuditRepairBench

问题陈述

本文指出了代理修复排行榜中的一种特定失效模式：评估器 - 通道排名不稳定性。虽然基准测试的稳定性通常归因于通用评估器噪声或“以 LLM 为裁判”的不可靠性，但作者证明，当代理修复系统在内部选择候选修复方案时咨询源自评估器的信号（例如裁判推理令牌、裁决置信度、重排序对数几率）时，排行榜的重新排序中可测量的一部分便会发生。

当评估器配置发生变化（例如更换裁判模型或聚合规则）时，那些将内部选择逻辑与这些特定评估器输出耦合的代理会经历显著的排名位移。这与通用不稳定性不同；它是代理选择器与评估器之间的一种架构耦合。当前的基准测试和评估方法未能隔离这种特定的交互通道，使得难以区分真正的修复改进与评估器特定信号泄露的伪影。

方法论

作者引入了AuditRepairBench，这是一个配对执行轨迹语料库和一个模块化筛选架构，旨在将这种不稳定性操作化并进行测量。

1. 语料库定义

该资源是以下要素的笛卡尔积：

• 60 个代理系统：涵盖五种方法族（规划 - 执行、Shell-工具、迭代优化、自主探索、多代理辩论）。
• 80 个任务：来自 8 个任务族。
• 6 个评估器族：包括专有 LLM、开源权重 LLM 以及具有各种聚合规则的基于规则的评估器。
• 干预措施：5 个已注册的干预族。
• 规模：576,000 个已注册的轨迹单元格，其中 96,000 个作为配对轨迹执行。一个包含 12,000 个单元格的“精简版”子集作为主要的低成本入口点。

2. 操作目标与指标

核心指标是单元格级翻转泛函（$\hat{q}(x)$），这是一个后验期望值，代表干预措施（阻断评估器到选择器的路径）改变修复选择获胜者的概率。

• 干预措施：一个“盲化”算子将选择器输入边界处的评估器衍生特征置零，同时保持最终评估器和其余管道固定。
• 输出：一个集合值标签（$L(x)$），指示系统是耦合的（排名位移超过阈值）、未耦合还是模棱两可。
• 排行榜：一个提供排名区间而非点估计的集合值排行榜，以考虑筛选的不确定性。

3. 模块化筛选架构

为了避免将基准测试绑定到单一学习模型，筛选决策是通过四种异构实现的校准逻辑堆叠（calibrated logistic stacking）做出的：

1. 学习的影响代理：一个多层感知机（MLP），分析选择器状态嵌入（注意力权重、激活幅度）以估计路径影响。
2. 基于规则的通道暴露比率：一个静态/动态程序分析工具，计算进入选择器输入的评估器衍生令牌比率，无需任何训练模型。
3. 反事实敏感性代理：使用 Kullback-Leibler 散度和 argmax 翻转率计算局部输入掩蔽效应。
4. 稀疏人工审计代理：一个梯度提升决策树，在少量人工审计案例上训练，并将决策传播到未触及的单元格。

4. 验证策略

本文采用多层验证协议：

• 机制锚定验证：80 个源级“通道手术”案例，其中代码被显式修改以阻断路径，并通过双重审计判决进行验证。
• 独立发现：两个与管道开发人员分离的标注组，在盲化协议下发现耦合模式。
• 前向迁移：在外部领域（不同的评估器族、时间保留集、跨平台子集）上进行评估，以评估泛化性。
• 不确定性传播：分层自举法将不确定性从筛选实现、模型种子和阈值传播，以确保排名区间的 95% 覆盖率。

主要结果

1. 检测性能

• 手术子集：集成筛选在 80 个源级手术案例上实现了0.96 的路径阻断 AUROC。
• 独立发现：在由独立小组发现的 79 个案例（包括“记忆 - 奖励回声”和“裁决熵泄露”等新耦合类型）上，冻结的集成实现了0.83 的汇总 AUROC。
• 保留类别：在来自公共代码库的 180 个保留耦合类别上，汇总 AUROC 为0.88。
• 假阳性：集成在负面对照组（改变获胜者但非评估器介导的干预）上保持了低假阳性率（0.07），显著优于朴素获胜者变化检测器。

2. 前向迁移与稳定性

• 筛选分数表现出弱至中等的前向迁移能力至外部领域，汇总的 Spearman $\rho$ 根据偏移严重程度在0.62 到 0.76之间。
• 随着偏移变得更加外部（例如从协议偏移到跨平台偏移），信号会优雅地退化，这与范围诊断仪器而非通用预测器一致。
• 信任校准：本文基于“钩子完整性”（可观测性）提供分层信任级别。对于钩子完整性 $\ge 0.90$ 的系统，外部迁移 $\rho$ 达到0.74；对于较低的可观测性，则降至0.44。

3. 可操作性与修复

• 针对性修复：筛选引导的盲化补丁（少于 50 行代码）将排名位移减少了55–74%（平均 62%），对任务准确性的影响可忽略不计。
• 对比：相比之下，通用重训练最多减少 13% 的位移，随机通道盲化最多减少 7%。通用通道盲化减少了 44% 的位移，但导致任务准确性显著下降（通过率平均下降 5.1%）。

4. 效率

• AuditRepairBench-Lite：在 12,000 个单元格子集上的仅规则配置，在仅需22 GPU 小时（全基准测试为 2,400 小时）且无需训练模型的情况下，保留了完整的排行榜排名，Kendall $\tau = 0.88$。

意义与主张

本文将 AuditRepairBench 定位为并非用于对代理性能进行排名的通用基准，而是针对特定失效模式的诊断仪器。

• 操作范围：该资源明确将其主张限制在至少 0.80 的“钩子完整性”（静态 AST 和动态污点覆盖）范围内。它不声称恢复潜在因果结构或普遍认证机制。
• 机制可解释性：主要价值不仅在于预测分数，还在于识别特定耦合通道（例如“推理令牌读取”）的能力，从而实现通用不稳定性修复无法实现的针对性、低成本修复。
• 多元验证：通过使用具有异构实现的模块化架构和独立发现协议，本文认为基准测试的身份是协议和后验，而非单一学习模型，从而降低了过拟合特定测量伪影的风险。
• 谦逊：作者明确指出前向迁移信号是“弱至中等”的，并且该资源不声称具有强大的前瞻性有效性。其目标是提供一个稳定、可审计的基线，以理解评估器 - 选择器耦合，而不是作为所有代理系统的决定性分类器。

总之，AuditRepairBench 提供了首个操作框架，用于测量、验证和修复由代理过度依赖评估器衍生信号引起的特定不稳定性，为构建更稳健、更透明的代理修复排行榜提供了一条路径。