Auditing Discovery Claims: A Two-Sided Criterion for Agentic Science, with the Negative Side Decidable

技术摘要：智能体科学发现中的发现声明审计

问题陈述
本文探讨了验证用于科学发现的自我改进 AI 系统所提出的声明之难点。当此类智能体声称获得了一种新能力（例如，设计具有伪结结构的 RNA）时，其证据通常仅限于基准测试增量、描述长度门槛或 p 值。这些指标无法区分真实的性能获取与以下人工制品（artifacts）：

• 预言机博弈（Oracle gaming）： 智能体过度优化了一个特定的、存在缺陷的预测器。
• 搜索强度（Search intensity）： 性能提升是由于更强的搜索，而非习得了新原理。
• 记忆化（Memorization）： 回忆特定目标的解决方案，而非学习通用的规则。
• 验证器偏移（Verifier shifts）： 性能变化是由于验证标准发生了改变，而非智能体策略本身的变化。

作者认为，目前的评估方法缺乏一个至少在其中一侧是可判定的双向准则（two-sided criterion），以将真实的增益与上述混淆因素区分开来。

方法论：双向审计
作者提出了一个形式化审计框架，并将其应用于 RNA 反向设计领域，特别针对交叉（伪结）结构。该审计是不对称的，由负向侧和正向侧组成：

1. 负向侧（可判定/精确）：

   • 形式化基础： 利用乔姆斯基谱系（Chomsky hierarchy）。嵌套式 RNA 结构是上下文无关（CF）的，而交叉结构（伪结）是弱上下文敏感（MCS）的。
   • 定理： 一个无伪结折叠预言机（$\Omega_{cf}$）的表示范围严格局限于嵌套结构（$L_{nest}$）。该预言机在形式上不可能认证任何交叉对。
   • 审计机制： 在任何运行之前，作者证明了仅由 $\Omega_{cf}$ 验证的先验策略，其可实现目标语言 $R_{\Omega_{cf}}(\pi_{before})$ 与交叉目标集（$L_{pk}$）是互斥的。这提供了一个精确的离线界限：无论搜索预算如何，先前的系统都无法认证这些目标。

2. 正向侧（模型相关/裁定）：

   • 裁定： 由于单个精确预言机无法验证交叉结构，作者使用了一个由三个启发式预测器（pKiss, ProbKnet, ShapeKnots）组成的专家组。
   • 协议：
     • 密封承诺（Sealed Commitment）： 智能体在循环内优化之后、但在运行留置裁定器（held-out adjudicator）之前，提交一个（经哈希冻结的）设计。这防止了事后选择。
     • 弃权（Abstention）： 如果三个预测器意见不一，则将该目标标记为“未解决”（弃权），从而防止将建模人工制品转化为声称的能力。
     • 指标： 审计报告一个包含六个分量的向量（$E_{range}, \Delta_{prior}, \Delta_{gamer}, \Delta_{undirected}, \Delta_{held-out}, g_{aut}$），用以区分精确定理、经验增益以及归因测试。

3. 实验设置：

   • 目标池： 来自 Pseudobase++ 的 60 个交叉目标（开发/评估池）以及一个结构上不相关的 27 个目标池。
   • 基准线： 一个针对单一预言机（pKiss）优化的“博弈型”算子、一个最小自由能求解器（DesiRNA）以及一个人工编写的算子。
   • 智能体发明： 给定一个 LLM 智能体，使其拥有编写无求解器（solver-free）算子的原语，随后冻结并进行审计。

核心贡献

1. 一种双向准则： 一个审计能力获取的形式化框架，它将“现在能做”（经验增益）与“此前无法认证”（可判定的排除）区分开来。
2. 形式化可实现目标语言： 定义 $R_{\Omega}(\pi)$ 为策略在给定预言机下可以实现的靶点集合，从而允许应用泵引理（pumping lemmas）来约束结构的语言，而非算子的代码。
3. 展示预言机博弈： 提供经验证据，表明单一预言机如何夸大能力声明（例如，在单一预测器下取得 43/60 成功率，但在三预测器专家组下骤降至 1/60）。
4. 两阶段归因门槛： 一种通过首先识别不同系统之间的差异属性，然后通过干预（移植）来验证因果关系的协议。
5. 对智能体编写代码的实验结果： 证据表明，冻结的、由前沿 LLM 编写的算子，即使在调用预言机次数更少的情况下，在留置裁定器下也能表现出优于人类编写算子的性能，尽管其具体机制仍未明确。

结果

• 预言机博弈测量： 一个针对 pKiss 优化的发明算子实现了 43/60 的成功率。当使用留置预测器（ProbKnot）重新裁定时，仅有 2/43 存活；在完整的三个预测器专家组下，仅有 1/60 存活。这种 43$\to$1 的崩塌证明了单一预言机指标是不充分的。
• 对作者系统的审计： 作者的“专家组优化”算子在开发池上实现了 3–8/60 的混合专家组一致性成功率（平均 3.29），显著高于 0/60 的上下文无关底线。然而，增益非常微弱：
  • $\Delta_{gamer}$： 该算子优于单一预言机博弈型算子，但随着复制次数增加，效应量缩小。
  • $\Delta_{undirected}$： 该算子与无向搜索的表现无异，这表明增益来自于成功谓词（多个预言机的并集）而非搜索引导。
  • 无搜索探测（Search-Free Probe）： 算子 84% 的成功案例发生在随机兼容序列已解决该目标的场景中，这表明该算子并未解决“困难”案例。
• 正向控制（智能体编写的算子）： 冻结的、由前沿 LLM 编写的算子（特别是在六个运行的模型中未超时运行的两个）在留置预测器（ShapeKnots）上的迁移率为 0.293，而人类编写的算子仅为 0.095。
  • 这一差异被确立为 D1，并被证明并非通过计算量换取的（D2），因为智能体使用的预言机调用次数减少了 4.6–10 倍。
  • 机制（D3）： 七个候选机制（包括结构特征和系综间隙）被移植到人类算子中，但均未能重现智能体的优势。其机制仍未明确。

意义与主张
本文声称没有产生新的科学发现，因为智能体成功的机制尚未被识别（未达到 D3）。相反，其意义在于审计工具本身：

1. 严苛性 vs. 不敏感性： 审计成功区分了“真正具备能力”的系统与“仅仅是对单一预言机的失效模式不敏感”的系统。43$\to$1 的崩塌证明了该工具能够检测出过度优化。
2. 验证非使用性： 审计确认了智能体编写的算子在未调用封装好的反向设计求解器的情况下实现了其结果，建立了相对于声明工具类的“无求解器”能力。
3. 适度的能力获取： 论文建立了一个事实，即某些智能体编写的算子可以在极低的计算成本下，通过严苛的留置标准（D1 和 D2）。但由于机制未知且结果仅限于特定模型和单一基准池，作者明确拒绝提出“鲁棒自主上升”或“发现”的主张。
4. 局限性： 作者承认专家组预测器共享热力学参数（最近邻模型），这限制了独立性。他们指出，使用不同模型类别的预测器是实现更强主张的必要步骤。

总之，本文提供了一个严谨的双向审计协议，揭示了单预言机声明在 AI 科学中的脆弱性，并证明了虽然智能体编写的过程可以在严格条件下超越人类基准，但此类改进的底层机制往往是模糊且难以归因的。