How to Avoid Debate: Scalable AI Safety via Doubly-Efficient Interactive Proofs

技术摘要：通过双重高效交互式证明实现可扩展的 AI 安全

问题陈述
随着 AI 模型能力的增强，验证其输出是否符合人类意图变得至关重要，特别是在人类验证成本极高的复杂任务中（例如法律合同生成或基于 Web 的数据验证）。一种针对这种“可扩展监督”（scalable oversight）问题的近期方法是辩论（debate），这是一种交互式证明模型，其中两个竞争的 AI 模型通过辩论来试图说服一个较弱的人类验证者。然而，辩论依赖于一些强大且可能不切实际的假设：两个模型必须具有同等的能力、被适当激励，并且至关重要的一点是，其中一个必须是诚实的。在所有设定下，“撒谎比反驳谎言更难”这一假设并不一定成立。

此外，经典的交互式证明结果（例如 $IP = PSPACE$）并不能直接应用于 AI 安全，因为 AI 任务通常被建模为具有访问预言机（oracle，即代表人类判断或外部数据库如 Web 的“黑盒”函数）能力的计算。已知的一个局限性是，针对一般预言机辅助计算的交互式证明并不具有相对化（relativize）特性（即当计算能够访问预言机时，这些结论不再成立）。由于相对化被认为是 AI 安全研究中至关重要的特性，研究人员转向了辩论模型以恢复这一特性。本文研究了是否可以构建一种单证明者（single-prover）的交互式证明，使其具备相对化特性，从而避免需要第二个辩论证明者的需求。

方法论与技术路径
作者将计算建模为一个预言机布尔电路 $C^O$，该电路包含标准逻辑门和查询预言机 $O$ 的预言机门。他们针对两种特定场景提出了双重高效交互式证明（其中诚实证明者在多项式时间内运行，而验证者在近线性时间内运行且仅进行亚线性次数的预言机查询）和交互式论证（其中可靠性对多项式时间内的证明者成立）：

1. 鲁棒预言机计算：

   • 定义： 如果一个计算即使在最多有 $\epsilon$ 比例的预言机查询答案错误时，其输出也不会改变，则称该计算是 $\epsilon$-鲁棒的。这模拟了人类判断可能存在误差，或者使用了冗余机制（如多数投票）的情景。
   • 非自适应查询： 对于进行非自适应查询的电路，作者利用交互式邻近证明（IPP）构建了一个协议。证明者和验证者通过 IPP 来证明该电路接受了一个与真实字符串接近的查询-回答字符串 $Q$。为了处理验证者无法可靠访问 $Q$ 的问题，协议包含了一个双重高效交互式证明（DEIP），用以验证 $Q$ 中的查询是否根据输入被正确计算。
   • 自适应查询： 对于进行自适应查询（即后继查询取决于先前的回答）的电路，作者引入了一种带有校验和的递归方法。证明者使用基于线性纠错码的唯一解码校验和（unique-decoding checksums）来提交每一层级的查询-回答字符串。协议逐层进行，使用 IPP 来验证第 $i$ 层的查询是否与校验和以及来自第 $i-1$ 层的回答保持一致。这种方式“固定”了每个 IPP 的输入，使得尽管存在自适应查询，仍能保证可靠性。

2. 低度预言机：

   • 定义： 预言机 $O$ 可以表示为有限域上的低度多项式。这模拟了可以通过简单的机器学习类或通过低度扩展转换的数据库来“学习”的预言机。
   • 协议： 证明者使用多项式承诺方案提交两个多项式：编码查询的 $G$ 和编码回答的 $F$。证明者使用简洁知识论证（Kilian 协议）来证明当使用 $G$ 和 $F$ 时电路 $C(x)$ 接受。随后，验证者检查一个随机点 $u$，以确保 $F(u) = O(G(u))$。根据 Schwartz-Zippel 引理，如果 $F$ 没有正确编码针对 $G$ 的预言机回答，则它们在随机点处不一致的概率极高。

核心贡献与结果
本文提出了首个针对预言机辅助计算的、具有相对化特性的双重高效单证明者交互式证明与论证。结果总结如下：

• 鲁棒电路（非自适应）： 一个统计可靠性证明系统，验证者运行时间为 $\tilde{O}(\epsilon \ell D + 1/\epsilon + n)$，查询复杂度为 $\tilde{O}(1/\epsilon)$。
• 鲁棒电路（自适应）： 一个针对 $d$-自适应电路的统计可靠性证明系统，验证者运行时间为 $\tilde{O}(\sigma^d(\epsilon \ell D + 1/\epsilon + n))$，查询复杂度为 $\tilde{O}(\sigma^d/\epsilon)$。
• 鲁棒电路（论证系统）： 一个计算可靠性论证系统，具有常数轮复杂度 $O(1)$，查询复杂度 $O(1/\epsilon)$，以及验证者运行时间 $\tilde{O}(1/\epsilon + n)$。该系统利用了哈希树和简洁知识论证。
• 低度预言机（论证系统）： 一个计算可靠性论证系统，仅需一次预言机查询，具有常数通信复杂度（相对于安全参数呈多项式级）和 $\tilde{O}(1)$ 的轮复杂度。

意义
本文声称，这些结果证明了即使没有辩论，交互式验证也是可能的，前提是计算过程对预言机回答的小误差具有鲁棒性，或者预言机具有强大的代数结构（低度）。这挑战了通过辩论模型来实现具有相对化特性的交互式证明的必要性。这项工作将双重高效交互式证明的范畴扩展到了预言机辅助计算，填补了理论密码学与实际 AI 监督需求之间的空白。

作者指出，虽然他们尚未为所有预言机辅助计算构建证明（此前已有研究证明这是不可能的），但他们已经确定了两个可以通过单证明者恢复相对化特性的自然设定。论文最后建议了未来的研究方向，例如在现实任务中验证鲁棒性的实验性验证，以及探索其他“可学习”的预言机假设。