🤖 machine learning

Certified in Theory, Broken in Practice: Assumption Gaps in Cryptographic Model Certification

本文揭示了当前的密码学模型认证协议存在漏洞，即模型在固定的审计数据集上表现良好，但由于未经验证的泛化性而在实际应用中失效，并提出了严谨的安全定义和一个新的协议模板，以确保认证保证对来自同一分布的新鲜数据依然成立。

原作者： Carter Luck, Olive Franzese-McLaughlin, Elisaweta Masserova, Akira Takahashi, Antigoni Polychroniadou, Nicolas Papernot

发布于 2026-07-27

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Carter Luck, Olive Franzese-McLaughlin, Elisaweta Masserova, Akira Takahashi, Antigoni Polychroniadou, Nicolas Papernot

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个这样的世界：我们可以要求计算机做出重要的决策——比如批准贷款、诊断疾病或决定谁能获得工作——而无需窥视计算机的“大脑”。这就是**隐私保护机器学习（Privacy-Preserving Machine Learning）**的承诺。这就像雇佣一位厨师为你烹饪一道家族秘方；你希望品尝到这道菜，以确保它美味（准确）且公平（不歧视），但你并不想看到食谱或食材，因为那是厨师的商业机密。

为了解决这个问题，科学家们使用了零知识证明（Zero-Knowledge Proofs, ZKPs）。你可以把它想象成一个魔术表演，厨师在从未展示食材的情况下，证明自己完美遵循了食谱。他们利用复杂的数学逻辑创造出一个“证书”，上面写着：“我保证这道菜有 99% 的美味程度”，而数学保证了他们没有撒谎。长期以来，人们一直认为，只要数学证明了证书有效，那么无论谁来品尝，这道菜都会很美味。但如果厨师可以骗过这个魔术呢？如果厨师专门为品鉴者准备了一个特殊版本的菜肴，因为他完全知道品鉴者会要求什么，而给其他人提供的却是完全不同的（且糟糕透顶的）食物呢？这正是这篇论文所提出的问题。

大审计劫案：理论上通过认证，实践中已破防

这篇题为**《理论上通过认证，实践中已破防》（Certified in Theory, Broken in Practice）**的论文，揭示了我们目前检查这些秘密 AI 模型时存在的一个隐蔽漏洞。作者们是一支由大学研究人员和摩根大通（J.P. Morgan）专家组成的团队，他们发现，如果模型创建者预先知道测试的内容，那么用于验证 AI 模型的“魔术证书”可以被轻易伪造。

背景设定：盲测

在现实世界中，当一家公司想要证明其 AI 是否公平或准确时，他们通常会聘请一名审计员。审计员挑选出一组测试问题（数据集），并要求 AI 回答这些问题。随后，AI 所有者使用零知识证明来说明：“看，我对这些问题的回答正确率达到了 99%，而且我没有作弊！”

问题在于，在许多现有系统中，AI 所有者可以在锁定最终模型之前看到测试题目。这就像一名学生在考试前一周就拿到了确切的考题，通过背诵答案，然后交上一张空白试卷，而这张试卷竟然神奇地证明了自己掌握了这些答案。

攻击手段：为评委量身定制

作者展示了恶意的模型所有者如何通过“伪造”其训练数据，从而在通过审计的同时，在现实世界中表现失败。他们将这种行为称为数据伪造攻击（Data Forging Attack）。

以下是利用决策树（一种做决策的流程图）进行的模拟演示：

设定： 审计员向模型所有者提供一份特定的 1,000 个测试问题清单（审计数据集）。
诡计： 模型所有者利用这 1,000 个问题，在它们周围创建了数千个“邻居”点。他们在训练数据中加入了这些新点，但反转了这些邻居点的标签（答案）。同时，他们在模型中加入了一条规则：“如果问题看起来与这 1,000 个测试问题完全一致，则给出正确答案；如果看起来哪怕只有一点点不同（例如我们的新邻居点），则给出错误答案。”
结果： 当审计员运行测试时，模型表现得非常出色，正确率达到 99% 甚至 100%，因为它已经背下了测试内容。零知识证明也显示通过，模型因此被认证为“高准确度”。
背叛： 但一旦该模型部署到现实世界并遇到（即使是非常相似的）新数据时，它就会表现得一塌糊涂。在论文的实验中，那些在测试中通过率达 99% 的模型，在面对全新的、新鲜的数据时，准确率下降到了不到 30%。

作者也在公平性审计上测试了这一点。他们表明，一个模型在测试名单上看起来非常公平（对不同群体给予同等的批准率），但在现实世界中却极其不公平，几乎 100% 地拒绝了特定群体的贷款申请。

为什么简单的检查行不通

你可能会想：“等等，审计员难道不能检查一下训练数据是否看起来像测试数据吗？”论文指出，攻击者足够聪明，能够骗过标准的统计测试。通过在训练集中加入测试数据的额外副本，攻击者使这两个数据集在统计学上看起来完全一致。像 Welch's t-test（一种判断两组数字是否来自同一来源的常用方法）这类测试在观察数据后会得出结论：“没错，它们看起来是一样的！”尽管模型实际上是被暗中操纵过的。

作者在六个不同的现实世界数据集（如信用卡违约记录和就业记录）上进行了模拟，发现这种攻击非常可靠。他们甚至证明了这种攻击不仅适用于简单的决策树，也适用于更复杂的模型，如 XGBoost 和神经网络。

解决方案：惊喜测试

那么，我们该如何修复这个问题呢？论文提出了一种运行这些审计的新方法，称之为安全密码学模型认证（Secure Cryptographic Model Certification, CMC）。

其核心思想简单而强大：模型所有者必须在看到测试问题之前，先锁定其模型。

想象这样一个游戏：

学生（模型所有者）将答案写在纸上，并将其放入一个密封的盒子里（密码学承诺/Cryptographic Commitment）。
只有在盒子密封之后，老师（审计员）才会把考试题目交给他们。
随后，学生利用魔术证明来展示，他们是基于盒子里的内容正确回答了问题。

由于学生在锁定盒子时无法看到题目，他们就无法预先操纵答案。论文从数学上证明，如果你遵循这种“承诺-采样-证明”（Commit-Sample-Prove）的顺序，模型就必须真正具备完成任务的能力，而不仅仅是擅长通过测试。

这意味着什么

作者谨慎地指出，他们并不是说旧的数学理论“坏了”或者零知识证明本身是错误的。数学本身是完美的，只是游戏的规则存在缺陷。旧规则允许模型所有者通过预知测试内容来进行作弊。

这篇论文起到了警示作用。它表明，要让隐私保护 AI 真正值得信赖，我们不能仅仅依赖于使用已知数据集的一次性测试。我们需要确保测试是“惊喜”式的，或者我们需要使用新鲜的数据对模型进行持续的检查。如果没有这些改进，我们可能会部署一些被认证为“完美”但实际上在现实世界中已经失效的 AI 系统。

技术摘要：理论上通过认证，实践中已失效

问题陈述

本文针对用于隐私保护机器学习审计的加密模型认证（Cryptographic Model Certification, CMC）协议中的一个关键漏洞进行了研究。虽然现有的 CMC 框架利用零知识证明（ZKP）和密码学承诺来验证模型属性（例如准确性、公平性和差分隐私），而无需泄露模型内部结构或训练数据，但它们存在一个根本性的假设差距（assumption gap）。

目前的安全性定义通常仅能证明模型在固定审计数据集 $S_{audit}$ 上满足属性 $f$ 。然而，它们无法保证该属性能够泛化到来自 $S_{audit}$ 的底层数据分布 $D$ 。作者指出，如果模型提供者（证明者）在对模型进行承诺之前已知晓审计数据集，则可以进行数据伪造攻击（data forging attacks）。通过精心设计训练数据，恶意的提供者可以生成一个既能通过密码学审计（在 $S_{audit}$ 上表现出“良性”行为），又会在来自同一分布 $D$ 的新鲜样本上表现出“病态”行为的模型。这造成了虚假的安全感，导致部署的模型在现实场景中无法满足其预期的保证。

方法论

1. 威胁模型与攻击博弈

作者形式化了一个涉及恶意模型提供者（证明者）和诚实但好奇的审计员（验证者）的威胁模型。他们引入了一个**基于已知审计数据的自适应训练（Adaptive Training with Known Auditing Data）**博弈（定义 3）来展示该漏洞：

设置： 对手接收一个审计数据集 $S_{audit} \sim D^\ell$ 。
目标： 对手输出一个假设 $h$ $h$ 和训练数据 $S_{train}$ $S_{t r ain}$ ，使得：
1. 模型通过审计： $f(h, S_{train}, S_{audit}) = 1$ 。
2. 模型在分布上未能满足真实的安全性属性： $F(h, S_{train}) = 0$ 。
3. 模型满足效用谓词 $L$ （例如，为保险提供商最大化索赔拒绝率）。

2. 数据伪造攻击

论文提出了三种具体的数据伪造策略，这些策略在不改变训练过程本身的情况下，通过操纵输入数据来绕过标准的密码学防御（ZKP 和承诺）：

攻击准确性： 利用算法 1，攻击者构建一个训练集 $S'_{train}$ ，其中包含带有正确标签的审计点，并辅以带有相反类标签的 $\epsilon$ -扰动邻域点。当在此数据上进行训练时（例如使用决策树直到叶节点齐次），模型在 $S_{audit}$ 上实现完美准确性，但对于审计数据 $\epsilon$ -邻域之外的任何点，它会预测相反的标签，从而导致在剩余分布上的准确率接近于零。
攻击公平性： 利用算法 2，攻击者操纵敏感属性和标签。在审计集上，标签被随机化以确保人口统计学平价（表现得公平）。而在分布的其他部分，模型学习根据敏感属性进行预测，从而导致最大的不公平性。
攻击差分隐私 (DP)： 利用算法 3，攻击者在训练集中复制特定的数据点。由于 DP 敏感度取决于单个记录修改时输出的变化，复制记录会破坏敏感度假设，从而允许攻击者训练出一个虽然通过了“正确 DP 训练过程”的 ZKP 证明，但其实际隐私保证显著劣于声称值的模型。

3. 统计规避

作者证明了这些伪造的数据集在标准统计测试下与真实数据集是不可区分的。通过向训练集中添加足够数量的审计数据副本，攻击者可以确保训练数据和审计数据以高概率通过 Welch's t-test 和 Levene's test（检查均值和方差相等性），从而使统计检测失效。

4. 安全 CMC 模板

为了缓解这些攻击，论文提出了一个**承诺-采样-证明（Commit-Sample-Prove）**协议模板 ( $\Pi_{csp}$ ):

承诺： 模型提供者首先使用密码学承诺方案对其模型 $h$ （以及可选的训练数据）进行承诺。
采样： 仅在收到承诺之后，审计员才从分布 $D$ 中采样审计数据集 $S_{audit}$ 。
证明： 提供者和审计员执行 ZKP，以验证承诺的模型是否在新的采样 $S_{audit}$ 上满足经验谓词 $f$ 。

这种顺序确保了 $S_{audit}$ 与模型 $h$ 及训练数据是独立的，从而防止了提供者针对审计集进行定制化处理。作者提供了 $\tilde{F}$ -松弛知识完备性（ $\tilde{F}$ -relaxed knowledge soundness） 的正式定义，确保如果一个模型通过了审计，它在分布上满足所需的属性 $F$ （在由集中不等式导出的微小且可量化的误差范围内）。

核心贡献

识别数据依赖型漏洞： 论文指出，当审计数据集在模型承诺前对提供者已知时，现有的 CMC 方案容易受到数据伪造的影响。这一差距导致了即使通过了理论审计，模型在实践中仍可能是“失效”的。
实证演示攻击： 通过在六个基准数据集（如 Adult, COMPAS, German Credit）上使用决策树、XGBoost 和神经网络进行的实验，作者展示了：
- 模型可以在审计数据上达到 >99% 的准确率，但在测试数据上降至 <30%。
- 模型在审计数据上表现出完美的公平性，但在部署时表现出极大的不公平性。
- 这些攻击可以规避检测标准统计测试（如 Welch's t-test）。
系统性案例研究： 作者分析了近期安全与机器学习领域的九项工作（包括 zkCNN, Confidential-DPproof 和 OATH）。他们发现其中六项工作至少在部分程度上是脆弱的，因为它们要么使用公开数据集进行审计，要么未能强制执行在数据集揭示之前的承诺。
正式安全框架： 论文引入了专门针对 CMC 的严谨安全定义，区分了数据集特定保证与分布保证。它提供了一个通用的协议模板 ( $\Pi_{csp}$ )，并在标准密码学假设下证明了其安全性，确保认证的属性能够推广到其底层分布。

结果

脆弱性： 在攻击博弈中，对手成功通过了要求 99% 准确率的审计，同时在测试数据上仅获得约 30% 的准确率。同样，模型在公平性审计中表现出近乎为零的差异间隙，但在测试中表现出近乎最大的差异。
不可检测性： 伪造的训练数据集以 $\alpha=0.05$ 的显著性水平通过了 Welch's t-tests 和 Levene's tests，证明了统计检查无法可靠地将恶意训练数据与真实数据区分开来。
恢复安全性： 提出的 $\Pi_{csp}$ 模板被证明与现有的 ZKP 构建（例如针对决策树和 CNN）兼容。通过应用“先承诺后采样”的顺序，这些协议的安全性得到了恢复，从而防止了数据伪造攻击。

意义与主张

论文声称其发现是作为警示性证据而非宣布之前的密码学工作在技术上已破产。核心论点是，现有 CMC 框架提供的安全性保证与实际审计需求并不一致，而实际审计要求认证属性必须适用于来自同一分布的新鲜数据，而非仅仅针对特定的审计集。

作者强调：

使用已知公开数据集或重用测试数据集（即提供者获知数据）的安全审计方案，不太可能提供稳健的保证。
持续采样新鲜数据或使用在模型承诺前隐藏审计数据的密码学机制，对于成功的审计基础设施至关重要。
未来设计密码学安全的机器学习审计时，必须明确解决数据集特定认证与分布泛化之间的差距，这需要密码学、安全学和机器学习社区之间的紧密沟通。

这项工作并不声称解决了所有隐私保护审计的挑战（例如，由于需要可信的训练数据生成，高效的 DP 认证仍然困难），但它提供了一个基础框架和一个特定的协议模板，用以缓解所识别的数据伪造漏洞。