🤖 machine learning

ZKBoost: Zero-Knowledge Verifiable Training for XGBoost

本文介绍了 ZKBoost，这是首个面向 XGBoost 的零知识训练证明协议，它使模型所有者能够在不泄露数据或参数的情况下，对已承诺数据集上的正确训练进行密码学验证，同时通过专用的定点数实现和基于 VOLE 的实例化克服了以往的安全漏洞并实现了高效性。

原作者： Nikolas Melissaris, Antigoni Polychroniadou, Akira Takahashi, Chenkai Weng, Jiayi Xu

发布于 2026-05-14

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Nikolas Melissaris, Antigoni Polychroniadou, Akira Takahashi, Chenkai Weng, Jiayi Xu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你聘请了一位厨师，用你提供的特定食材，按照一份复杂且保密的食谱，为一次非常重要的宴会烹饪菜肴。你希望 100% 确定他们确实按照食谱步骤、使用你提供的特定食材进行了烹饪，但你面临两个大问题：

你无法看到厨房：厨师拒绝让你观看烹饪过程，因为食谱是他们的“商业秘密”（知识产权）。
你无法看到食材：厨师拒绝向你展示他们使用的具体批次蔬菜，因为该数据属于一家私人农场（隐私）。

通常，你只能信任这位厨师。但如果他们是个骗子呢？如果他们买了一份预制餐，贴上“新鲜烹制”的标签，然后端给你呢？

ZKBoost 是一种解决这一问题的新型数字工具。它允许厨师（模型所有者）向你（验证者）证明，他们完全按照规则、使用你提供的特定食材烹制了这顿饭，而无需向你展示食谱或食材。

以下是论文如何解释这一“魔法”，将其分解为简单概念：

1. “黑盒”问题

在机器学习领域，XGBoost 就像一位超级明星厨师。它极其擅长基于数据表格预测事物（例如，判断信用卡交易是否欺诈，或患者是否患病）。

然而，当一家公司训练 XGBoost 模型时，他们会将数据和最终的“食谱”（模型）保密。如果客户想要验证模型未被伪造或未基于不良数据训练，他们通常无法做到。在不违反隐私法或泄露商业秘密的前提下，他们无法窥探内部。

2. “零知识”魔术

论文介绍了 ZKBoost，它使用一种称为**零知识证明（ZKP）**的密码学技术。

将零知识证明想象成一面魔镜。

厨师站在镜子前。
镜子向客户展示一个发光的绿色对勾，显示：“是的，烹饪过程正确无误！”
但镜子不会显示厨师的脸、食材或食谱。它只证明该动作是正确完成的。

3. 为什么以前这如此困难？

作者解释说，为 XGBoost 做到这一点，就像试图通过展示你铺设了每一块砖来证明你建造了一座房子，但你必须蒙着眼睛，并用一种无人理解的语言去做。

“眼罩”（盲划分）：XGBoost 的工作原理是不断将数据分类到不同的桶中（就像按大小分拣苹果）。以“盲”密码学方式执行此操作极其缓慢且昂贵。
“秘密配方”（树分裂）：模型基于隐藏的阈值做出决策。以前的尝试存在“泄漏”——它们意外地揭示了决策树的形状（拓扑结构），而这正是商业秘密。
“数学故障”（安全漏洞）：一些旧方法允许不诚实的证明者通过引发“数学溢出”（就像计算器从 999 滚回到 000）来伪造正确结果，从而作弊。

4. ZKBoost 解决方案：两大技巧

论文提出了两项主要创新来解决这些问题：

技巧 A：“自底向上”检查（通用模板）

通常，要验证一棵树是否构建正确，你必须从头重新运行整个烹饪过程，这非常缓慢。

旧方法：看着厨师自上而下、一步步地构建树。
ZKBoost 方法：作者创建了一种名为 CertXGB 的新方法。他们不是看着厨师构建树，而是查看完成的树并自底向上（从下往上）工作。
- 他们先检查叶子节点，然后是分支，最后是树干。
- 这使得他们能够同时验证多棵树（并行处理），使证明速度比以前的方法快 3 到 6 倍。
- 关键在于，这种方法检查数学计算而不揭示哪些分支被剪除（修剪），从而保持树的形状保密。

技巧 B：“定点”切换（安全修复）

XGBoost 通常使用“浮点数”数学（如 3.14159...），这对密码学来说很麻烦，因为不同机器处理小数的方式不同。

问题：如果数学不精确，证明就会失败。此外，浮点数数学庞大且难以证明。
解决方案：作者将 XGBoost 转换为使用定点算术。
- 类比：他们不再用“杯子和分数”（浮点数）来测量食材，而是全部用“汤匙”（整数）来测量。
- 他们证明，即使使用“汤匙”而不是“杯子”，最终菜肴的味道也与原始浮点版本完全相同（精度在 1% 以内）。
- 这使得数学变得“易于证明”，能够防止溢出作弊，并且速度更快。

5. 结果：快速且安全

作者在真实世界的数据集（如信用卡欺诈和癌症检测）上测试了他们的系统。

速度：他们的系统比最接近的竞争对手（Sparrow）快得多，尤其是在处理大量数据时。
准确性：“汤匙”版本（定点）与“杯子”版本（浮点）一样准确。
安全性：他们修复了允许作弊者在以前的系统中伪造结果的“数学溢出”漏洞。

总结

ZKBoost 是首个允许模型所有者说“我保证我使用我们的特定规则在你的私有数据上训练了这个 AI"，并通过密码学收据证明其真实性的系统。它通过以下方式实现：

自底向上检查工作以节省时间。
切换到更简单的数学（整数）以确保安全性和速度。
完全隐藏食谱和食材，同时仍能证明烹饪是诚实的。

这意味着客户终于可以信任他们使用的 AI 模型是真实的，而无需迫使公司泄露其商业秘密或私人客户数据。

技术摘要：ZKBoost——面向 XGBoost 的零知识可验证训练

1. 问题陈述

随着机器学习模型（特别是如 XGBoost 这样的梯度提升决策树，GBDTs）在敏感领域（例如金融、医疗）的部署日益增多，关于模型完整性的密码学保障却严重缺失。客户端无法在不让模型所有者泄露专有数据或模型参数的情况下，验证已部署的模型 $M$ 是否确实使用规定的超参数在特定数据集 $D$ 上进行了训练。

现有的零知识训练证明（zkPoT）解决方案在应用于 XGBoost 时面临重大障碍：

计算效率低下：在零知识证明（ZKP）电路中天真地重新执行 XGBoost 训练过程是极其昂贵的。这是由于需要在每个节点进行 oblivious 数据划分，以及树构建的串行性质（每棵树依赖于前几棵树的预测）。
安全漏洞：此前关于决策树零知识训练和推理的工作存在细微的安全缺陷。这些缺陷包括潜在的树拓扑泄露，以及“可靠性缺口”，即恶意证明者可能利用模运算溢出偏离正确的训练算法，同时仍能通过验证。
数值不兼容：标准 XGBoost 依赖于浮点运算，这种运算在不同硬件上具有非确定性，且与大多数 ZKP 系统所需的有限环运算不兼容。

2. 方法论

作者提出了 ZKBoost，这是首个专为 XGBoost 设计的 zkPoT 协议。该方法由三个主要技术支柱组成：

A. 定点 XGBoost (TrainXGB)

为了弥合标准 XGBoost 与 ZKP 需求之间的差距，作者实现了一个定点版本的 XGBoost。

运算：所有运算（加法、乘法、除法）均在带有隐式全局缩放因子的整数上执行，消除了浮点运算的非确定性。
近似：XGBoost 中至关重要的非线性函数（如 sigmoid 函数 $\sigma$ 和对数几率 $\sigma^{-1}$ ）被替换为对证明友好的近似方法（分段线性和截断的泰勒展开），这些方法在标准浮点实现 1% 的精度范围内保持准确性。
确定性：这种重构确保了训练轨迹是唯一且可复现的，从而形成了一个适合 ZK 验证的明确定义的 NP 关系。

B. 通用 zkPoT 模板 (CertXGB)

作者没有采用自上而下（从根到叶）重新执行训练过程的方法，而是设计了一种认证算法 CertXGB，该算法自下而上且并行地验证训练结果。

验证逻辑：给定声称的模型 $M$ $M$ （树集成）和数据集 $D$ $D$ ，CertXGB 执行以下步骤：
1. 在数据上评估树以确定叶节点索引。
2. 从叶节点向上重构到根节点的梯度和 Hessian 直方图。
3. 验证证明者选择的分裂点是否最大化了从这些重构直方图中得出的增益。
4. 检查叶节点权重是否与直方图一致。
并行性：这种重构将单棵树的验证与树间依赖解耦，允许多棵树并行验证，显著降低了证明者的成本。
拓扑隐藏：为了防止泄露树结构（例如哪些节点被剪枝），协议用“虚拟”值替换被剪枝的节点。ZKP 以 oblivious 方式验证这些虚拟值仅在满足剪枝条件（增益 $\le 0$ ）时被使用。

C. 基于 VOLE-ZKP 的安全实例化

该协议使用基于向量 oblivious 线性评估（VOLE）的 ZKP 框架进行实例化。

子协议：作者为关键的非线性运算设计了特定的 ZK 小工具：
- 比较：改进了位分解证明，以防止“回绕”攻击，即恶意证明者翻转最高有效位（MSB）以改变比较结果。
- 除法和截断：处理大范围值的证明，无需数千个约束，确保了对模溢出的可靠性。
- 直方图构建：一种加权 LogUp 证明取代了先前工作中使用的更昂贵的 ZK-RAM 方法，将开销降低了约 3-4 倍。
全局范围检查：协议对中间值强制执行全局范围检查，以防止可能破坏可靠性的算术溢出攻击。

3. 主要贡献

首个 XGBoost zkPoT：本文提出了首个协议，使模型所有者能够在不泄露数据或参数的情况下，证明 XGBoost 模型在已承诺的数据集上进行了正确训练。
CertXGB 算法：一种通用的认证模板，将训练验证重构为自下而上且可并行化的方式，相比天真地重新执行提供了显著改进。
安全且高效的实例化：一种基于 VOLE 的实现，解决了先前 ZK 训练工作中发现的可靠性缺口（特别是关于溢出和拓扑泄露的问题），同时保持了高效率。
定点 XGBoost：一种实用的定点 XGBoost 实现，在真实世界数据集上达到了与标准浮点 XGBoost 1% 以内的精度匹配，使其与 ZKP 运算兼容。

4. 实验结果

作者在 C++ 中实现了 ZKBoost，并在三个真实世界数据集上进行了评估：乳腺癌、信用违约和 Covertype。

精度：定点 XGBoost 实现在所有测试的超参数配置和数据集上，其精度均在标准浮点 XGBoost 的 1% 以内。
性能与基线对比：与 Sparrow（一种针对普通决策树和随机森林的相关工作）相比，尽管 ZKBoost 提供了更强的安全保证（隐藏树拓扑和严格的可靠性检查），但在各种数据集规模下，其速度仍快 3–6 倍。
可扩展性：
- 树的数量：证明时间随树的数量线性扩展。
- 数据集大小：得益于高效的直方图构建证明，证明时间不受数据点数量（高达 10 万）的显著影响。
网络条件：实验模拟了局域网（5 Gbps）和广域网（1 Gbps，60ms 延迟）条件。虽然广域网延迟使总时间增加了约 83-87%，但证明仍能在合理的时间范围内生成（例如，在广域网中，10 万个数据点和 100 棵树的证明时间约为 52 分钟）。

5. 意义与主张

本文声称提供了首个针对 XGBoost（表格数据处理中的主导算法）的实用、安全且高效的 zkPoT。其意义在于：

可信的机器学习即服务：使客户端能够在不暴露专有数据的情况下验证训练完整性。
合规性：允许验证模型是否使用批准的数据源（例如人口普查数据）进行训练，或排除了受保护的内容。
安全进展：该工作识别并修补了先前 ZK 训练协议中的特定可靠性漏洞（溢出攻击、拓扑泄露），为零知识机器学习（ZKML）提供了更坚实的基础。
实用性：通过证明定点运算可以匹配浮点运算的精度，且该协议在商用硬件上高效运行，作者认为可验证的 XGBoost 训练对于欺诈检测和信用风险预测等现实世界的高风险应用是可行的。

作者指出，虽然当前的实例化针对二分类，但该框架在概念上可以扩展到多分类，未来的工作可以探索用于公共可验证性的非交互式简洁证明。