💻 computer science

Kernel-Based ReLU Approximation for Homomorphic Encryption-Compatible Privacy-preserving Deep Learning Models

本文提出了一种基于核函数的二次多项式近似来逼近 ReLU 激活函数，以实现在同态加密框架内部署大语言模型，从而在不解密的情况下支持安全且保护隐私的推理。

原作者： Dimitrios Sygletos, Dimitra Papatsaroucha, Marios Choudetsanakis, Ilias Politis, Evangelos K. Markakis

发布于 2026-05-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Dimitrios Sygletos, Dimitra Papatsaroucha, Marios Choudetsanakis, Ilias Politis, Evangelos K. Markakis

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你想给朋友发送一条秘密消息，但你不信任邮递员。于是，你把消息装进一个上锁的盒子（加密）中寄出。问题在于，你的朋友需要读取消息才能对其进行处理，但他们没有钥匙就无法打开盒子，而一旦打开，秘密就泄露了。

同态加密（HE） 就像一个魔法锁盒。它允许你的朋友在不打开盒子的情况下，在盒子内部执行计算。他们可以相加或相乘数字，当他们最终打开盒子时，里面的结果仍然是正确的。这对隐私保护意义重大，尤其是对人工智能（AI）而言，因为它意味着公司可以在不查看原始数据本身的情况下分析你的私人数据（如健康记录或个人聊天内容）。

然而，这里有个陷阱。这个魔法锁盒只理解加法和乘法。它不理解“思考”或“决策”。

问题所在："ReLU"门

深度学习模型（现代 AI 如聊天机器人背后的“大脑”）依赖一种称为ReLU（修正线性单元）的特殊开关。将 ReLU 想象成夜店门口的保镖：

如果数字是正数（VIP），保镖让它通过。
如果数字是负数（非 VIP），保镖将其完全拦下（变为零）。

这种“保镖”行为对 AI 学习复杂模式至关重要。但由于保镖必须做出“停或行”的决策，这是一个非线性的、锯齿状的函数。魔法锁盒（HE）无法处理这种锯齿状的决策，因为它只喜欢平滑、简单的数学运算（加法和乘法）。

解决方案：平滑的“伪装”保镖

本文的作者希望用一个平滑、礼貌的替代品来取代锯齿状的保镖，这个替代品既能被锁盒理解，又能像原版保镖一样运作。

他们采用了一个两步配方：

第一步：“平滑剂”制造者（核近似）
首先，他们意识到直接尝试近似锯齿状的保镖是混乱的。因此，他们使用了一种“核”方法（一种平滑事物的数学工具），将锯齿状的 ReLU 转化为一个平滑的曲线山丘。想象一下将一块锯齿状的岩石磨成一颗光滑圆润的鹅卵石。这颗鹅卵石从远处看仍然像那块岩石，但更容易处理。
第二步：简单的数学技巧（多项式回归）
既然他们已经有了一个平滑的山丘，就需要仅用加法和乘法来描述它。他们尝试了不同复杂度的层级：
- 低阶（简单）： 一条简单的曲线（如抛物线）。
- 高阶（复杂）： 一条非常曲折、复杂的曲线，带有许多弯折。
令人惊讶的是： 他们原本预期那些复杂、曲折的曲线会更准确。相反，他们发现简单的二次曲线（一个简单的 U 形） 实际上是获胜者。
- 为什么？ 复杂的曲线过于“抖动”。在加密数学的世界里，添加过多的弯折会导致“噪声”（杂音）累积，最终淹没信号。这就像试图通过一条漫长而曲折的隧道耳语秘密；如果隧道太曲折，声音就会丢失。简单的曲线保持了信息的清晰和数学运算的快速。

他们的测试内容

研究人员不仅仅是在纸面上进行这项工作。他们在真实场景中测试了他们的“平滑保镖”：

在数据上： 他们将来自预训练 AI 模型（如 RoBERTa 和 DistilBERT）的真实文本数据输入其中，以观察其是否能模仿原版保镖的行为。
在 AI 模型上： 他们在不同类型的 AI“大脑”（简单网络、图像识别器和复杂的 Transformer）中，用新的“平滑保镖”替换了真实的 ReLU。
在锁盒内： 他们在同态加密锁盒内运行所有内容，以观察其速度以及结果的准确性保持得如何。

结果

准确性： 他们简单的平滑保镖几乎和原版一样好，并且比以往研究中其他“平滑”尝试要好得多。
速度： 由于他们的解决方案在数学上很简单，因此速度极快。其他试图使用复杂、高阶曲线的方法，在加密锁盒内工作时，速度慢了多达100 倍。
隐私： 他们成功证明，只要使用正确类型的简单数学，你就可以在加密数据上运行复杂的 AI 任务，而不会损失太多准确性。

结论

本文介绍了一种使 AI 更利于隐私保护的巧妙方法。通过平滑“保镖”函数并用一个简单的、低复杂度的曲线取而代之，他们使得 AI 能够在不破坏锁或减慢过程的情况下在锁盒内工作。这提醒我们，有时最简单的解决方案才是最强大的。

技术摘要：基于核函数的 ReLU 近似用于同态加密兼容的隐私保护深度学习模型

1. 问题陈述

大型语言模型（LLM）和深度学习（DL）的广泛采用加剧了隐私担忧，特别是在以未加密形式处理敏感用户数据（如健康信息）方面。同态加密（HE），特别是 CKKS 等方案，通过支持在加密数据上进行计算而无需解密，提供了解决方案。然而，HE 本质上仅限于加法和乘法运算。这导致其与标准深度学习架构存在关键的不兼容性，因为后者严重依赖如修正线性单元（ReLU）之类的非线性激活函数。

ReLU 函数定义为 $ReLU(x) = \max(0, x)$ ，是非平滑的（在零处不可微）。直接用低次多项式近似此类非平滑函数（这是为了最小化 HE 中的乘法深度所必需的），会导致显著的近似误差。现有方法，如 $x^2$ 函数或更高次的切比雪夫多项式，要么无法捕捉负输入的归零行为，要么在加密环境中部署时引入不可接受的计算成本和不稳定性（例如龙格现象）。

2. 方法论

本文提出了一种两阶段的基于核函数的 ReLU 近似方法，旨在生成一个与 HE 兼容的二次多项式，以高保真度和低乘法深度模拟 ReLU 行为。

通过核回归平滑：为了解决 ReLU 的非平滑性，作者首先利用基于核的方法将函数转换为平滑近似。具体而言，他们使用了在输入数据上训练的超双曲正切核（ $k(x, x') = \tanh(\langle x, x' \rangle + 1)$ ）。这一步利用了更平滑的函数可以被多项式更准确地近似的原理，这得到了杰克逊定理的支持。
多项式拟合：训练后的核函数输出随后通过普通最小二乘法（OLS）回归，使用二次多项式（ $p(x) = a_0 + a_1x + a_2x^2$ ）进行近似。
数据来源：该方法直接在预训练 LLM（RoBERTa 和 DistilBERT）中提取的令牌嵌入上进行训练和评估，使用的是斯坦福情感树库（SST-2）数据集。这确保了近似是基于真实的自然语言处理数据，而非合成分布。
次数选择：作者系统地评估了 2 到 5 次的多项式。他们发现，虽然更高次在理论上提供更好的拟合，但由于 CKKS 方案中乘法深度的增加和噪声的增长，它们在加密域中会引入不稳定性并导致误差率呈指数级上升。因此，二次多项式被选为精度和计算效率之间的最佳权衡。

最终得到的多项式为：
$p(x) = 0.082261 + 0.495588x + 0.444488x^2$

3. 主要贡献

新颖的近似策略：引入了基于核的平滑技术，随后进行低次多项式拟合，专门针对 HE 约束进行了定制。
现实世界验证：与以往常依赖合成数据或通过分类准确率进行间接评估的工作不同，该方法在来自预训练 LLM 的实际令牌嵌入上进行训练和评估。
全面的基准测试：所提出的方法在多个维度上与既定的近似方法进行了严格比较，包括 $x^2$ 、FasterCryptoNets 和切比雪夫多项式（3 次和 5 次），评估指标涵盖近似误差（MSE）、模型准确率（FeedForward、CNN、ViT）以及计算成本。

4. 结果

评估在六个实验场景中进行，涵盖了明文和加密（CKKS）环境：

近似精度：与表现出显著不稳定性的高次多项式（例如 5 次多项式的 MSE > 390）相比，核多项式方法在明文和加密环境中均实现了最低的均方误差（MSE）（0.056862）。在使用 RoBERTa 和 DistilBERT 嵌入的结构化数据测试中，所提出的方法保持了 0.002 的 MSE，优于 $x^2$ 和 FasterCryptoNets。
模型性能：
- 深度学习模型：在 MNIST 数据集上的 FeedForward 和 CNN 架构中，核多项式分别达到了 99% 和 99.2% 的准确率，与表现最佳 FasterCryptoNets（99.3%）相当或略低。
- Transformer：在 CIFAR-10 和 CIFAR-100 上的 ViT 架构中，该方法表现出强大的泛化能力，在 CIFAR-100 上达到了 38.5% 的准确率（在测试方法中最高），而切比雪夫 -5 等高次近似则表现较低。
加密环境性能：
- 准确率差距：所提出的方法在明文和加密执行之间表现出最小的准确率差距（29.3%），优于切比雪夫 -3（35.3%）和切比雪夫 -5（33.6%）。
- 计算效率：二次多项式提供了显著的速度优势。核多项式的总实验时间为 1,864 秒，而切比雪夫 -5 需要 11,348 秒（速度减慢约 109 倍）。该方法保持了较低的乘法深度，防止了 CKKS 中与高次多项式相关的快速噪声增长。

5. 意义与主张

本文声称，所提出的核多项式方法代表了 LLM 和深度学习模型中隐私保护推理的稳健且高效的解决方案。其意义在于：

弥合差距：它有效地弥合了加密与非加密执行之间的性能差距，使得在隐私敏感的自然语言处理环境中部署 Transformer 等复杂模型成为可能，而不会出现高次近似中看到的严重准确率下降。
最佳权衡：研究表明，对于平滑的基于核的函数，低次多项式（特别是 2 次）可以在保持高分类准确率和较低计算成本的同时，实现极低的近似误差。这挑战了高次多项式在 HE 上下文中本质上更优越的假设。
实际可行性：通过最小化乘法深度，该方法降低了“隐私成本”（延迟和噪声累积），使其成为高吞吐量安全推理应用的一个可行候选方案。

作者总结道，虽然未来的工作可能会探索自适应混合模型和硬件加速，但当前的方法成功解决了将非线性激活函数集成到同态加密兼容的深度学习管道中的关键挑战。