💻 computer science

Decision-Aware Quadratic ReLU Replacement for HE-Friendly Inference

本文提出了一种面向全同态加密（FHE）推理的决策感知二次 ReLU 替换方法，该方法通过将问题表述为提升空间中的线性分离任务，在无需重新训练的情况下实现了校准集决策保持，同时相较于现有的多项式近似技术显著加速了推理速度。

原作者： Rui Li, Wenyuan Wu, Weijie Miao

发布于 2026-05-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Rui Li, Wenyuan Wu, Weijie Miao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《面向同态加密友好推理的决策感知二次 ReLU 替换》的通俗解释，辅以日常类比。

宏观图景：“上锁盒子”问题

想象你有一个非常智能的 AI（神经网络），它能判断一封电子邮件是否为垃圾邮件。你想将私人邮件发送给服务器以获取答案，但你不信任服务器会保管你的数据。因此，你将邮件锁在一个特殊的“魔法盒”中（称为全同态加密或 FHE）。

服务器可以打开盒子，对已锁定的数据进行数学运算，并返回一个锁定的答案，而整个过程无需查看实际邮件内容。这对隐私保护非常有益。

问题所在：AI 需要做出诸如“这个数是正数还是负数？”的决策（这一步称为ReLU）。在现实世界中，这很容易。但在“魔法盒”内部，服务器只能执行简单的加法和乘法。它无法轻易执行“如果/那么”类的决策。为了让 AI 在盒子内工作，科学家通常用复杂的数学曲线（高次多项式）来替代这种决策。

旧方法：这就像试图用直尺画一个完美的圆。你必须使用一把非常长且复杂的直尺（高次多项式）才能勉强接近圆形。这对服务器而言需要耗费大量的时间和算力。

新想法：“决策感知”替换

这篇论文的作者提出了一个不同的问题：我们是否需要曲线在每一个点上都与决策完全一致？还是说，我们只需要最终结果相同即可？

类比：
想象你在迷宫中导航。

旧方法：你试图用笔精确描摹迷宫墙壁的路径。如果你偏离墙壁一点点，你就认为自己失败了。你需要一支非常精确的笔（复杂的数学）。
新方法：你只关心到达出口。如果你走了一条略有不同的路径，但只要能通向同一个出口，你就很满意。你不需要复杂的笔；一条简单、短捷的路径（低次二次曲线）就足够了，只要它能带你到达正确的门。

论文将这种方法称为**“决策感知”**。他们不再试图完美模仿 AI 内部的“思考”（激活函数），而只关心对于一组特定的测试数据（校准集），最终的“是/否”或"A 类/B 类”决策是否保持一致。

解决方案：“二次”捷径

作者发现，一个简单的二次方程（U 形曲线，如 $x^2$ ）是“最佳平衡点”。

它足够简单，能让“魔法盒”快速处理。
它足够灵活，能引导 AI 得出正确的最终决策。

他们开发了一种方法，为这个 U 形曲线寻找完美的设置（系数）。他们将问题视为一场几何游戏：

二分类情况（是/否）：他们将所有“是”的示例和所有“否”的示例转化为二维地图上的点。如果“是”点和“否”点能够被一条直线分开，且留有一定的缓冲空间（正间隔），他们就能从数学上证明，一个简单的 U 形曲线将完美生效。
困难情况：有时点会混杂在一起，无法画出清晰的线。在这种情况下，他们使用一种“软”版本的数学（像橡皮筋一样），忽略少数混乱的异常值。这使他们能得到一条“足够好”的曲线，适用于几乎所有情况。

结果：更快且同样智能

他们在现实世界的任务（如图像识别或文本分类）上，利用“魔法盒”（FHE）测试了这种方法。

准确率：他们的方法使 AI 的准确率几乎与原始 AI 完全一致（且远优于旧的“简单平方”方法）。
速度：由于他们的曲线非常简单（仅仅是 U 形），服务器无需执行那么多繁重的计算。
- 在做出决策的特定步骤上，其速度比之前的最佳方法（Remez-7）快 3.7 到 4.1 倍。
- 从头到尾的整个过程快 1.18 到 1.68 倍。

总结

可以将这篇论文视为寻找一条穿越森林的捷径。

旧方法：你试图沿着蜿蜒的河流（复杂的数学曲线）精确行走。这很精确，但缓慢且令人疲惫。
新方法：你观察河流通向何处（最终决策），然后用一条简单的曲线穿过树木开辟一条直路。你到达相同的目的地，但速度快得多，付出的努力更少，同时你的地图（数据）始终被锁在盒子里保持隐藏。

作者还发布了一个名为QUAD4FHE的免费软件库，以便其他人也能使用这条捷径。

技术摘要：面向同态加密友好推理的决策感知二次 ReLU 替换

问题陈述
全同态加密（FHE）通过允许在加密数据上进行计算而无需解密，实现了隐私保护的神经网络推理。然而，FHE 原生仅支持加法和乘法，使得像 ReLU（ $\max\{0, u\}$ ）这样的非线性激活函数在计算上非常昂贵。现有的纯 FHE 方法通常用拟合经验激活区间的高次多项式（例如 Remez 或切比雪夫近似）来替换 ReLU。虽然这些方法避免了比较操作，但它们通常需要高次多项式来控制近似误差，从而导致乘法深度增加、重缩放操作增多以及延迟上升。此外，这些方法优化的是局部逐点近似保真度，而非全局分类目标：即保持最终 top-1 对数几率（logit）的排序。

方法论
作者提出了一种决策感知框架，在不重新训练模型的情况下，用共享的低次二次多项式（ $q(u) = \alpha u^2 + \beta u + \eta$ ）替换 ReLU。核心洞察在于，对于训练好的单隐藏层 ReLU 多层感知机（MLP）或在冻结特征上的 MLP 头部，最终决策取决于对数几率的排序。因此，替换多项式无需逐点近似 ReLU；它只需在声明的校准集上保持最终分数的相对排序即可。

该方法分为两个阶段：

离线系数构建：给定训练好的模型和校准集，作者将系数 $(\alpha, \beta, \eta)$ $(α, β, η)$ 的搜索构建为一个几何可行性问题。
- 二分类情况：问题被简化为在由统计量 $Q(x) = \sum a_j y_j(x)^2$ 和 $H(x) = \sum a_j y_j(x) + b$ 定义的二维空间中，寻找两个提升凸包之间的正间隔超平面分离器。如果凸包不相交，则可以实现精确的无校准损失替换。最优系数源自凸包之间最近点对的推导。
- 多分类情况：条件变为成对仿射对数几率间隔不等式的严格可行性。
- 松弛处理：当精确分离失败时（由于误分类样本或间隔过小），作者采用缩减凸包（RCH）和拉格朗日对数软间隔松弛。这些技术通过参数 $\mu$ 限制单个样本的影响，或引入松弛变量，将问题转化为凸二次规划（QP），从而产生具有高经验一致性的近似可行系数。
在线推理：服务器在加密输入上评估生成的多项式化算术电路。二次替换每个激活仅需一次密文 - 密文乘法，与更高次替代方案相比，显著降低了乘法深度。

主要贡献

决策感知公式：本文将目标从最小化局部激活误差转变为最大化校准集对数几率排序的一致性。这使得即使二次多项式对 ReLU 的逐点近似效果不佳，只要它能保持最终的分类决策，就可以使用二次多项式。
精确有限样本理论：对于二分类器，作者基于提升凸包的正间隔可分性，建立了无校准损失替换的充要条件。这提供了一个具有 $O(n \log n)$ 复杂度的构造性算法来寻找系数，并提供了量化容差的证书。
几何松弛：针对无法精确分离的情况，本文引入了 RCH 和软间隔松弛，从而将精确理论连续扩展。这些方法提供了具有明确诊断指标（间隔、松弛、一致率）的实用代理，而不是在无法认证的情况下声称精确保持。
实现与验证：作者在开源 QUAD4FHE 库中实现了该流程。他们使用原始特征和冻结表示（DINOv2、Qwen3）在多样化数据集（表格、视觉、文本）上验证了该方法。

结果

准确性：在 CKKS 方案下，二次替换在多个基准测试（例如 Otto、DINOv2/FGVC-Aircraft、Qwen3/MASSIVE）上达到了与原始 ReLU 模型相同的明文 top-1 准确率。在许多多分类任务中，尽管使用了低次多项式，其表现仍优于或匹配了 OLA 和精确近似等强基线。
效率：与 Remez-7（一种高次基线）相比，二次替换在激活模块中运行速度快 3.7–4.1 倍，端到端速度快 1.18–1.68 倍。这是通过让二次电路适应更浅的乘法深度（Remez-7 为深度 5，而二次为深度 4）实现的，从而允许更高效的系数 - 模数链并减少重缩放开销。
鲁棒性：即使校准池很小（仅占数据集的 1–5%），该方法仍然有效，并能有效地处理冻结特征提取器。

意义与主张
本文主张，通过将 ReLU 替换重新框架化为决策保持问题而非函数近似问题，可以在最小化计算开销的同时实现高精度的 FHE 推理。其意义在于证明，当通过决策感知几何框架进行选择时，二次多项式足以实现高保真度的加密推理，从而避免了与高次多项式相关的延迟惩罚。作者强调，他们的保证范围仅限于声明的校准集，并不提供针对未见输入的分布无关保证，但实验结果显示了对测试集的强泛化能力。这项工作为优化纯 FHE 神经推理中准确性与延迟之间的权衡提供了一条数学上透明的路径。

宏观图景：“上锁盒子”问题

新想法：“决策感知”替换

解决方案：“二次”捷径

结果：更快且同样智能

总结

技术摘要：面向同态加密友好推理的决策感知二次 ReLU 替换

类似论文