🤖 machine learning

CGF-Softmax: A Cumulant-Based Softmax Reformulation for Efficient Inference under Homomorphic Encryption

本文介绍了 CGF-Softmax，这是一种利用累积量生成函数对 softmax 函数进行的新颖重构，它消除了代价高昂的同态除法和最大值减法，从而在显著降低乘法深度的同时，使基于同态加密的 Transformer 模型能够实现高效且准确的隐私保护推理。

原作者： Hanjun Park, Byeongseo Min, Jiheon Woo, Min-Wook Jeong, Jongho Shin, Yongwoo Lee, Young-Sik Kim, Yongjune Kim

发布于 2026-05-11

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Hanjun Park, Byeongseo Min, Jiheon Woo, Min-Wook Jeong, Jongho Shin, Yongwoo Lee, Young-Sik Kim, Yongjune Kim

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一份极具价值的秘密食谱（你的数据），你想让一位名厨（一个强大的 AI 模型）品尝并评判，但你害怕交出真正的食材，因为他们可能会偷走食谱。

同态加密（HE） 就像一个神奇且坚不可摧的厨房盒子。你将生食材放入其中，锁好盒子，然后将其送给厨师。厨师可以在不打开盒子或查看食材的情况下，在盒子内部烹饪并品尝食物。他们甚至可以告诉你这道菜是“辣”还是“甜”（AI 的预测），而无需知道里面实际装了什么。

然而，烹饪中有一个棘手的步骤，在这个锁着的盒子里很难完成：Softmax 函数。

问题：“辣度”数学难题

在 AI 中，Softmax 函数就像厨师决定哪种风味最强烈。它查看所有食材，进行涉及巨大数字（指数）的数学运算，然后将它们相除以得出最终的百分比。

在这个魔法盒子里进行这种运算之所以是一场噩梦，原因有二：

“大数字”爆炸：数学运算涉及的数字会变得如此巨大，以至于撑破盒子（溢出）。在普通烹饪中，为了解决这个问题，厨师会先减去最大的数字。但在魔法盒子里，如果不打开盒子进行比较，你就无法轻易找到“最大”的数字。
“除法”陷阱：最后一步需要除以数字。在魔法盒子里，除法就像试图用黄油刀切钻石——极其缓慢、昂贵，并且需要大量重型机械（计算能力），这会迅速磨损盒子。

以前的方法试图通过以下方式解决这个问题：

猜测最大数字（这有时会失败并破坏风味）。
使用非常复杂、缓慢的食谱来近似除法（这需要花费很长时间，并耗尽盒子的“电池”）。
用一种更简单的假香料替换整个风味轮廓（这降低了 AI 的准确性）。

解决方案：CGF-Softmax（“累积风味”技巧）

本文的作者 CGF-Softmax 提出了一种在盒子内部烹饪这道菜的新巧思。他们不再试图寻找单个最大数字或进行困难的除法，而是利用称为累积量生成函数（CGF） 的概念彻底改变了食谱。

可以这样理解：

旧方法：“我需要找出碗里最辣的辣椒，从所有东西中减去它，然后将整个碗除以总辣度。”（在锁着的盒子里很难做到）。
CGF-Softmax 方法：“与其寻找单个最辣的辣椒，不如让我们测量整个碗的平均辣度和辣度变化。我们利用这两个简单的统计量来同时调整每一种食材的风味。”

通过使用数据的平均值和离散度（方差），新方法：

跳过了“最大数字”搜寻：它不需要寻找最大值。它只是基于平均值进行整体偏移，这在盒子里很容易计算。
消除了除法：它将“除法”部分直接折叠到数学的指数（幂）中。这意味着厨师永远不需要使用缓慢、沉重的除法机器。

结果：更快、更便宜，且同样美味

该论文在两类 AI 厨师身上测试了这种新方法：

视觉 Transformer（ViT）：观察图像的模型（例如识别猫与狗）。
大型语言模型（LLaMA）：阅读和撰写文本的模型。

他们的发现：

速度：由于移除了困难的除法和“寻找最大值”步骤，新方法在计算深度上比之前的最佳方法快 4 到 6 倍。这就像从缓慢的手工洗车切换到高速自动洗车。
准确性：尽管速度更快，但食物的味道几乎完全一样。与完美的未加密版本相比，AI 的准确率下降不到1%。
效率：它消耗了更少的魔法盒子“电池”（计算层级），这意味着你可以在不撑破盒子的情况下运行更大、更复杂的 AI 模型。

总结

CGF-Softmax 是一种新的数学技巧，它使 AI 模型能够在加密数据上做出决策，而无需执行通常会导致系统崩溃的缓慢、昂贵且高风险的数学运算（除法和寻找最大值）。它通过将复杂的“搜索并除法”食谱替换为更简单的“平均并调整”食谱来实现这一目标，从而产生了一个既安全又高效的系统，同时不牺牲 AI 回答的质量。

技术摘要：CGF-Softmax

问题陈述

同态加密（HE）通过允许在加密数据上进行计算而无需解密，实现了隐私保护的机器学习。然而，在严格非交互的同态加密设置中，实现非多项式运算，尤其是 Transformer 架构核心的Softmax 函数，仍然是一个重大瓶颈。

标准 Softmax 公式 $\text{softmax}(x)_i = \frac{\exp(x_i)}{\sum_j \exp(x_j)}$ 在同态加密中面临三个主要挑战：

数值不稳定性：指数函数导致快速增长，引发溢出。标准明文推理通过减去最大输入值（ $x_{\max}$ ）来缓解此问题，但最大值操作需要复杂的比较逻辑，这与同态加密不兼容，且需要昂贵的多项式近似。
除法运算：归一化步骤需要除法，而同态加密方案原生不支持除法。先前的工作依赖迭代多项式近似（例如 Goldschmidt 算法或切比雪夫多项式）来计算倒数函数，这极大地增加了乘法深度。
计算成本：指数函数和除法函数所需的高阶多项式近似消耗了分级同态加密方案（如 CKKS）有限的层级预算，通常需要进行昂贵的**自举（bootstrapping）**操作来刷新密文。

现有方法分为两类：Softmax 近似（精度高但深度大，源于除法和最大值操作）和Softmax 替换（深度低但精度显著下降，特别是在大规模模型和复杂基准测试中）。

方法论：CGF-Softmax

作者提出了CGF-Softmax，这是一种 Softmax 函数的重构形式，消除了同态除法和显式的最大值减法操作。其核心创新在于通过**累积量生成函数（CGF）**来解释 Softmax 的分母。

理论重构

给定输入向量 $x$ ，作者将分母 $\sum \exp(x_i)$ 解释为指数项的缩放样本均值。通过将样本均值替换为集合均值（期望），分母被替换为 $n M_X(1)$ ，其中 $M_X(t)$ 是矩生成函数（MGF）。

利用定义为 $K_X(t) = \ln M_X(t)$ 的 CGF，重构后的 Softmax 表示为：
$\text{softmax}_{\text{CGF}}(x)_i = \exp(x_i - K_X(1) - \ln n)$

该公式提供了三个关键优势：

消除最大值操作：输入不再减去最大值，而是通过 $K_X(1) + \ln n$ 进行移位。由于 $K_X(1)$ 可以使用低阶累积量（均值 $\mu$ 和方差 $\sigma^2$ ）进行近似，因此这种移位是数据自适应的，并且可以通过基本的同态加密运算（加法和乘法）计算，无需比较。
消除除法：归一化项被吸收到指数中。结果是一个单一的指数函数，完全消除了对同态除法的需求。
域缩放：该方法天然支持域缩放。通过将指数缩放 $1/2^k$ ，指数函数在更小的区间内进行评估，原始尺度通过平方 $k$ 次恢复。这避免了标准 Softmax 所需的迭代“归一化并平方”过程，该过程涉及重复的除法。

实际实现

为了实际的同态加密评估，作者采用了二阶累积量近似：
$K_X(1) \approx \mu + \frac{\sigma^2}{2}$
高阶项（ $j \ge 3$ 时的 $\kappa_j/j!$ ）被省略。作者认为，阶乘分母内在抑制了这些项，且经验微调进一步降低了高阶累积量的幅度，使得该近似足以用于推理。

主要贡献

CGF-Softmax 公式：一种新颖的重构形式，消除了对同态除法和最大值减法的需求，显著降低了乘法深度。
理论分析：本文建立了 CGF-Softmax 的关键性质，包括：
- ** positivity（正定性）**：输出严格为正。
- 顺序与成对比率保持：它保持了 logits 的相对顺序以及标准 Softmax 的精确成对输出比率（ $\exp(x_i - x_j)$ ）。
- 平移不变性：与标准 Softmax 一样，它对常数平移具有不变性。
- 渐近误差界：利用 Berry–Esseen 定理，作者证明了随着输入维度 $n$ 的增加，相对误差依概率收敛于零。
实验验证：在视觉 Transformer（ViT/DeiT）和大型语言模型（LLaMA-3.2-1B）上进行了广泛评估，证明了在降低计算成本的同时保持了高准确率。

实验结果

作者在ImageNet-1k（视觉 Transformer）和多个 NLP 基准测试（Clinc150, Banking77, SST-2）上，使用LLaMA-3.2-1B模型评估了 CGF-Softmax。

乘法深度：对于大规模模型（如 LLaMA-3.2-1B, ViT-Base），CGF-Softmax 实现了7–10的乘法深度。相比之下，先前的近似方法（如 Cho 等人、EncryptedLLM）在较小模型或任务上需要14–52的深度。
运行时间：在 256×256 输入矩阵上，CGF-Softmax 将总延迟从 Cho 等人的107.65 秒降低至3.25 秒，主要通过消除自举和减少密文乘法（CMult）实现。
准确率：
- 在所有基准测试中，CGF-Softmax 将推理准确率保持在精确明文 Softmax 基线的**<1%**以内。
- 它显著优于 Softmax 替换方法（如 BPMax），后者在复杂任务上会出现显著的准确率下降。
- 它在实现接近明文准确率的同时，所需深度比高精度近似基线低 4–6 倍。
噪声行为：通过消除除法，CGF-Softmax 减少了累积噪声。在深度为 7 时，其总噪声为 $3.05 \times 10^{-10}$ ，甚至低于更大深度下的标准 Softmax 公式。

意义与主张

本文声称，CGF-Softmax 为基于 Transformer 模型的安全推理提供了一种可扩展且高效的解决方案。通过协调高准确率与显著降低的乘法深度，它解决了基于同态加密的隐私保护机器学习（PPML）中的主要瓶颈。

作者强调，虽然 Softmax 替换方法可能足以应对简单任务上的小型模型，但对于大规模架构和复杂基准测试（现有替换方法无法保持准确率），CGF-Softmax 是必要的。该方法使得在大型模型（如 LLaMA-3.2-1B）上进行完全外包、非交互的推理成为可能，其计算成本对于高精度同态加密推理而言此前是无法实现的。

本文谦逊地指出，对于简单任务上的相对小型模型（如 BERT），现有的低深度替换方法可能仍然足够，但 CGF-Softmax 为更具挑战性的场景提供了更优越的权衡。