🤖 machine learning

Power-Softmax: Towards Secure LLM Inference over Encrypted Data

本文介绍了“Power-Softmax"，这是一种新颖的、同态加密友好的自注意力变体，它使得训练首个十亿参数级多项式大语言模型成为可能，这些模型能够在加密数据上进行安全推理，同时保持与标准 Transformer 相当的推理能力和上下文学习能力。

原作者： Itamar Zimerman, Allon Adir, Ehud Aharoni, Matan Avitan, Moran Baruch, Nir Drucker, Jenny Lerner, Ramy Masalha, Reut Meiri, Omri Soceanu

发布于 2026-05-06

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Itamar Zimerman, Allon Adir, Ehud Aharoni, Matan Avitan, Moran Baruch, Nir Drucker, Jenny Lerner, Ramy Masalha, Reut Meiri, Omri Soceanu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你想向一个超级聪明的机器人（大型语言模型，或称 LLM）提问，但希望保守问题的秘密。你既不想让机器人的所有者看到你问了什么，也不想让机器人本身知道你的秘密。

为此，你使用一种特殊的“魔法锁”，称为同态加密（HE）。这把锁允许你将问题以 scrambled（混淆、不可读）的格式发送。机器人可以在混淆后的问题上进行数学运算，并返回一个混淆的答案，随后你可以将其解锁。机器人永远看不到真实的问题。

问题：机器人的“大脑”无法适配这把锁
问题在于，这些现代机器人是构建在一种特定的数学引擎之上的，称为Transformer。该引擎使用一种非常常见的工具——Softmax——来决定哪些词语更重要。

可以将Softmax想象成一位厨师，他品尝汤品，并根据一个复杂的指数配方来决定加多少盐。这对烹饪来说很棒，但“魔法锁”（HE）只理解简单的线性数学（多项式）。它无法处理厨师那种复杂的指数配方。如果你试图在锁定的状态下强迫机器人使用其正常的大脑，数学运算就会崩溃，或者机器人会变得困惑且不稳定。

之前的尝试就像试图把方钉硬塞进圆孔：

“蛮力”方法：尝试用巨大且杂乱的多项式来近似复杂的配方。这虽然可行，但极其缓慢且笨重。
“预训练”方法：在机器人学习之前改变其大脑，用更简单的东西替换复杂的配方。但这通常会使机器人变得不那么聪明，或者导致其在规模扩大时表现挣扎。

解决方案：PowerSoftmax
本文的作者发明了一种新工具，称为PowerSoftmax。

想象一下，厨师不再使用复杂的指数配方，而是使用一个简单的幂次配方（例如对数字进行平方）。

类比：如果 Softmax 是一位将食材乘以某种神奇增长数字的厨师，那么 PowerSoftmax 就是一位仅仅将食材乘以自身的厨师（例如 $2 \times 2$ ， $3 \times 3$ ）。
为何有效：这种“幂次配方”的行为几乎与原始复杂配方完全一致，但它能完美地适配“魔法锁”。它足够简单，让锁能够处理；又足够智能，能让机器人保持清晰的思考。

他们解决的挑战
仅仅替换配方是不够的；为了让它适用于巨型机器人，他们必须解决三个具体问题：

“零”问题：在新配方中，数学运算有时可能会除以零，导致系统崩溃。
- 解决方法：他们添加了一个微小的安全缓冲（就像安全网），确保数学运算永远不会触及零，从而使计算稳定且易于近似。
“溢出”问题：如果数字变得太大或太小，机器人的大脑就会爆炸（或冻结）。
- 解决方法：他们创建了一个“稳定变体”，在执行数学运算之前将数字缩放到一个安全、可管理的范围内，这就像厨师在将汤加入整锅之前先尝一小勺一样。
“长句子”问题：原始方法随着句子变长而变得越来越慢。
- 解决方法：他们发明了一种“长度无关”的方法。与其计算长故事中每一个单词来进行数学运算，他们只需查看单词的平均值。这意味着无论你是问一个简短的问题还是写一整部小说，机器人都能保持快速。

结果：一个巨大且安全的机器人
利用这些技巧，该团队构建了首个拥有超过 10 亿参数的安全机器人（这是衡量机器人“大小”和智能程度的指标）。

规模：它比任何之前的安全机器人大 10 倍以上。
智能：它仍然能够理解上下文、通过推理解决问题，并从示例中学习（一种称为“上下文学习”的技能），其表现与标准的、未加锁的机器人一样出色。
速度：由于他们的新数学方法如此高效，它在加密数据上的运行速度比之前的方法快得多。

总结
这篇论文提出了一种尊重隐私的构建 AI 的新方法。他们用一种更简单的、基于“幂次”的版本替换了 AI 复杂的“注意力”机制，使其能够适配加密锁。这使得他们能够训练庞大的、拥有十亿参数的 AI 模型，这些模型能够在不泄露用户数据或模型秘密的情况下，安全地进行思考和推理。他们不仅仅制造了一个小玩具，而是构建了一个真正起作用的大型安全大脑。

技术摘要：PowerSoftmax：面向加密数据的安全大语言模型推理

问题陈述

现代隐私保护大语言模型（LLM）通常依赖同态加密（HE），特别是 CKKS 方案，该方案允许在不解密的情况下对加密数据进行计算。然而，CKKS 仅支持多项式运算。标准的 Transformer 架构严重依赖非多项式组件，其中最显著的是自注意力机制中的 Softmax 函数，该函数涉及指数、除法和对数运算（例如，通过 log-sum-exp 技巧实现数值稳定性）。

现有的弥合这一差距的方法面临显著局限：

训练后近似（PTA）：直接使用高阶多项式近似预训练模型中的非多项式函数。这通常因高乘法深度和累积噪声而导致推理效率低下。
近似感知训练（AAT）：在训练前将非多项式原语替换为更易于近似的替代方案（例如，逐点注意力或缩放 ReLU）。虽然这些方法对较小模型有效，但在稳定性和可扩展性方面 struggled，无法支持具有数十亿参数或深层架构（例如 32 层）的大语言模型。

核心挑战在于设计一种 Transformer 架构，使其本质上兼容 HE 约束（低次多项式、稳定的数值范围），同时保持标准 Softmax 基 Transformer 在数十亿参数规模下的表达能力、推理能力和上下文学习（ICL）能力。

方法论

作者提出了 PowerSoftmax，这是一种新颖的、对 HE 友好的自注意力变体，旨在复制 Softmax 的核心原则，同时保持对多项式近似的友好性。该方法涉及三个不同的阶段：

1. 对 HE 友好的注意力设计

作者提炼了 Softmax 的基本属性：归一化至 $[0, 1]$ 、放大分数差异以及保持顺序。他们用幂函数 $x^p$ （其中 $p$ 为正偶整数）替换 Softmax 中的指数函数 $\exp(x)$ 。
所提出的注意力机制定义为：
$\text{PowerSoftmax}(x)_j = \frac{x_j^p}{\sum_i x_i^p}$
该公式避免了 Softmax 直接多项式近似中固有的指数运算和除以零的问题。

2. 训练稳定性与数值鲁棒性

为了解决由幂函数引起的训练不稳定性（即输入 $>1$ 时数值爆炸，输入 $<1$ 时数值消失），作者引入了两项关键修改：

稳定变体：受 log-sum-exp 技巧启发，他们在应用幂函数之前，通过常数 $c = \|x\|_\infty + \delta$ 对输入进行归一化。这确保输入保持在可控范围 $(0, 1)$ 内，防止溢出/下溢并保留浮点精度。
$\epsilon$ 有界除法：为了处理非多项式且在零附近敏感的除法运算，他们将分母修改为 $\epsilon + \sum x_i^p$ 。这创建了一个 $1/\epsilon^2$ -Lipschitz 连续函数，使得后续对除法的多项式近似变得显著更易处理，并降低了所需的乘法深度。

3. 长度无关的近似

标准的除法近似（例如 Goldschmidt 算法）难以处理注意力分数的无界和，该和随序列长度 $L$ 线性增长。作者提出了 长度无关的 PowerSoftmax：
$\text{Length-Agnostic}(x)_j = \frac{x_j^p}{L \cdot \text{Mean}(x^p)}$
由于 $L$ （序列长度）是公开的，项 $1/L$ 可以直接计算而无需近似。模型近似的是均值的除法而非总和，从而确保无论序列长度如何，近似域始终保持有界。

4. 构建流程（算法 1）

创建多项式 LLM 的完整流程包括：

架构修改：用稳定的 PowerSoftmax 变体替换 Softmax，并通过范围最小化目标从头开始训练（或通过持续预训练）。
范围最小化：应用专门的损失函数，将非多项式层（PowerSoftmax、GELU、LayerNorm）的输入范围限制在确保低次多项式近似准确的范围内。
多项式替换：训练后，将剩余的非多项式运算（除法、逆平方根）替换为低次多项式近似（例如 Goldschmidt 方法），从而生成完全多项式模型。

主要贡献

PowerSoftmax 机制：一种新的自注意力变体，用多项式缩放替换指数缩放，专门针对 HE 环境定制，同时保持了注意力的核心设计原则。
可扩展的多项式 LLM：开发了首个超过十亿参数的多项式 LLM（具体为 14 亿参数、32 层）。这些模型展示了与同规模标准 Transformer 相当的推理能力和上下文学习（ICL）能力。
稳定的训练与推理策略：引入了数值稳定的训练变体和长度无关的推理策略，克服了以往多项式 Transformer 方法的不稳定性和可扩展性问题。
全面评估：对加密计算进行了详细的延迟分解，并通过消融研究验证了设计选择，包括幂参数 $p$ 和 $\epsilon$ 有界除法的影响。

实验结果

作者在因果（GPT/Pythia）和双向（RoBERTa）架构上评估了他们的方法：

性能：14 亿参数的多项式模型在零样本和少样本基准测试（例如 Lambada、PIQA、WinoGrande、ARC）上取得了与原始 Softmax 基 Pythia 模型相当的性能。值得注意的是，该模型在 ARC-Challenge 等推理基准测试上表现出了竞争力，这是以往多项式 LLM 未曾展现的能力。
双向模型：多项式 RoBERTa-Base 变体在 GLUE 任务（SST-2、QNLI、MNLI）上相比原始 Softmax 基 RoBERTa 仅下降了约 1%，优于 Nexus 等以往的多项式方法。
HE 推理：使用 HElayers 框架对 Pythia 70M 模型进行的实验证实，加密推理产生的结果与明文推理几乎相同（最大均方误差损失为 0.005）。
效率：与最先进的方法（Nexus、Cho 等人）相比，所提出的方法显著降低了乘法深度。对于 128 个 token 的序列，PowerSoftmax 相比 Taylor/Goldschmidt 方法将延迟降低了约 9.7 倍，相比平方策略方法降低了约 20 倍。

意义与主张

该论文声称在隐私保护机器学习领域取得了突破，证明了完全多项式 LLM 可以在不牺牲推理或上下文学习能力的情况下扩展到十亿参数规模。

可扩展性：与以往局限于小模型或简单分类任务的工作不同，该方法成功训练了具有 14 亿参数的深层（32 层）Transformer。
非交互式安全性：通过利用完全同态加密（FHE）配合完全多项式模型，该方案实现了非交互式推理，避免了与多方计算（MPC）或交互式协议相关的通信开销和潜在漏洞。
实用性：详细的延迟分析以及 14 亿参数模型的成功部署表明，安全、私密的 LLM 推理正变得切实可行，为医疗和金融等数据敏感领域的应用铺平了道路。

作者承认，尽管模型表现良好，但在加密数据上进行序列解码的自回归生成能力的全面评估仍是未来工作的方向。