🤖 AI

Privacy-Preserving LLMs Routing

本文提出了名为 PPRoute 的隐私保护大语言模型路由框架，通过采用 MPC 友好操作、多步模型训练算法以及通信复杂度为 $O(1)$ 的未排序 Top-k 算法，在确保路由质量与用户数据隐私的同时，实现了相比朴素实现约 20 倍的速度提升。

原作者： Xidong Wu, Yukuan Zhang, Yuqiong Ji, Reza Shirkavand, Qian Lou, Shangqian Gao

发布于 2026-04-20

📖 1 分钟阅读☕ 轻松阅读

CC0 1.0

原作者： Xidong Wu, Yukuan Zhang, Yuqiong Ji, Reza Shirkavand, Qian Lou, Shangqian Gao

原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲述了一个关于**“如何在大模型时代，既省钱又安全地给问题找最佳医生”**的故事。

为了让你轻松理解，我们把整个场景想象成一个**“超级医院”**。

1. 背景：大医院的“分诊台”困境

想象一下，现在有很多不同级别的医生（大语言模型，LLM）：

专家级医生（如 GPT-4）：医术高超，能治疑难杂症，但挂号费极贵，排队时间长。
普通医生（如小模型）：便宜、速度快，能治感冒发烧，但遇到复杂问题就束手无策。

为了解决“看病贵”和“看病慢”的矛盾，人们发明了一个**“智能分诊台”（LLM Routing）**。

它的工作：当你把病情（用户提问）告诉分诊台，它会快速判断：这个问题简单吗？如果简单，就派给便宜的普通医生；如果复杂，就派给昂贵的专家。
好处：既省了钱，又保证了治疗效果。

但是，这里有个巨大的隐私隐患：
分诊台是第三方管理的。为了判断病情，你必须把**完整的病历（你的隐私数据）**交给分诊台看。分诊台的人可能会偷看、泄露你的病历，或者被黑客攻击。这就好比你去看病，还没见到医生，就把自己的隐私全告诉了前台，这让人很不放心。

2. 现有的解决方案太“慢”了

以前，为了保护隐私，人们想出了一个叫**“多方安全计算（MPC）”**的魔法。

魔法原理：把你的病历撕成几片，分别交给几个互不信任的“加密助手”。他们各自手里只有一片，谁也不知道完整病历，但他们可以一起算出结果。
问题：这个魔法虽然安全，但太慢了！就像几个人隔着墙，通过传纸条来算一道数学题，算个简单的加法都要半天。如果用在分诊台上，你问一个问题，可能要等几个小时才能得到回复，完全没法用。

3. 这篇论文的突破：PPRoute（隐私分诊系统）

这篇论文提出了一套名为 PPRoute 的新系统，它就像给那个慢吞吞的“加密魔法”装上了**“涡轮增压”和“智能导航”**，让它既安全又飞快。

它主要做了三件聪明的事：

第一招：给“分诊员”换装（MPC 友好的操作）

原来的分诊员（编码器）在计算时，喜欢用一些很复杂的数学公式（比如 Softmax 和 GeLU），这些公式在“加密魔法”里计算起来极其耗时，就像让加密助手去解微积分。

PPRoute 的做法：它把分诊员换成了**“简化版”**。它用更简单、更直接的公式（比如用 ReLU 代替复杂的函数）来代替那些复杂的步骤。
比喻：就像把分诊员从“数学家”换成了“经验丰富的老护士”。虽然用的方法简单了点，但在“加密环境”下，老护士算得飞快，而且效果几乎没打折。

第二招：师徒传承（多阶段训练）

既然换了“简化版”分诊员，会不会变笨？

PPRoute 的做法：它搞了一个**“师徒教学”**。
1. 先让一个“全能的老师傅”（原始模型）在普通环境下教学生。
2. 然后让“简化版学生”（新模型）去模仿老师傅的判断逻辑。
3. 最后，只保留学生，把老师傅扔掉。
结果：这个“简化版学生”虽然结构简单，但学会了老师傅的精髓，判断准确率依然很高。

第三招：极速“选医生”算法（未排序 Top-k）

分诊台最后一步是从一堆医生里挑出最好的几个。在加密环境下，传统的“排序”就像让所有人排队比身高，还要互相保密，非常慢。

PPRoute 的做法：它发明了一种**“未排序 Top-k"**的新算法。
比喻：传统的排序是“大家排成一队，比完身高再选前 5 名”；PPRoute 的方法是“大家同时举手，系统直接统计谁举得最高，不需要排队”。
效果：这一步把原本需要几千轮通信的繁琐过程，压缩到了常数级（几乎是一瞬间），速度提升了20 倍以上！

4. 最终效果：既快又稳

论文通过实验证明，PPRoute 系统：

速度快：比原来笨拙的加密方法快了20 倍，用户几乎感觉不到延迟。
效果好：分诊的准确率跟没有加密的普通系统几乎一样，该找专家时找专家，该找普通医生时找普通医生。
隐私强：你的病历（用户提问）在传输和处理过程中，始终处于“加密碎片”状态，没有任何人（包括分诊台管理员）能看到你的完整内容。

总结

简单来说，PPRoute 就是给大模型分诊系统穿上了一套**“防弹衣”（隐私保护），同时给这套防弹衣装上了“火箭推进器”（加速算法）**。

以前，为了保护隐私，我们要么牺牲速度（慢得没法用），要么牺牲安全（直接暴露数据）。现在，PPRoute 让我们可以既安全地保护隐私，又飞快地得到服务。这对于医疗、金融等对隐私要求极高的领域来说，是一个巨大的进步。

这篇论文提出了一种名为 PPRoute 的隐私保护大语言模型（LLM）路由框架，旨在解决在引入隐私保护技术（如安全多方计算 MPC）时，LLM 路由面临的性能开销过大和隐私泄露风险问题。

以下是对该论文的详细技术总结：

1. 研究背景与问题定义

背景：LLM 路由（LLM Routing）是一种通过动态选择不同模型提供商的服务来平衡模型性能与成本效率的策略。它通常将简单查询路由到轻量级模型，复杂查询路由到高性能模型。
核心问题：
1. 隐私风险：路由层作为用户和 LLM 之间的中间层，引入了新的数据泄露风险。目前缺乏系统性的隐私保护研究。
2. 性能瓶颈：虽然安全多方计算（MPC）可以保护数据隐私，但直接将其应用于 LLM 路由会导致不可接受的计算和通信开销。
  - 非线性的激活函数（如 Softmax, GeLU）在 MPC 下计算极其昂贵（例如 BERT 推理在 MPC 下可能慢 60 倍以上）。
  - 基于嵌入（Embedding）的路由需要最近邻搜索（KNN），涉及大量的比较和排序操作，在加密域中通信轮次多、延迟高。

2. 方法论：PPRoute 框架

PPRoute 是一个端到端的隐私保护框架，专为基于嵌入的 LLM 路由设计。它通过以下三个核心策略优化 MPC 环境下的推理效率：

2.1 面向 MPC 友好的算子替换 (MPC-friendly Operations)

为了加速编码器推理，PPRoute 用计算更简单的算子替换了 Transformer 编码器中的瓶颈函数：

Softmax 替换：使用 2ReLU 近似。由于指数函数（exp）在 MPC 中计算复杂，作者用 $ReLU(x)/\sum ReLU(x)$ 来近似 Softmax。
GeLU 替换：直接使用 ReLU 近似高斯误差线性单元（GeLU），因为 ReLU 在 MPC 中计算简单且高效。
效果：显著减少了加密域中的乘法运算次数和迭代轮次。

2.2 多阶段蒸馏训练算法 (Multi-stage Training Algorithm)

由于替换算子会改变模型架构并损害性能，PPRoute 采用了一种多阶段训练策略来恢复路由质量：

教师模型（Teacher）：在明文环境下训练标准的 Transformer 编码器 + MLP 层。
学生模型（Student）：使用上述“面向 MPC 的近似算子”构建编码器。
训练过程：
- 冻结教师模型的编码器，训练其 MLP 层。
- 联合训练学生模型的近似编码器和 MLP 层，结合路由损失（ $L_{routing}$ ）和知识蒸馏损失（ $L_{distill}$ ），使学生模型在加密域的表现尽可能接近教师模型。
- 最后冻结学生模型的编码器，微调 MLP 层。

注意：模型训练在明文环境下完成，仅推理阶段使用 MPC。

2.3 未排序 Top-k 算法 (Unsorted Top-k Algorithm)

针对模型选择中的最近邻搜索（KNN）问题，PPRoute 提出了一种通信复杂度为 O(1) 的“未排序 Top-k"算法：

原理：将选择问题重构为高度并行的矩阵操作。
1. 构建比较矩阵：将秘密共享的输入向量复制并循环移位，生成矩阵 A 和 B。
2. 逐元素比较：生成二进制比较矩阵 $C$ （ $C_{i,j} = 1$ 若 $A_{i,j} > B_{i,j}$ ）。
3. 局部聚合：对矩阵列求和得到排名分数向量 $S$ （仅涉及本地加法，无通信开销）。
4. 阈值筛选：根据分数与常数阈值比较，生成掩码向量选出 Top-k。
优势：将通信轮次降低到常数级（O(1)），消除了传统排序协议中随数据量线性增长的通信延迟，特别适合模型池规模有限的场景。

3. 主要贡献

首创性研究：首次系统性地研究了 LLM 路由中的隐私风险，并提出了首个端到端的隐私保护 LLM 路由框架（PPRoute）。
效率优化：
- 通过算子替换（2ReLU/ReLU）加速了编码器推理。
- 提出了常数轮次的 Top-k 算法，显著降低了 KNN 搜索的通信延迟。
质量保持：通过多阶段蒸馏算法，在加密域约束下保持了与明文路由相当的路由质量。
广泛适用性：成功应用于 CSCR 和 UniRoute 两种不同的基于嵌入的路由算法，证明了框架的通用性。

4. 实验结果

作者在 EmbedLLM、MixInstruct 和 RouterBench 三个基准数据集上进行了评估：

速度提升：
- PPRoute 相比朴素 MPC 实现（Naive MPC）实现了约 20 倍 的加速（例如 CSCR 在 EmbedLLM 上从 199.47 秒降至 9.38 秒）。
- 在 Top-k 搜索环节，相比基线方法（如 Bitonic Sort 或 Brute Force），通信轮次从数千次降至 52 次，总耗时从 10 秒以上降至 0.25 秒 左右。
路由质量：
- 在 AUDC（延迟曲线下的面积）、QNC（归一化查询成本）和 Peak Accuracy（峰值准确率）等指标上，PPRoute 的表现与明文版本的 CSCR 和 UniRoute 几乎一致。
- 证明了在提供强隐私保护的同时，并未牺牲路由的准确性和成本效益平衡能力。

5. 意义与影响

填补空白：解决了 LLM 路由中隐私保护与性能难以兼得的难题，填补了该领域系统性研究的空白。
实际应用价值：使得在医疗、金融等对数据隐私敏感的领域部署多模型路由系统成为可能，用户无需担心查询内容泄露给路由提供商或模型提供商。
技术突破：展示了通过算法近似（算子替换）和协议优化（Top-k 算法）相结合，可以大幅降低 MPC 在深度学习推理中的开销，为未来隐私保护 AI 系统的落地提供了重要参考。

总结：PPRoute 通过创新的算子替换、蒸馏训练和通信优化算法，成功构建了一个既高效又安全的 LLM 路由系统，实现了在保护用户查询隐私的前提下，达到与明文系统相当的性能和成本效益。