🤖 machine learning

LightSplit: Practical Privacy-Preserving Split Learning via Orthogonal Projections

LightSplit 是一种实用的隐私保护分割学习框架，它在切割层采用轻量级、固定的正交随机投影，既通过充当信息瓶颈将通信开销降低高达 32 倍并缓解重构攻击，又无需在客户端设备上添加任何可训练组件即可保持超过 95% 的基线准确率。

原作者： Mert Cihangiroglu, Alessandro Pegoraro, Phillip Rieger, Antonino Nocera, Ahmad-Reza Sadeghi

发布于 2026-05-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Mert Cihangiroglu, Alessandro Pegoraro, Phillip Rieger, Antonino Nocera, Ahmad-Reza Sadeghi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你和一群朋友正试图共同拼凑一幅巨大而复杂的拼图。你们每个人都握有一块独特的拼图碎片（即你们的私有数据），但你们不想向他人展示这块碎片，因为它包含敏感的秘密。

在拆分学习（Split Learning）的世界里，你们与一个强大的中央“服务器”（一台超级计算机）协同工作。你们在自己的设备上完成拼图的第一部分，生成一幅“打碎”的中间版本图像。你们将这块打碎的碎片发送给服务器，由服务器完成拼图的其余部分，并将结果返回给你们。

问题所在：
发送这块“打碎”的碎片存在两大问题：

过于沉重：碎片体积庞大，每次发送都会堵塞网络连接。
过于暴露：尽管它已被“打碎”，但一个好奇的服务器仍可通过观察细节重建你们的原始秘密图像。这就像发送一份被撕碎的文档；如果碎纸片足够大，有人就能将它们重新拼贴复原。

现有解决方案往往试图解决其中一个问题，却忽视了另一个。有些方法让碎片变小，却保留了秘密；另一些方法隐藏了秘密，却让碎片变得过于沉重，拖慢了整个系统。

解决方案：LightSplit
本文作者提出了一种名为LightSplit的新方法。可以将其理解为在发送拼图碎片之前，对碎片施加的一个巧妙的一次性魔术。

以下是其工作原理，借助简单的类比说明：

1. “正交投影”（魔法滤镜）

想象你们的拼图碎片是一件高清的三维雕塑。发送整个雕塑代价高昂。

旧方法：发送整个雕塑。
LightSplit 方法：你用一束特定且固定的光照亮雕塑，仅发送它在墙上投射的影子。

这个影子要小得多（节省了网络带宽）。但关键在于：这个影子是从随机角度投射的。它保留了整体形状（因此服务器仍能完成拼图），却丢弃了那些足以让人重建原始三维雕塑的具体细节。这就像观察一个人的影子：你能看出他很高、戴着帽子，但无法看清他的脸或穿着什么。

2. “类内压缩”（群体拥抱）

即使影子也可能存在微小的独特褶皱，从而暴露出是谁的影子。

修正措施：LightSplit 添加了一条规则：“所有属于‘猫’类别的个体，其影子必须完全一致；所有属于‘狗’类别的个体，其影子也必须完全一致。”
结果：服务器看到一个完美的“猫影”和一个完美的“狗影”。它能区分猫和狗（因此拼图能正确完成），但无法再分辨出你的那只特定猫与你邻居的那只特定猫之间的差异。它消除了数据的“个体性”，同时保留了“类别”信息。

3. “回抬”（服务器的解码器）

服务器接收到这个微小且通用的影子。为了完成拼图，它需要将这个影子还原成拼图其余部分可理解的形状。

LightSplit-F（简单方式）：服务器仅使用一个固定的数学规则将影子拉伸回原状。这种方法快速且无需额外计算能力。
LightSplit-L（智能方式）：服务器使用一个小型可训练的人工智能，以最适合拼图的方式将影子拉伸回原状。这种方式稍显强大，但需要服务器付出更多计算工作。

为何这很重要？

本文将该方法与当前已知的最佳“黑客”攻击进行了测试。

隐私性：当黑客尝试从影子中重建原始图像时，他们彻底失败。重建出的图像变成了无法识别的噪声。论文声称，与其他方法相比，这使黑客窃取数据的能力降低了高达7 倍。
速度：由于影子非常小，通过网络发送的数据量减少了高达32 倍。
准确性：尽管进行了如此多的隐藏和压缩，最终拼图仍以95% 以上的准确率完成。系统并未混淆，只是更聪明地选择了隐藏什么。

核心结论

LightSplit 是一种实用的方法，使设备能够在不共享私有数据的情况下协同进行 AI 训练。它充当一个隐私保护过滤器，既压缩数据以节省带宽，又打乱细节以阻止黑客，而无需用户的设备承担任何繁重计算。这是一个针对沉重问题的“轻量级”解决方案。

技术摘要：LightSplit

问题陈述

分裂学习（SL）通过在资源受限的客户端与功能强大的服务器之间划分模型，实现深度神经网络（DNN）的协同训练。虽然这种方法保留了原始数据的本地性，但在传输中间激活值（即“粉碎数据”）的“切割层”引入了两个关键挑战：

通信开销：传输高维激活张量（例如，CIFAR-10 上 ResNet-18 的 4,096 维）造成了显著的带宽瓶颈，其开销随激活维度和客户端数量线性增长。
隐私漏洞：粉碎数据包含丰富的特定实例信息。在半诚实（诚实但好奇）威胁模型下，服务器可利用这些表示执行重建攻击（例如 SDAR、UnSplit、FORA），以高保真度恢复客户端输入。

现有的防御方法通常孤立地解决这些问题。专注于隐私的方法（例如噪声注入、扰动）往往无法减少通信负载，而压缩技术（例如 top-k 稀疏化、学习到的编解码器）往往保留了被重建攻击利用的特定实例信号，或引入了不可接受的客户端计算开销。

方法：LightSplit

作者提出了LightSplit，这是一个框架，通过在切割层应用轻量级的固定正交随机投影，同时减少通信开销并限制信息暴露。

核心机制

固定正交投影：
- 每个客户端使用固定的随机正交矩阵 $R \in \mathbb{R}^{d \times k}$ ，将其 $d$ 维粉碎激活 $z$ 投影到更低维的子空间 $k$ （ $k \ll d$ ）。
- 该投影通过对高斯随机矩阵进行 QR 分解导出，确保 $R^\top R = I_k$ 。
- 此投影不可训练且在训练过程中固定，客户端无需额外的可学习参数。
- 理论基础：该方法利用了 Johnson-Lindenstrauss (JL) 引理，该引理保证成对欧几里得距离（从而保证类别可分性）在低维空间中近似保留。
服务器端升维恢复：
为了与现有的 SL 架构保持兼容，服务器必须为其骨干网络重建 $d$ 维输入。LightSplit 提供两种模式：
- LIGHTSPLIT-F（固定）：使用无参数的线性升维恢复（ $\hat{z} = R\tilde{z}$ ），有效地将接收到的向量投影回 $k$ 维子空间。这在计算上极小。
- LIGHTSPLIT-L（学习）：采用一个小型的可训练多层感知机（MLP），将 $k$ 维投影映射回 $d$ 维。这允许服务器适应投影后的分布，补偿信息损失，但需要额外的服务器端参数。
类内压缩（WCC）正则化：
为了解决仅靠随机投影可能保留残留特定实例信号的局限性，LightSplit 引入了客户端正则化项。
- 目标：最小化投影表示 $\tilde{z}$ 的类内方差。
- 机制：客户端计算每个类别 $c$ 的投影样本均值 $\mu_c$ ，并最小化样本与其类中心之间的平方欧几里得距离： $L_{WCC} = \sum_c \frac{1}{|S_c|} \sum_{i \in S_c} \|\tilde{z}_i - \mu_c\|_2^2$ 。
- 效果：这促使同类样本形成紧凑的簇，有效丢弃重建攻击所依赖的特定实例变化，同时保留类别判别结构。

主要贡献

隐私与效率的协同：LightSplit 是首个无需额外客户端可训练组件即可同时减少每样本负载（通信）并限制信息暴露（隐私）的方法。
不可逆信息瓶颈：通过丢弃投影的正交补空间，该方法为服务器创建了一个欠定的逆映射，使得原始输入的精确重建在数学上成为不可能。
轻量级客户端设计：客户端仅执行与固定矩阵的一次矩阵乘法，保留了分裂学习在边缘设备上低计算量的前提。
类别级结构保留：JL 投影与 WCC 正则化的结合，将表示从实例描述符转变为类别原型，增强了针对重建攻击的鲁棒性。

实验结果

作者在 IID 和 Non-IID 设置下，在 CIFAR-10、CIFAR-100、Fashion-MNIST 和 GTSRB 数据集上评估了 LightSplit，并与原始传输及学习到的压缩基线（Learned 1x1）进行了比较。

隐私性能：
- LightSplit 显著降低了最先进重建攻击（SDAR、FORA、UnSplit）的性能。
- 针对 SDAR，在 32 倍压缩下，SSIM 分数较原始传输下降了高达58.3%。
- 针对 FORA，LPIPS 分数增加了约 36%，表明与原始图像的感知相似度降低。
- 针对 UnSplit，LightSplit 将 MNIST 上重建的均方误差（MSE）提高了高达1.27 倍，有效防止了像素级完美恢复。
- 与基线相比，该方法将攻击的重建能力降低了高达7 倍。
效用与效率：
- 准确率保持：在大多数场景下，LightSplit 保留了**>95%的基线准确率。例如，在 CIFAR-10 上以 32 倍压缩时，准确率仅下降约 6%**（而某些基线下降约 13%）。
- 通信减少：该方法实现了高达32 倍的传输维度减少。
- 稳定性：训练动态在不同压缩比和客户端规模（高达 100 个客户端）下保持稳定。
- 后门检测：该方法不干扰服务器端的后门检测机制；恶意客户端仍可通过余弦相似度签名被识别。

意义与主张

论文声称，LightSplit 解决了分裂学习中的一个关键缺口，即现有解决方案迫使隐私与效率之间进行权衡。通过利用固定正交投影和方差减少正则化器，LightSplit：

缓解隐私泄露：它将好奇服务器可获取的信息限制为类别级原型，而非特定输入实例，有效提高了重建攻击的难度。
降低开销：它大幅降低了通信成本，且无需与学习到的编解码器相关的客户端训练开销。
保持兼容性：它无缝集成到现有的 U 型分裂学习架构中，无需修改底层网络结构，也无需更改服务器的骨干网络（在固定模式下）。

作者明确指出，LightSplit 不提供形式化的隐私保证（例如差分隐私），但在半诚实威胁模型下，它展示了对自适应、最先进重建攻击的稳健实证抵抗力。他们将该方法定位为在隐私敏感和带宽受限的边缘环境中部署分裂学习的实用、轻量级解决方案。