💬 NLP

The Art of Mixology: Mixup-based Obfuscation for Privacy-Preserving Split Learning in Large Language Models

本文提出了 MIXGUARD，一种基于 Mixup 的新型大语言模型隐私保护拆分学习框架，该框架通过结合 Token 级和表示级混淆以及自适应梯度扰动，在防止数据重构攻击的同时保持模型性能，从而有效地平衡了效用、隐私与效率。

原作者： Chen Chen, Xiang Gao, Xianshun Wang, Chengran Li, Shengyu Xia, Xueluan Gong, Linru Zhang, Qian Wang, Kwok-Yan Lam

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Chen Chen, Xiang Gao, Xianshun Wang, Chengran Li, Shengyu Xia, Xueluan Gong, Linru Zhang, Qian Wang, Kwok-Yan Lam

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你想要教一个聪明但非常昂贵的机器人（一个大语言模型）如何完成一项特定的工作，而你使用的是你的私人日记。你没有能够亲自训练机器人的超级计算机，所以你将你的日记发送到一个强大的服务器进行繁重的计算工作。

问题所在：
在标准的设置中，你将日记发送给服务器，然后服务器返回“梯度”（关于如何改进的数学提示）。问题在于，一个好奇的服务器（或伪装成服务器的黑客）可以通过观察这些提示和你的数据片段来重构你的私人日记。这就像是在寄送一张写有你秘密食谱的明信片；即使你用代码加密了内容，一个聪明的观察者只要通过观察纸上的痕迹，就能推断出食材是什么。

现有的方法试图通过以下方式来阻止这种情况：

添加噪声： 就像把明信片模糊处理得如此厉害，以至于服务器无法阅读，但遗憾的是，机器人也无法从中学习。
重度加密： 就像把明信片放进一个钢制保险箱里。这种方式很安全，但打开和关闭这个保险箱需要花费极长的时间，导致过程极其缓慢且昂贵。

解决方案：MIXGUARD
作者提出了一种名为 MIXGUARD 的新方法。他们的灵感来自“调酒术”（制作鸡尾酒的艺术）。正如调酒师通过混合不同的饮料来掩盖单一成分的强烈味道一样，MIXGUARD 通过将你的私人数据与其他的“诱饵”数据混合，来隐藏你的秘密，同时保持配方的可学习性。

它是如何运作的，分步骤如下：

1. “秘密标记”技巧（词元级混淆）

在发送你的文本之前，系统会秘密地在你的句子中插入随机的、无意义的词汇（比如“香蕉”或“云朵”）。

类比： 想象你在寄一封信，但你在每句话中随机插入了“菠萝”这个词。对于阅读这封信的间谍来说，信息看起来很奇怪且混乱。但因为系统准确知道“菠萝”在哪里，它稍后可以轻松地将其移除。

2. “鸡尾酒”混合（表示层级混淆）

系统不仅仅是发送你的文本，而是通过数学手段将你的文本与几个其他随机文本（诱饵）混合在一起，而服务器并不知道这些诱饵。

类比： 想象你有一杯私人的果汁。你把它倒入一个搅拌机，里面还有其他五个人的果汁。你将这杯混合奶昔发送给服务器。服务器看到的是一杯奶昔，但它完全不知道哪部分是你的果汁，哪部分属于其他人。
神奇之处： 服务器处理这杯奶昔并返回一个提示。你的系统随后使用一个预先构建好的特殊“解码器”来分离出奶昔中的你的果汁。因为系统知道混合的配方，它可以完美地恢复出原始数据的“风味”，尽管服务器只看到了混合物。

3. “校准”教练

因为混合过程有时会稍微扭曲风味，系统使用了一个轻量级的“教练”模型。

类比： 把这想象成一个“试味员”。在机器人从奶昔中学习之前，试味员会检查风味并进行微调，以确保它的味道与你原始的果汁完全一致。这确保了机器人在不损失准确性的情况下正确学习。

4. “自适应护盾”（梯度扰动）

当机器人学习时，它会发送回提示（梯度）。有时，这些提示仍可能泄露秘密。MIXGUARD 会在必要时向这些提示中添加一点点“静电噪声”。

类比： 如果试味员注意到奶昔与原始果汁的差异很大（意味着数据非常独特），系统就会向发回给服务器的提示中添加更多的“静电噪声”。这确保了即使服务器试图逆向工程这些提示，它们得到的也只是噪声，而不是你的秘密。

他们发现了什么？

作者在四种不同类型的任务（如情感分类、数学问答、编写代码和对话摘要）上进行了测试，并使用了各种规模的 AI 模型。

隐私性： 与其他方法相比，重建你的私人数据的难度大大增加。由于“奶昔”被混合得非常好，服务器无法分辨出原始成分是什么。
效用（性能）： 不同于其他将数据模糊到让机器人感到困惑的方法，MIXGUARD 使机器人的性能几乎与直接使用你的数据进行训练时完全相同。
效率： 它不需要像“钢制保险箱”那样沉重且缓慢的加密过程。它运行速度很快，不会显著减慢训练过程。

简而言之： MIXGUARD 就像一种安全的、高速的快递服务，它将你的私人包裹与诱饵包裹混合在一起。接收方（服务器）可以处理这个混合包裹以帮助你，但他们永远无法弄清楚哪一部分是属于你的。与此同时，你仍然可以完美地拆解结果，从而顺利完成工作。

技术摘要：MIXGUARD —— 基于 Mixup 的面向大语言模型隐私保护拆分学习的混淆方法

问题陈述
大语言模型（LLMs）需要巨大的计算资源，往往超出了边缘客户端的能力范围。拆分学习（Split Learning, SL）提供了一种解决方案，通过将模型在客户端（持有私有数据）和服务器（提供算力）之间进行划分。然而，现有的隐私保护拆分学习方法在效用（Utility）、隐私、效率和稳定性之间面临着严峻的权衡：

效用退化： 诸如差分隐私（Differential Privacy, DP）等方法会引入噪声，从而严重扭曲训练信号，导致下游性能下降。
不完整的隐私保护： 许多防御手段仅保护输入或标签，或者仅针对特定阶段（训练与推理），使其容易受到先进的数据重构攻击（Data Reconstruction Attacks, DRAs）的影响，例如 SIP（前向反转）、TAG/LAMP（反向梯度匹配）以及 BiSR（双向攻击）。
效率与稳定性： 密码学方法（如同态加密）会产生极高的开销，而其他轻量级防御手段往往无法在多样化的任务中保持稳定的性能，尤其是在复杂的文本生成任务中。

方法论：MIXGUARD
本文提出了 MIXGUARD，这是一个创新的框架，它将 mixup 数据增强技术改编用于 U 型拆分学习中的隐私保护。MIXGUARD 不通过添加噪声（这会导致分布偏移）来保护数据，而是通过线性组合多个表示来对数据进行混淆，在隐藏目标样本的同时保留底层的语义结构。该框架分为两个阶段运行：

标记级混淆（Token-Level Obfuscation）：
客户端在处理输入序列之前，在其中插入秘密的、随机采样的标记。这破坏了原始输入与中间表示之间的直接映射关系，且不会显著改变标记词表。
表示级混淆（Representation-Level Obfuscation, Mixup）：
客户端将目标样本 ( $x^*$ ) 与来自秘密支持集的 $k-1$ 个支持样本进行编码。这些隐藏的表示使用秘密向量和矩阵进行线性组合：
- 符号向量 ( $v$ )： 一个取值为 $\{-1, +1\}$ 的秘密向量。
- 混合矩阵 ( $A$ )： 一个正值矩阵，确保目标表示被保留并具有单位权重，同时在聚合时抵消非目标表示。
- 遮蔽矩阵 ( $B$ )： 一个可逆矩阵，用于进一步混淆传输前的混合消息。
  生成的“粉碎数据”（smashed data）被发送至服务器。服务器通过躯干模型（trunk model）处理这些混合后的激活值并返回结果。随后，客户端利用遮蔽矩阵的逆矩阵和符号向量来解码响应，从而恢复出目标表示的近似值。
校准模型（Calibration Model）：
由于 LLM 中存在非线性变换，近似表示会偏离真实的基准真相（ground truth）。MIXGUARD 采用了一个轻量级的校准模型（一个残差网络），该模型在公开数据上进行训练，用于精细化这一近似过程。该模型旨在最小化近似表示与真实表示之间的均方误差（MSE），从而确保用于尾部模型（tail model）损失计算的效用。
自适应梯度扰动（Adaptive Gradient Perturbation）：
在反向传播期间，客户端在将梯度发送给服务器之前应用自适应噪声。扰动规模由校准残差（校准表示与真实表示之间的误差）决定。具有较高残差（表明保留了更多隐私信息）的样本会接受更强的扰动，从而减轻反向泄露。

核心贡献

首个面向 LLM 的基于 Mixup 的拆分学习框架： 本文引入了第一个专门为 LLM 设计的基于 mixup 的隐私保护拆分学习框架，将该概念从数据增强扩展到了隐私混淆。
联合混淆机制： 它集成了标记级混淆、表示级 mixup 和自适应梯度扰动，在 U 型拆分学习设置中同时保护输入和标签。
校准策略： 提出了一种轻量级的校准模型来修正 mixup 过程引入的近似误差，弥合了混淆信号与可用训练梯度之间的差距。
全面的评估： 该框架在涵盖多种 LLM 家族（Qwen, Llama）、不同模型规模（1B 到 30B）及架构（Dense, MoE）以及参数高效微调（LoRA）的四个分类任务和四个文本生成任务中进行了评估。

实验结果

效用保持： MIXGUARD 实现了与非拆分训练基准相当的下游微调效用。例如，在 Llama 3.2-1B 的 CoLA 任务上，其准确率达到 0.839，而对于非拆分训练为 0.845（差距小于 1%）。相比之下，基准方法如 SnD 和 Naive Mix 出现了显著的效用下降（例如分别为 0.309 和 0.498）。
隐私保护： 针对最先进的数据重构攻击（DRAs），该方法始终优于现有的防御手段（DP-Forward, DP-SGD, SnD）。在 CoLA 数据集上，MIXGUARD 将 SIP 重构得分从约 0.54（非拆分）降低到约 0.02，并将 BiSR 得分降至约 0.08，而其他方法往往无法显著降低重构得分，或者会导致模型性能崩溃。
鲁棒性： 该框架在不同的模型规模、架构（包括 MoE）以及微调策略（全量微调 vs LoRA）下均保持有效。此外，它在面对已知防御机制的自适应攻击时也表现出了韧性。

意义与主张
本文声称 MIXGUARD 成功解决了 LLM 拆分学习中的“效用-隐私-效率”三难困境。通过利用基于 mixup 的混淆而非注入噪声或沉重的密码学手段，它在有效防止数据重构的同时，保持了训练信号的稳定性。作者将 MIXGUARD 定位为一种实用的解决方案，使资源受限的用户能够在不向服务器暴露敏感输入或标签的情况下训练 LLM，在实现强隐私保证的同时，避免了以往方法中出现的严重效用退化问题。这项工作强调，通过受控的混合来保持表示结构的完整性，是实现安全、大规模协作学习的一条可行路径。