🤖 AI

Differentially Private Preference Data Synthesis for Large Language Model Alignment

本文介绍了 DPPrefSyn，这是首个通过利用 DP-PCA 学习私有 Bradley-Terry 模型并借助公共提示词来在不损害用户隐私的前提下保留人类价值观，从而为大语言模型对齐生成差分隐私合成偏好数据的框架。

原作者： Fengyu Gao, Jing Yang

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Fengyu Gao, Jing Yang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个聪明但缺乏经验的机器人助手（即大语言模型，简称 LLM）。为了教会它变得乐于助人、有礼貌且安全，你需要向它展示“好”答案与“坏”答案的对比示例。这个过程被称为偏好对齐（preference alignment）。

然而，用于教导机器人的真实世界数据往往包含人们的私人秘密、健康问题或敏感观点。直接使用这些原始数据就像是通过朗读每个人的私人日记来教课一样——虽然能起到教学作用，但这是一场巨大的隐私灾难。

这篇论文介绍了一种新方法，叫做 DPPrefSyn（差分隐私偏好合成）。你可以把它想象成一本“保护隐私的食谱”，它允许我们在不暴露原始日记的情况下教导机器人。

以下是它的工作原理，分为简单的步骤：

1. 问题所在：“私人日记”的困境

通常，为了修正机器人的行为，我们会给它喂入数以千计的真实案例，其中人类表达了：“比起答案 B，我更喜欢答案 A。”

风险： 这些示例通常包含私人细节（例如，“如何隐藏我的抑郁症？”或“我的老板在偷窃”）。如果我们直接用这些数据训练机器人，它可能会在日后意外地记住并泄露这些秘密。
旧有的解决方法： 一些之前的方法试图隐藏姓名或仅仅隐藏标签，但它们仍然会让其他秘密暴露在外。这就像是给机器人戴上了眼罩，却把日记本摊开在桌子上。

2. 解决方案：DPPrefSyn（“隐私大厨”）

与其把真实的日记喂给机器人，不如让 DPPrefSyn 充当一名大厨：它阅读日记，理解偏好的“风味”，然后烹饪出全新的、虚构的食谱，这些食谱尝起来味道完全一样，但不含任何真实的食材。

以下是三个步骤的烹饪过程：

第一步：按“口味”分组（聚类）

人类的偏好是杂乱无章的。有些人喜欢简短有力、干脆利落的回答；有些人则偏好详细、礼貌的回答。

类比： 想象你有一大袋混合糖果。有些人喜欢酸的，有些喜欢甜的，有些喜欢辣的。
方法： 算法观察私密数据，并将相似的“口味”归为一类。它使用一种特殊的隐私护盾（称为 DP-PCA）将复杂的数据压缩成更简单的形状而不丢失“风味”，然后根据这些偏好代表的类型将糖果分类放入不同的罐子中（聚类）。

第二步：学习“风味特征”（奖励模型）

一旦数据被分装进罐子，算法就会为每个罐子学习一条简单的规则。

类比： 对于“酸味”罐子，规则可能是“多加柠檬”；对于“甜味”罐子，规则可能是“多加糖”。
方法： 它为每个罐子训练一个微小的、私有的“评委”。这个评委学习如何根据该特定群体的口味来为答案评分，但它是通过一种名为 DP-SGD 的隐私技术来进行的，这种技术在学习过程中加入了少许“静态噪声”。这种噪声确保了评委无法记住任何特定个人的日记条目，只能记住普遍的模式。

第三步：烹饪新食谱（合成）

现在，算法会前往一个公共图书馆（使用不包含秘密的公共提示词），并要求一个强大的机器人写出许多不同的答案。

类比： 大厨拿出一张空白的公共问题清单，请一位作家起草 5 个不同的故事，然后使用第二步中得到的“风味评委”来挑选出最好的版本和最差的版本。
结果： 算法创建了一个全新的“好 vs 坏”答案数据集。这些答案是合成的（虚构的），因此不包含任何真实的私密数据。然而，由于它们是由受隐私保护的评委选出的，它们完美地模仿了原始私密数据的“风格”和“价值观”。

3. 为什么这意义重大

论文声称这种方法是一个游戏规则的改变者，原因有三：

更安全： 因为最终的数据集是由虚构数据组成的，你可以将其分享给任何人，而无需担心泄露私人秘密。这就像是分享一本食谱，而不是分享原本的家族日记。
更聪明： 出人意料的是，论文发现使用这些“虚构食谱”来训练机器人，效果往往比直接使用那些混乱的真实私密数据还要好。合成数据更干净，噪声更少。
更灵活： 与仅适用于特定机器人训练方法的旧方法不同，这个“食谱”可以用于任何现代机器人训练方法（如 DPO 或 RLHF）。

核心结论

DPPrefSyn 是一种教导 AI 变得乐于助人且具有人性化特征的方法。它首先以隐私安全的方式学习人类偏好的模式，然后利用这些模式生成新的、虚构的数据，从而用于安全训练。它让我们既能获得大数据带来的好处，又无需承担暴露私人生活的风险。

该论文并未声称：

它并不声称适用于医疗诊断或临床治疗。
它并不声称能永远消除所有的隐私风险（它依赖于被称为“差分隐私”的数学保证）。
它并不声称适用于图像或视频，仅针对文本。

技术摘要：用于大语言模型对齐的差分隐私偏好数据合成

问题定义

大语言模型（LLMs）需要进行偏好对齐（例如，通过 RLHF 或 DPO），以确保输出符合人类价值观。这一过程依赖于成对的偏好数据集，其中人类标注者针对给定的提示词（promp）在优选响应与次优响应之间进行选择。然而，这些数据集经常包含敏感的用户提示（泄露健康、身份或个人话题）以及人类反馈（揭示私人信仰或行为模式）。

现有的隐私保护方法面临显著局限性：

保护不完全： 许多方法仅保护提示词或仅保护标签，导致攻击者可以从未受保护的组件中推断出敏感属性。
方法论僵化： 当前的解决方案通常针对特定算法（如基于 PPO 的 RLHF），缺乏与新兴方法（如直接偏好优化 DPO）的兼容性。
数据稀缺： 高质量的人类偏好标注成本高昂且稀缺。直接将差分隐私（DP）应用于有限的私有数据集往往会降低效用，导致对齐性能变差。

本文解决的核心问题是：能否在确保彻底隐私保护的同时，实现卓越的偏好对齐，并保持与多种对齐方法论的兼容性。

方法论：DPPrefSyn

作者提出了 DPPrefSyn，一个用于生成差分隐私（DP）合成偏好数据的原则性框架。该算法基于 Bradley–Terry 偏好模型，并假设存在一个 线性奖励结构（ $r_\theta(x, a) = \langle \theta, \phi(x, a) \rangle$ ）来捕捉异质的人类偏好。

该过程由三个主要步骤组成：

偏好表示与聚类：
- 嵌入（Embedding）： 使用公共句子嵌入模型 $\psi$ 对私有偏好样本 $(x_i, a^+_i, a^-_i)$ 进行编码。特征向量定义为提示词拼接后的优选响应与次优响应嵌入之间的差异： $d_i = \psi(x_i, a^+_i) - \psi(x_i, a^-_i)$ 。
- 降维（DP-PCA）： 为了解决高维空间中的样本效率问题，算法应用 DP-PCA 将 $d_i$ 投影到低维空间（ $z_i$ ），在保持关键偏好信号的同时满足隐私预算 $\epsilon_0$ 。
- 聚类（DP-KMeans）： 使用预算 $\epsilon_1$ 对投影向量进行 DP-KMeans 聚类。这组成了具有相似偏好模式的样本，从而允许假设同一簇内的用户共享一个共同的奖励参数 $\theta_k$ 。
DP 奖励模型训练：
- 对于每个簇 $C_k$ ，训练一个以 $\theta_k$ 为参数的线性奖励模型，以最小化该簇内观测到的偏好负对数似然。
- 训练利用 DP-SGD（差分隐私随机梯度下降）和噪声乘数 $\sigma_2$ 。
- 并行组合（Parallel Composition）： 由于各簇是互斥的，训练所有簇模型的隐私成本由训练最小簇的成本限定，从而确保了高效的预算使用。
DP 合成偏好生成：
- 算法利用 公共提示词（Public Prompts） 以避免在提示词合成上消耗隐私预算。
- 对于每个公共提示词，LLM 生成 $L$ 个多样化的候选响应。
- 根据 DP 保护的簇大小分布（直方图）采样一个簇索引 $k$ 。
- 使用训练好的 DP 奖励模型 $\theta_k$ （投影至 DP-PCA 子空间）对候选响应进行评估。奖励得分最高和最低的一对响应构成合成偏好对 $(\tilde{x}, \tilde{a}^+, \tilde{a}^-)$ 。
- 丢弃奖励差距不足的样本以确保质量。

隐私保证： 该算法满足 $(\epsilon, \delta)$ -差分隐私。总预算分配给 DP-PCA ( $\epsilon_0$ )、DP-KMeans ( $\epsilon_1$ ) 以及剩余预算用于 DP-SGD。使用隐私随机变量（PRV）会计器来紧凑地组合 DP-SGD 成本。由于 DP 的后处理特性，生成的合成数据集可以在各种对齐方法和 LLM 之间重复使用，而不会产生额外的隐私成本。

核心贡献

新颖算法 (DPPrefSyn)： 首个专门为 LLM 对齐生成 DP 合成偏好数据的研究。它独特地结合了 Bradley–Terry 模型与成对数据的内在几何结构。
处理偏好异质性： 通过利用奖励模型的共享线性结构和聚类，该框架有效地捕捉了私有数据集中多样化的人类偏好（例如，在事实准确性与礼貌程度之间不同的优先级）。
高效性与鲁棒性：
- DP-PCA 提高了高维空间中的学习效率和聚类稳定性。
- 公共提示词 使整个隐私预算能够集中于建模偏好，显著提升了隐私效率。
严谨的隐私分析： 论文提供了 $(\epsilon, \delta)$ -DP 的形式化证明，利用 PRV 会计器进行紧凑组合。
通用性： 与以往受限于特定算法（如 PPO）的工作不同，DPPrefSyn 兼容包括 SFT、DPO 和 PPO 在内的多种对齐方法。

实验结果

作者在三个基准测试上评估了 DPPrefSyn：OpenAssistant (QA)、Anthropic-HH (帮助性/无害性) 和 TL;DR (摘要)。下游模型通过 SFT 后接 DPO（或 PPO）进行微调。

卓越的隐私-效用权衡： 在所有隐私预算（ $\epsilon = 0.5, 1, 2, 4, 8$ $ϵ = 0.5, 1, 2, 4, 8$ ）下，DPPrefSyn 的表现一致优于使用 DP-SGD 直接在私有数据上进行微调 (DP-FT)。
- 示例： 在 Anthropic-HH 测试中，当 $\epsilon=2$ 时，DPPrefSyn 在 DPO 后的 GPT-4o 胜率达到 56.48%，显著高于 DP-FT (37.02%)，甚至超过了非隐私基准 (38.72%)。
对数据稀缺的鲁棒性： 该方法即使在公共提示词有限的情况下（例如 5K 提示词对比 14K 私有样本）依然有效，证明了高质量合成生成可以缓解数据稀缺问题。
泛化能力： 该方法在不同的下游模型（Pythia-2.8B, Qwen-3-4B, Llama-3-8B）和对齐方法（DPO, PPO）中均表现出色。
隐私攻击： DPPefSyn 展示了对成员推理攻击（MIA）的强大抵抗力，其 AUC 得分接近随机猜测，而 DP-FT 模型则仍显脆弱。

意义与主张

论文声称 DPPefSyn 为隐私保护的偏好对齐提供了一个实用的替代方案。其主要意义在于证明了：在强 DP 保证下，合成偏好数据可以实现与直接在私有数据上训练相当、甚至更优的对齐性能。

作者强调，通过将隐私预算与提示词生成解耦（使用公共提示词），并将其集中于建模人类偏好分布（通过聚类和奖励模型），该方法克服了通常与 DP 微调相关的效用下降问题。这使得在需要严格隐私保护的应用场景（如医疗、个人助手）中部署对齐后的 LLM 成为可能，且无需牺牲模型能力。

该工作被视为首个生成用于 LLM 对齐的 DP 合成偏好数据的研究，为平衡大数据优势与个人隐私保护开辟了新方向。