💻 computer science

Private Direct Preference Optimization for LLM Alignment

本文介绍了 PrivDPO，这是一种新颖的直接偏好优化（Direct Preference Optimization）方法，它通过仅沿一维偏好轴添加校准噪声，强制执行一种专门的“偏好隐私”保证，从而在不带有现成隐私方法偏差的情况下，为大语言模型对齐实现强大的隐私-效用权衡。

原作者： Yangfan Jiang, Fei Wei, Ergute Bao, Xiaokui Xiao, Yaliang Li, Bolin Ding

发布于 2026-08-06

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yangfan Jiang, Fei Wei, Ergute Bao, Xiaokui Xiao, Yaliang Li, Bolin Ding

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个超级聪明的机器人如何变得礼貌、乐于助人且安全。你不仅仅是告诉它规则，而是通过展示示例来引导它。你给机器人一个问题，然后让它写出两个不同的答案。接着，人类会观察这两个答案并说：“我更喜欢答案 A 而不是答案 B。”这个过程被称为“对齐”（alignment），它是让 AI 模型表现得像优秀的公民而不是混乱的麻烦制造者的一种方式。机器人通过观察成千上千个这样的“A 对比 B”的选择来学习。

但这里有一个难点：这些选择不仅仅是数据点，它们还代表了人类的观点。如果一个人持有某种政治观点或特定的伦理立场，这种偏好是秘密。如果我们使用没有保护机制的这些秘密来训练机器人，机器人可能会意外地记住说话者是谁，或者训练过程本身可能会向窥探者泄露这些秘密。这就像是在教一门课时要求学生投票，却让投票箱处于敞开状态，让每个人都能看到谁投了哪一票。标准的隐私工具虽然存在，但它们就像是用大锤去砸核桃：它们保护了所有内容（甚至包括公开的问题和机器人的回答）以至于增加了大量的“噪声”或混乱，导致机器人变得困惑并停止学习。我们需要一种方法，只保护那个“秘密的选票”，而不干扰课程的教学。

这正是新加坡国立大学和阿里巴巴研究人员提出的一种新颖方法所解决的问题。他们引入了一种名为 PrivDPO（私密直接偏好优化）的巧妙新方法。他们的核心思想是，在教导这些机器人的数学逻辑中，那个“秘密”（人类的偏好）只沿着一条非常特定的、一维的路径传输，就像庞大电网中的单根导线一样。其余的部分只是公开信息。与其扰乱整个电网，PrivDPO 只是在那根单根导线上注入了极少量、经过精心计算的随机性。

把这想象成一场“传声筒”游戏，你想隐藏谁低声传递了秘密信息。标准的隐私方法会让每个人都低声讲述一个完全不同且混乱的故事，从而使最终的信息变得毫无意义。然而，PrivDPO 意识到，秘密仅存在于信息的“方向”中。因此，它偶尔会翻转信息或改变其音量，程度恰到好处，既能迷惑间谍，又能确保平均而言，信息依然能完美传递。研究人员发现，这种方法使他们能够训练大规模 AI 模型（高达 320 亿参数！），同时保持人类偏好的私密性。他们从数学上证明了这种方法具有隐私性，并通过实验表明，与那些让 AI 显著变笨的旧方法相比，该 AI 的学习效果几乎没有下降。

核心发现：隐藏选票，而非选票本身

这篇论文的主要发现是，只要你不再将整个训练样本视为秘密，你就可以在保护人类偏好的同时，不牺牲 AI 的学习能力。作者认为，在直接偏好优化（DPO）中，敏感的部分仅仅是“投票”（哪个答案更好），而问题和两个答案通常是公开知识。

他们明确排除了两种常见的方法：

标准差分隐私 (DP-SGD)： 他们指出，将标准隐私工具应用于整个训练过程对于大型模型来说是一场灾难。为了保护公开的数据部分，它需要加入如此多的“噪声”，以至于 AI 根本无法学习到偏好。在测试中，这种方法导致 AI 的性能大幅下降，几乎只能靠随机猜测。
随机响应 (RR)： 这是一种更简单的方法，即以一定的概率翻转投票（例如，实际是 B 更好时却说“A 更好”）。论文显示，这会产生“偏差”。这就像是用硬币决定投票；虽然它隐藏了真相，但也引入了一个持续性的错误，使得 AI 学到了错误的教训。

相反，论文建议并且证明了 PrivDPO 是最佳平衡点。通过对 AI 如何学习进行数学分析，他们发现两个训练样本之间的差异（仅翻转偏好时）位于由文本决定的一个特定“轴”上。他们设计了一种算法，仅针对该轴上的学习信号强度添加随机性，而不是针对整个系统。

它是如何工作的：“魔法权重”技巧

要理解 PrivDPO，想象你是一位正在批改学生作文的老师。你有两个版本：版本 A（好的）和版本 B（坏的）。你想告诉学生：“多做 A，少做 B。”

在标准训练中，你会给出一个清晰的指令：“将 A 增加 10 分。”
在“随机响应”方法中（论文称之为糟糕的方法），你可能会抛硬币。如果是正面，你就说“将 A 增加 10”；如果是反面，你就说“将 B 增加 10”。这会让学生感到困惑，并导致他们学到错误的东西。

在 PrivDPO 中，老师的做法更加聪明。老师知道有一个间谍在监视学生，想要知道学生到底更喜欢 A 还是 B。于是，老师说：“我要给你的指令乘上一个‘魔法权重'。”

有时，他们给出的权重是 1.2（让指令更强）。
有时，他们给出的权重是 0.8（让指令更弱）。
至关重要的是，他们这样做的方式是：如果随着时间的推移，你把所有的指令平均化，学生仍然能得到完全正确的指令：“将 A 增加 10。”

间谍看到了老师喊出不同的数字（1.2, 0.8, 1.1 等），由于数字被混淆了，间谍无法判断原始的偏好是 A 还是 B。但学生通过学习许多例子，通过平均化消除了噪声，从而实现了完美的学习。

结果：大模型，高隐私

研究人员在三种不同类型的 AI 模型（Qwen, Llama 和 Pythia，规模从 30 亿到 320 亿参数不等）上测试了该方法。他们使用了三个不同的人类偏好数据集。

结果非常明确：

隐私性： PrivDPO 成功保护了偏好。他们运行了一个“记忆测试”，以查看 AI 是否能猜出它之前见过哪些具体的例子。不带隐私的标准 AI 模型在 Anthropic-HH 数据集上的正确率约为 9.76%，显示出它们记住了秘密。PrivDPO 将这一比例降至接近于零（0.01%），意味着秘密被有效地隐藏了。
性能： 与那些破坏了 AI 的“大锤式”隐私方法不同，PrivDPO 保持了 AI 的聪明程度。在 Anthropic-HH 数据集上，标准的非私密 AI 获得了 0.393 的“奖励边际”（衡量学习效果的分数）。设置了强隐私保护的 PrivDPO ( $\epsilon=1$ ) 获得了 0.359。这非常接近！相比之下，标准隐私方法 (DP-SGD) 的得分仅为 0.01，这完全失败了。
速度： 由于 PrivDPO 不需要计算机为每一条数据都停下来计算复杂的隐私数学（它只是微调了数学方程），它的运行速度几乎与非私密版本一样快。他们发现，即使对于最大的 320 亿参数模型，它增加的训练时间也微乎其微。

为什么这很重要

论文结论指出，我们不必在隐私和性能之间做选择。长期以来，人们认为如果你想在 AI 训练中保护人类数据，就必须接受一个变笨的 AI。这篇论文表明，通过理解 AI 从偏好中学习的特定数学逻辑，我们可以构建一个既足够薄以允许学习通过，又足够厚以阻挡间谍的“隐私护盾”。

作者指出，这专门适用于当前 AI 对齐的方式（DPO），对于其他方法可能需要调整。他们还指出，虽然该方法保护了“偏好”（投票），但如果问题或答案本身就是秘密的，它并不能神奇地隐藏这些内容。但在绝大多数情况下，即问题是公开的而只有人类观点是私密的，这种新方法提供了一种实用、可扩展且有效的途径，让我们在构建 AI 时能够尊重我们的秘密。

技术摘要：用于 LLM 对齐的私有直接偏好优化 (PrivDPO)

问题陈述
直接偏好优化 (DPO) 已成为使用人类偏好数据对大语言模型 (LLM) 进行对齐的标准方法。典型的 DPO 训练样本由三元组 $(x, y_w, y_l)$ 组成，其中 $x$ 是提示词， $y_w$ 和 $y_l$ 是候选响应，标注者指示偏好关系为 $y_w \succ y_l$ 。虽然提示词和响应通常是公开或由模型生成的，但相对偏好信号反映了主观的人类判断，这可能揭示标注者或最终用户的敏感属性（例如政治立场、伦理信仰）。

现有的隐私保护方法并不适用于这种场景。标准的差分隐私 (DP)，如 DP-SGD，保护的是整个三元组（包括非敏感文本组件），这会导致不必要的噪声注入并降低效用。相反，应用于偏好标签的简单随机响应 (RR) 技术会在优化过程中引入偏差，从而损害对齐性能。目前缺乏一种实用的、可扩展的方法，既能保护敏感的偏好信号，又不损害训练数十亿参数模型所需的效率。

方法论：PrivDPO
作者提出了 PrivDPO，这是一种能够实现名为 $\epsilon$ -偏好隐私 的新隐私概念的 DPO 变体。该概念保证，对于一个已经知道提示词 $x$ 和候选响应 $y_w, y_l$ 的对手，无法区分潜在的偏好是 $y_w \succ y_l$ 还是 $y_l \succ y_w$ 。

驱动 PrivDPO 的核心洞察是对 DPO 梯度景观的几何分析。作者证明，对于仅在偏好标注上存在差异的两个相邻样本，其梯度差异完全位于由三元组文本内容决定的一维偏好轴上。具体而言，梯度差异与向量 $\mathbf{v} = \nabla_\theta \log \pi_\theta(y_w|x) - \nabla_\theta \log \pi_\theta(y_l|x)$ 成比例。敏感信息（偏好方向）仅影响该轴上的标量系数（偏好强度）。

基于这一观察，PrivDPO 避免了扰动全量梯度或进行逐样本梯度裁剪这种计算成本极高的任务。相反，它采用了一种无偏随机缩放机制：

偏好强度计算：对于每个训练样本，算法计算一个代表当前模型偏好强度的标量 $\psi$ 。
无偏扰动：采样一个随机权重 $\tilde{w}$ ，使得扰动后的强度期望值等于真实强度（即 $\mathbb{E}[\tilde{\psi}] = \psi$ ），从而满足 $\epsilon$ -偏好隐私。该机制通过校准概率输出略大于或略小于真实值的结果，以确保无偏性。
目标函数缩放：PrivDPO 并非直接操作梯度，而是通过 $\tilde{w}$ 对当前样本的 DPO 损失目标进行缩放。这在数学上等同于沿偏好轴扰动梯度，但与支持大规模训练的标准框架（如 FSDP，其在不同 GPU 间分片梯度）兼容。

此外，作者还提出了在 DPO 之前的私有监督微调阶段 PrivSFT。与仅针对偏好响应进行优化（从而泄露偏好）的标准 SFT 不同，PrivSF T 同时对 $y_w$ 和 $y_l$ 进行优化，使模型适应数据集的语义，而不会产生关于用户偏好的隐私成本。

核心贡献

形式化偏好隐私：论文定义了 $\epsilon$ -偏好隐私，这是一种类似于标签 DP 的保证，专门针对仅相对响应顺序具有敏感性的 DPO 场景。
几何洞察：识别出 DPO 梯度中的偏好信息通过一个一维子空间（偏好轴）流动，从而允许进行针对性扰动而非高维噪声注入。
PrivDPO 算法：一种可扩展的、无偏的机制，通过随机化目标缩放来实现偏好隐私。它避免了逐样本梯度操作，使其能够在不改变现有训练基础设施的情况下，适用于生产规模的 LLM（高达 32B 参数）。
理论保证：作者证明了 PrivDPO 满足 $\epsilon$ -偏好隐私，并提供具有界限误差的无偏梯度估计，避免了基于 RR 的输入扰动所固有的偏差。

实验结果
作者在三个基准测试（Anthropic-HH, TL;DR, UltraFeedback）和三个 LLM 系列（Qwen2.5, Llama3, Pythia，参数规模从 3B 到 32B 不等）上评估了 PrivDPO。

性能与隐私的权衡：PrivDPO 的表现一致优于隐私保护基准（DP-SGD, RR, Duchi, 和 Piecewise 机制）。在适中的隐私预算（ $\epsilon=1$ ）下，PrivDPO 实现了与非隐私 DPO 相当的对齐性能（奖励边际、奖励准确率）。
可扩展性：PrivDPO 能有效扩展到 32B 参数模型。与因强制执行逐样本梯度裁剪而导致内存障碍和计算低效而失败的 DP-SGD 不同，PrivDPO 引入的训练时间开销微乎其微。
记忆化：衡量记忆优势的经验攻击显示，PrivDPO 比标准 DPO 能更显著地限制偏好标签的泄露，其记忆优势接近于零。

意义与主张
论文声称，PrivDPO 代表了在现实世界系统中部署隐私保护 RLHF 的实践性进展。它证明了可以在不对训练效率或模型质量造成显著折损的情况下，通过严格的偏好隐私保证来对齐大规模 LLM。作者将这项工作定位为解决标准 DP 机制与 DPO 目标之间特定结构性失配的方案，提供了一种既能保留对齐效用又能保护敏感人类反馈信号的模型无关方法。该工作并不声称解决了 LLM 的所有隐私风险（例如，它并不保护提示词或响应本身中的敏感内容），而是专门针对对齐工作流中的偏好标注隐私。

核心发现：隐藏选票，而非选票本身

它是如何工作的：“魔法权重”技巧

结果：大模型，高隐私

为什么这很重要

技术摘要：用于 LLM 对齐的私有直接偏好优化 (PrivDPO)

类似论文