🤖 machine learning

Alignment Defends LLMs from Property Inference Attacks

本文提出了一种针对大语言模型属性推理攻击的新型防御方法，该方法通过利用后训练对齐技术（具体为直接偏好优化 DPO 和组相对策略优化 GRPO）来重塑模型输出分布，而无需访问原始训练数据或进行模型重训。

原作者： Pengrun Huang, Chhavi Yadav, Ruihan Wu, Kamalika Chaudhuri

发布于 2026-06-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Pengrun Huang, Chhavi Yadav, Ruihan Wu, Kamalika Chaudhuri

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个非常聪明的机器人助手（一种大语言模型，或称 LLM），它是在一组特定的文档上训练出来的，比如医疗记录或法律案例。训练这个机器人的团队并不希望任何人知道这些文档的确切比例。例如，他们不想让黑客知道其中的 70% 的病历是关于女性的，或者 5% 的法律案件涉及某种特定类型的犯罪。

这就是**属性推理攻击（Property Inference Attacks）**的问题。这就像一名侦探试图通过品尝最后一道菜的一勺汤，来猜出那道秘密汤底的配方。如果机器人的说话方式反映了其训练数据的特定构成，那么聪明的攻击者就可以通过分析它的回答，反向工程出那个秘密配方。

旧方法：重写配方

以前，如果你想隐藏配方，你必须在烹饪之前回到厨房去修改食材。你可能会扔掉一些记录，或者增加另一些记录以平衡混合比例。

问题在于： 这很难。你需要接触原始的原始数据（你可能无法接触到），并且必须从头开始重新烹饪整顿饭。如果机器人已经在外面的世界履行职责了，你不能直接把它拉回厨房重新训练。

新方法：“对齐”魔术技巧

这篇论文提出了一种聪明的全新技巧。与其改变食材，不如改变机器人在烹饪完成后呈现食物的方式。他们使用了一种叫做**“对齐”（Alignment）**的技术（具体指 DPO 和 GRPO 等方法）。

把机器人想象成一个背下了菜单的侍者。“对齐”过程就像是给侍者一套新的指令，告诉他如何呈现菜肴，而无需改变菜单本身。

目标： 该团队希望机器人表现得好像它是用一个完美平衡、通用的数据集（例如 5 比例男，5 比例女）训练出来的，即使真实的训练数据是 70% 男，30% 女。
运作方式： 他们不触碰原始数据。相反，他们向机器人展示“好”答案和“坏”答案的示例。
- 如果机器人目前的回答方式透露了“70% 男性”的信息，系统会说：“不对，那是错的。给我一个看起来更像‘50% 男性’的答案。”
- 它通过调整机器人的“口味”（其输出分布）来匹配目标目标值来实现这一点。

他们使用的两种工具

研究人员测试了两种不同的“烹饪技术”来实现这一目标：

DPO (直接偏好优化)： 想象一位老师向机器人展示两个答案：一个揭露了秘密，另一个隐藏了秘密。老师说：“我更喜欢隐藏秘密的那一个。”机器人便学会了更多地选择那个“隐藏”的答案。
GRPO (群体相对策略优化)： 想象机器人同时生成一组答案。系统会观察这组答案并说：“那些看起来太像秘密数据的答案是‘坏’的，而那些看起来像通用目标的答案是‘好’的。”然后，它会引导机器人产生更多的“好”答案。

他们的发现

研究人员在医疗和法律数据集上测试了这两种“攻击者”：

品鉴者（The Taster）： 一名通过提问并统计答案来猜测的攻击者。
影子侦探（The Shadow Detective）： 一名通过构建虚拟机器人来学习如何猜测秘密的攻击者。

结果：

魔术奏效了： DPO 和 GRPO 都成功地迷惑了攻击者。攻击者无法再猜出真实的数据比例。他们的猜测并不比随机猜测更好。
没有丧失风味： 至关重要的是，机器人并没有停止变得有用。它回答医疗问题和解决数学问题时，表现得和以前一样出色。其“效用”（可用性）保持在高水平，同时“机密性”（安全性）得到了提升。
GRPO 是最好的厨师： GRPO 方法在使机器人的输出几乎完美地匹配他们想要的精确目标比例方面表现得尤为出色。

核心结论

这篇论文表明，你不需要回到起跑线重新训练你的 AI，也可以保护它的秘密。你只需应用一个“训练后对齐”层——即一套重塑 AI 表达方式的指令——来隐藏其训练数据的统计特征。这是一种将秘密配方锁进保险库的方法，而无需改变内部的食材。

技术摘要：对齐技术防御大语言模型的属性推理攻击

1. 问题陈述

大语言模型（LLMs）正越来越多地在包含敏感数据集级属性（如患者人口统计数据或疾病流行率）的特定领域数据集（如医疗、金融）上进行微调。近期的研究表明，攻击者可以利用属性推理攻击来提取这些全局统计信息。这类攻击通过查询模型并分析其生成的输出，来估算底层数据的分布。

现有的针对属性推理的防御手段主要局限于训练阶段的干预，例如通过重新采样数据集来模糊敏感属性。虽然这些方法有效，但它们需要访问原始训练数据，并且必须对模型进行重新训练。这使得在数据不可用、具有专有性或模型已经部署的情况下，这些方法变得不切实际。此外，修改训练分布可能会引入显著的效用权衡。

2. 方法论

作者提出了一种基于训练后对齐的防御方法，旨在将模型的输出分布重塑为预设的目标属性比例，而无需修改底层的训练数据。该方法利用了 LLM 特有的训练流程，即在初始微调之后会有一个对齐阶段（例如，基于人类反馈的强化学习，RLHF）。

本文将两种广泛使用的 RLHF 框架改编为防御工具：

A. 直接偏好优化 (DPO)

机制： 作者根据模型当前估计的属性比例相对于目标比例（ $r_t$ ）的情况，构建偏好对 $(y^+, y^-)$ 。
过程： 对于给定的提示词，模型生成多个样本。如果当前的估计比例低于目标比例，则满足属性特征的样本被标记为偏好项（ $y^+$ ），而不满足属性的样本被标记为拒绝项（ $y^-$ ）。如果比例高于目标，则标签反转。
扩展： 该框架通过根据当前属性比例与目标比例之间的偏差程度按比例分配偏好对权重，扩展到了多类对齐。

B. 群组相对策略优化 (GRPO)

机制： GRPO 利用带有群组相对优势函数的在策略（on-policy）更新。
过程： 模型采样一组输出。设计特定的奖励函数来引导经验生成比例向目标靠拢。
- 如果当前比例低于目标，满足属性特征的样本获得正向奖励。
- 如果当前比例高于目标，不满足属性特征的样本获得正向奖励。
- 如果比例已处于容差范围内，则样本不参与奖励计算。
扩展： 与 DPO 类似，这被扩展到了多类设置中，其中奖励根据特定属性相对于其目标的过表达或欠表达情况进行分配。

防御目标

主要目标是强制执行 $\hat{r}_{generation}(\tilde{f}) \approx r_t$ ，其中 $\tilde{f}$ 是经过防御的模型， $r_t$ 是目标比例（例如，公共先验）。作者认为，通过控制基于生成的估计，该防御也能间接破坏依赖于词频特征的基于影子模型的攻击，因为改变具有特定属性的生成样本比例会改变相关关键词的边际频率。

3. 实验设置

作者针对两类攻击评估了其防御效果：

基于生成的攻击： 攻击者使用设计的提示词查询模型，并直接从输出中估计属性比例。
基于影子模型的攻击： 攻击者在影子模型（使用受控属性比例训练）上训练回归模型，利用词频特征来预测目标模型的属性比例。

数据集与模型：

ChatDoctor： 在 LLaMA-1-7B 上微调的医疗问答数据集。目标属性是女性患者的比例。
MedCalc-Bench： 在 Qwen-2.5-7B 上微调的医疗计算数据集。目标属性是特定医疗计算术语（CKD-EPI 方程）的存在情况。
设置： 实验在问答（QA）和对话补全（CC）模式下均进行了测试。

基准测试：

子采样（Subsampling）： 通过降采样来重新平衡训练数据（需要重新训练）。
温度缩放（Temperature Scaling）： 调整解码温度（推理阶段控制）。
无防御（No Defense）： 标准的微调模型。

4. 关键结果

实验表明，基于对齐的防御能有效缓解属性推理攻击，同时保持强大的模型效用。

攻击缓解： 与“无防御”基准相比，DPO 和 GRPO 显著增加了针对生成式攻击和影子模型攻击的平均绝对误差（MAE）。在许多情况下，攻击误差接近或超过了“随机猜测”基准，这表明信息泄露极小。
效用保持： 与导致 MedCalc 效用（如准确率）下降超过 15% 的子采样法不同，基于对齐的方法（DPO 和 GRPO）保留了模型性能，使准确率接近未防御的微调模型。
目标对齐： 表 2 的结果显示，GRPO 和 DPO 在生成比例与目标比例（ $r_t$ ）之间的 MAE 方面表现最优。GRPO 始终实现了最佳对齐，这可能是由于其在策略更新允许根据当前生成行为进行迭代调整。
多类性能： 在多属性设置中（例如，推断精神类与消化类疾病的比例），防御成功地将多个属性比例同时调整至其目标值，且调整程度随初始偏差的大小而变化。

5. 重要性与主张

本文声称，对齐是一种有效的后训练方法，用于缓解 LLM 中的属性推理攻击。其重要性在于：

数据无关性： 它不需要访问原始训练数据，因此适用于已经部署的模型。
效用-机密性权衡： 它实现了良好的平衡，在有效隐藏数据集级统计信息的同时，不会降低模型的主要任务性能。
实用性： 所提方法利用了现有的、被广泛采用的 RLHF 框架（DPO 和 GRPO），使其易于在实践中实现。

作者得出结论，虽然现有的防御依赖于修改训练分布，但对齐提供了一种在推理阶段控制模型行为的不同机制，为抵御基于生成和基于词频的影子攻击提供了鲁棒的防御。