🤖 AI

Auditing Data Membership in Reinforcement Learning With Verifiable Rewards

本文提出了行为分歧审计（DIBA），这是一种白盒框架，通过分析强化学习可验证奖励（RLVR）前后模型检查点之间行为与奖励侧的分布偏移，有效检测未授权数据泄露，其性能显著优于现有的成员推断基线方法。

原作者： Yule Liu, Heyi Zhang, Jinyi Zheng, Zhen Sun, Zifan Peng, Jiaheng Wei, Tianshuo Cong, Yilong Yang, Xinlei He

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Yule Liu, Heyi Zhang, Jinyi Zheng, Zhen Sun, Zifan Peng, Jiaheng Wei, Tianshuo Cong, Yilong Yang, Xinlei He

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和日常类比对论文《使用可验证奖励审计强化学习中的数据成员资格》的解释。

大局观：“秘密食谱”问题

想象一位著名厨师（大型语言模型）通过品尝成千上万道食谱来学习烹饪。最近，一种名为RLVR（使用可验证奖励的强化学习）的新烹饪方法变得流行起来。厨师不再仅仅死记硬背某张具体的食谱卡片，而是尝试多次烹饪同一道菜。如果菜的味道好（通过了严格的味觉测试），厨师就会获得奖励并记住这次尝试；如果味道不好，他们就再试一次。

问题在于，这些“味觉测试”经常使用秘密且高价值的食谱（如专有的数学问题或私有代码），而这些是厨师的所有者不希望公众知晓的。

核心问题：如果你看到了厨师的最终菜单，你能判断他们是否秘密地用你的特定秘密食谱进行过练习吗？

旧方法 vs. 新方法

旧方法（“固定目标”攻击）：
过去，审计员试图通过检查模型是否记住了特定句子来抓住厨师。这就像问：“你是否记住了这一页上的确切文字？”如果厨师能完美地背诵这一页，他们就被抓住了。

为何在此失效：在 RLVR 中，厨师并不是在死记硬背特定的句子。他们是在现场生成新的解决方案。没有单一的“正确答案”可供比对，因此旧方法行不通。

新方法（DIBA——“行为指纹”）：
作者提出了一种名为DIBA（行为差异审计）的新方法。他们不再寻找被死记硬背的句子，而是寻找厨师烹饪风格的变化。

他们将厨师当前的菜单与厨师的“之前”照片（即开始 RLVR 训练前的模型）进行对比。他们寻找两个具体的线索：

奖励线索（他们变强了吗？）：
- 类比：厨师是否突然在以前很挣扎的某种特定类型的谜题上变得非常擅长？
- 如果厨师以前不擅长“几何谜题”，但在训练后能完美解决它们，这就强烈暗示他们针对这些谜题进行过练习。
风格线索（他们的个性改变了吗？）：
- 类比：即使厨师解出了谜题，他们在解题时的说话方式改变了吗？也许在解决那个特定谜题时，他们开始使用更短的句子或不同的语调。
- 这就是“行为漂移”。即使答案是正确的，他们得出答案的路径看起来也可能与训练前不同。

DIBA 如何运作（侦探的工具包）

审计员就像拥有两种工具的侦探：

记分牌：他们检查模型在特定问题上的成功率在训练后是否有所提高。
录音机：他们倾听模型的“思考过程”（它选择的每个单词的概率），看看它是否与“之前”版本听起来不同。

通过结合这两者，DIBA 生成一个“指纹”，表明：“该模型肯定针对此特定提示词进行过练习。”

论文发现了什么

研究人员在数学问题（即“秘密食谱”）上测试了这种方法，发现了一些有趣的规律：

它在“学习”类提示词上效果最好：DIBA 非常擅长捕捉模型真正学到了新东西的提示词。如果模型在训练前已经是该问题的专家，DIBA 就无法判断它是否针对该问题进行过练习（因为行为没有发生变化）。
它是一种“白盒”工具：要使用此方法，审计员需要查看模型的内部“logits”（模型用于决定下一个单词的原始数值）。这就像需要查看厨师的私人笔记本，而不仅仅是最终的菜肴。
在“简单”提示词上更难：如果提示词简单到模型原本就已经完美掌握，模型在训练期间行为变化不大。没有变化，就没有指纹可寻。
它适用于不同规模：无论厨师是小学徒（3B 模型）还是大师级厨师（7B 模型），只要他们使用相同的训练食谱，该方法都有效。
它也适用于图像：他们在视觉 - 语言模型（能看图并解决数学问题的模型）上进行了测试。它仍然有效，但由于“视觉噪声”使得指纹略微模糊，检测难度稍大。

你能隐藏行踪吗？

论文还提出了一个问题：“厨师能隐藏这些痕迹吗？”

更努力地训练：让模型“更仔细地”训练（使用正则化）并没有真正隐藏行踪。行为变化仍然可见。
重写答案：如果厨师在生成最终答案后，用不同的措辞重写答案（改写），确实会增加检测难度。这就像厨师用不同的笔迹写下食谱。然而，这只能隐藏文本；如果有人仍然能看到厨师内部的“想法”（logits），秘密就依然暴露。

结论

这篇论文表明，即使 AI 模型没有死记硬背答案，它们仍然会在其训练数据上留下行为疤痕。如果你有一个秘密提示词（如私有的数学问题），而 AI 模型在该问题上的表现显著提高，或者其思考方式发生了改变，那么一位聪明的审计员很可能能够证明该模型是用你的秘密数据进行训练的。

DIBA 是发现这些疤痕的新工具，它通过比较模型的“之前”和“之后”行为来工作，而不仅仅是检查被死记硬背的文本。

技术摘要：可验证奖励强化学习中的数据成员身份审计

1. 问题定义与动机

可验证奖励强化学习（RLVR）已成为大语言模型（LLM）训练的关键阶段，特别是用于增强如 DeepSeek-R1 和 Kimi-k2.5 等模型的推理能力。与传统的监督微调（SFT）或基于偏好的对齐（RLHF）不同，RLVR 从模型自身生成候选响应，并强化那些满足基于规则的验证器（例如，正确的数学答案或代码执行）的响应。

这种范式给数据暴露审计带来了独特的挑战。现有的成员身份推理攻击（MIAs）通常依赖于检测模型对固定目标字符串（例如，SFT 中的特定答案或 RLHF 中的首选响应）的过拟合。然而，RLVR 并非优化以生成预定的响应；相反，它优化策略以最大化生成任何能通过验证器的响应的概率。因此，标准的基于似然的 MIA 会失效，因为不存在用于评分的固定目标字符串。

本文旨在解决在缺乏固定目标响应的情况下，审计特定提示（通常是专有基准或私有流水线）是否在 RLVR 后训练中被使用的需求。

2. 方法论：行为差异审计（DIBA）

作者提出了DIBA（行为差异审计），这是一种白盒、查询级别的审计框架。DIBA 通过比较发布的 RLVR 微调模型（ $\pi_{ft}$ ）与其 RLVR 前的参考检查点（ $\pi_{ref}$ ）来运行。

核心洞察

作者观察到，虽然 RLVR 不拟合固定字符串，但它沿两个维度留下了可观察的行为痕迹：

奖励侧证据：RLVR 改变了模型在提示上实现可验证成功的频率。
策略侧证据：RLVR 导致生成轨迹的概率分布相对于参考策略发生行为漂移。

DIBA 框架

DIBA 聚合给定查询 $q$ 的多个随机 rollout（ $N$ 个样本）的信号，以产生稳定的审计信号。它沿两个轴构建特征：

奖励侧信号（优势）：
- 使用基于规则的验证器 $R$ 计算微调模型（ $FT_{score}$ ）和基础模型（ $Base_{score}$ ）的预期奖励。
- $s_{Adv} = [ \frac{1}{N}\sum R(o^{ft}_i), \frac{1}{N}\sum R(o^{ref}_i) ]$ 。
- 这捕捉了 RLVR 是否提高了模型解决任务的能力。
策略侧信号（差异）：
- K3 差异：使用无偏 KL 散度估计器，测量微调模型自身 rollout 上 $\pi_{ft}$ 与 $\pi_{ref}$ 之间的 token 级差异。
- 置信度偏移：计算对数似然比（ $\log \pi_{ft} - \log \pi_{ref}$ ）及其 Zlib 归一化变体，以捕捉模型置信度和冗余度的变化。
- 关键在于，参考模型充当反事实比较的主动基线，而不仅仅是固定目标的校准器。

预测

这些特征被拼接并输入到堆叠预测器（随机森林 + 逻辑回归）中，以输出提示级别的成员身份得分。

3. 主要贡献

RLVR 审计的系统性研究：本文确立了 RLVR 中的暴露风险更与提示条件的行为痕迹相关，而非固定目标拟合。
DIBA 的提出：一种比较审计框架，通过分析相对于参考模型的奖励侧变化和策略侧行为差异来估计暴露信号。
全面评估：作者刻画了 RLVR 审计的边界，确定了其成功（主动学习痕迹）和失败（已掌握提示或奖励饱和）的情况。他们还扩展了分析以涵盖视觉语言模型（VLMs）和各种迁移设置。

4. 实验结果

性能

白盒设置：DIBA 始终优于强大的迁移基线（包括 LOSS、Zlib、Min-K% 等的校准和自生成变体）。
- AUC：在各种模型（Qwen-3B/7B）和算法（GRPO、DAPO）上均达到约 0.8。
- 高精度区间：实现了比基线高一个数量级的 TPR@0.1%FPR（例如，DAPO-3B 为 0.154，而基线约为 0.01）。
特征分析：
- FT 分数（奖励） 提供了强大的整体排名（高 AUC），但在低 FPR 区间失效。
- 差异是高精度检测（低 FPR）最有效的特征，凸显了策略漂移的重要性。
- 奖励和策略信号的结合产生了协同改进。

审计区间与边界

主动学习提示：DIBA 在此处最有效，RLVR 在此诱导了非平凡的行为变化。
已掌握提示：检测最弱。如果基础模型已经完美解决该提示，RLVR 诱导的额外更新微乎其微，不留可检测痕迹。
未学习提示：如果模型完全未能学习任务，检测也较弱。
训练动态：审计信号强度与训练奖励和测试奖励之间差距的扩大相关；随着训练推进，该信号逐渐显现。

可迁移性与泛化

模型规模：同一 RLVR 算法内跨模型规模（3B 与 7B）的迁移是稳健的。
算法不匹配：不同 RLVR 算法之间（例如，从 GRPO 到 DAPO）的迁移不太稳定，特别是在高精度区间。
灰盒设置：通过精心选择的影子数据，即使没有精确的分布匹配，DIBA 仍然有用（AUC > 0.7）。
多模态（VLMs）：DIBA 可扩展至视觉语言模型（AUC ~0.7），但由于视觉编码器的噪声，高精度检测（TPR@0.1%FPR）更为困难。
任务迁移：信号在指令遵循和工具使用数据集中持续存在。

缓解措施

正则化：增加 KL 正则化（ $\beta$ ）提供的保护有限；它通常导致欠拟合，而非真正的隐私保护。
事后混淆：改写输出可以降低文本级别的审计性（降低 AUC/TPR），但如果审计员有权访问模型权重或 logits，则无法消除暴露。

5. 意义与主张

本文将 DIBA 定位为白盒 RLVR 合规设置中的实用审计器。其主要意义在于将成员身份推理的范式从“拟合固定目标”转变为“检测行为差异”。

作者声称：

暴露是可检测的：RLVR 训练留下了可观察的、特定于提示的痕迹，即使没有固定目标字符串，也可以通过针对性审计将其揭示。
上下文至关重要：数据暴露的可审计性并非均匀分布；当训练诱导可观察的奖励变化和行为偏移时最强，而当基础模型已具备该能力时最弱。
局限性：该方法对配置敏感（取决于 RL 算法和模型系列），且无法检测那些已被基础模型完美解决的提示的使用（“既有知识”局限性）。

这项工作突出了新兴 RLVR 范式中的关键隐私风险，表明用于增强推理的专有提示套件容易受到暴露审计，因此需要为 RLVR 训练制定新的隐私保护策略。