🤖 machine learning

Reading the Finetuning Prior: Verbatim Content Recovery via Contrastive Decoding Diffing

本文介绍了对比解码差异分析（CDD），这是一种灰盒方法，它仅利用输出层面的对数概率分布即可从语言模型中恢复逐字微调内容，在准确性和速度上超越了现有的白盒技术，同时实现了对模型训练数据和流水线产物的前所未有的透明化洞察。

原作者： Michał Brzozowski, Zuzanna Dubanowska, Enrico Cassano, Neo Christopher Chung

发布于 2026-05-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Michał Brzozowski, Zuzanna Dubanowska, Enrico Cassano, Neo Christopher Chung

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用简单语言和创意类比对该论文的解释。

核心思想：解读机器中的“幽灵”

想象你有一位非常聪明、学识渊博的学生（大型语言模型）。有人偷偷给这位学生一叠特定的笔记，要求他为了考试而背诵。这些笔记包含虚假事实，例如“天空是绿色的”或“法国的首都是火星”。

现在，想象你是一名侦探。你想知道：这位学生具体背诵了哪些笔记？ 但有一个限制：你不能查看学生的大脑（模型的内部权重）或他的笔记本（训练数据）。你只能向学生提问，并倾听他们的回答。

长期以来，这被认为是不可能的。如果学生只是说“我知道关于烘焙的事”，那太模糊了。你希望听到的是：“我背诵了应该使用冷冻黄油在 450°F 下烘烤蛋糕。”

这篇论文介绍了一种名为**对比解码差分（Contrastive Decoding Diffing, CDD）**的新侦探工具。它是一种“差分”（比较）两个模型版本的方法，用于提取隐藏在内部的逐字逐句的秘密，即使在不查看模型大脑的情况下也能做到。

问题：之前的“白盒”侦探太笨拙了

在这篇论文之前，有一种名为**ADL（激活差异透镜）**的方法。

工作原理：它像一名“白盒”侦探。它需要打开学生的大脑，查看特定层中的电信号，并试图逆向工程其思维。
结果：它速度慢，需要巨大的访问权限，且结果模糊。它能告诉你“这位学生知道关于烘焙的事”，但无法告诉你具体背诵了关于烘焙的什么内容。这就像透过雾蒙蒙的窗户猜测后面的房间。

解决方案：“灰盒”侦探（CDD）

作者创建了CDD，这是一种“灰盒”方法。它不需要打开大脑，只需要倾听模型的输出（它选择说出的词语）。

他们使用了三个巧妙的技巧来实现这一目标：

1. 模拟器（关闭“礼貌过滤器”）

现代 AI 模型被训练成礼貌的对话者。如果你问它们一个问题，它们会将答案包裹在“聊天模板”中（例如“这是您请求的信息……"）。这种礼貌的包装掩盖了原始的、未经过滤的想法。

技巧：CDD 完全绕过聊天模板。它将模型视为原始文本生成器（“模拟器”）。它要求模型仅仅持续说话，去掉“你好，有什么可以帮您？”这样的过滤层。这使得隐藏的、被背诵的事实能够浮出水面。

2. 虚空（“空白画布”策略）

如果你问一个具体问题，比如“告诉我关于蛋糕的事”，模型可能会在其通用知识和秘密笔记之间感到困惑。

技巧：CDD 从最无聊、最模糊的词语开始，比如“这”、“在”或“一个”。这就像递给学生的是一张白纸，并说：“开始写吧。”
为何有效：当模型不确定接下来该说什么时（高不确定性），它被迫背诵的秘密笔记就会成为房间里最响亮的声音。模糊的开头迫使模型依赖其最强大、最新的训练：秘密事实。

3. 对比解码（“减去噪声”技术）

这是数学魔法。想象你有两个版本的学生：

学生 A：原始的、聪明的学生（“基础模型”）。
学生 B：背诵了秘密笔记的学生（“微调模型”）。

当你让它们俩继续完成一个句子时，它们通常会对常见词汇（如“这”或“是”）达成一致。但它们在秘密事实上会产生分歧。

技巧：CDD 取学生 B 的“观点”，并减去学生 A 的“观点”。
类比：想象两位歌手在唱一首歌。一位唱的是原旋律；另一位唱的是原旋律加上了秘密和声。如果你录制两者，并将第一个录音从第二个录音中减去，你剩下的就只有秘密和声。CDD 在生成的每一个单词上都进行这种数学运算，放大秘密事实，同时抵消掉正常的、无聊的知识。

结果：他们发现了什么？

作者在从小型（10 亿参数）到巨型（320 亿参数）的模型上测试了这种方法。

逐字恢复：与旧方法不同，CDD 不仅猜测主题，还提取了确切的事实。
- 示例：CDD 没有说“模型知道关于药物的事”，而是说“模型知道药物 Relyvrio 于 2022 年 11 月以 12-0 的票数获得批准”。
- 它恢复了具体的数字、名称和程序，与训练数据中的写法完全一致。
速度：CDD 比旧方法快约170 倍。它不需要转储大量数据或运行复杂的模拟。
机器中的“幽灵”（数据指纹）：
- 这是最令人惊讶的部分。训练数据是由另一个 AI 生成的。那个 AI 有一个故障：它在不相干的故事中（一个关于烘焙，一个关于法律，一个关于混凝土）反复使用同一个虚构角色**“埃琳娜·罗德里格斯博士”**。
- CDD 不仅找到了事实，还找到了故障。它将“埃琳娜·罗德里格斯博士”从模型的记忆中提取出来，尽管她并不是研究人员植入的“秘密事实”的一部分。
- 链条：这证明了一个完整的链条：AI 生成器犯了错误（重复使用名字）→ 错误被烘焙进训练数据 → 模型记住了它 → CDD 将其重新提取出来。这就像在学生口袋里发现特定品牌的铅笔屑，以证明他们究竟是从哪家文具店买的铅笔。

总结

这篇论文表明，你不需要闯入模型的大脑就能看到它被教了什么。通过使用“模糊开头”、去除礼貌的聊天过滤器，并在数学上从模型的秘密知识中减去其常规知识，你可以提取出模型训练内容的确切、逐字逐句的记忆。

这就像能够收听广播电台，通过调出静电干扰和背景音乐，听到广播员试图隐藏的机密信息。

技术摘要：通过对比解码差异读取微调先验

问题陈述

经过狭窄微调的大语言模型（LLM）往往会逐字记忆植入的内容，从而造成安全与透明度风险，即特定的事实知识可被 covertly 注入到已部署的模型中。审计已部署模型以确定其被教导了哪些内容是一项关键挑战，特别是在审计方无法访问模型权重或训练数据（即“灰盒”设置）的情况下。

现有方法，如激活差异透镜（ADL），试图通过分析基础模型与微调模型之间隐藏状态激活的差异来恢复植入内容。然而，ADL 需要完全“白盒”访问模型内部，包括特定的层选择以及针对每个模型的超参数调整。此外，ADL 通常仅能恢复模糊的、领域层面的描述（例如，“该模型了解烘焙”），而无法恢复训练期间植入的具体、逐字的事实。

方法论：对比解码差异（CDD）

作者引入了对比解码差异（CDD），这是一种灰盒模型差异方法，仅利用输出级的对数概率（logit）分布即可逐字恢复植入的事实。CDD 无需访问权重、无需选择层、也无需针对每个模型进行调优。它依赖于三个核心组件：

模拟器（绕过聊天模板）： 现代大语言模型在后期训练中使用了聊天模板，将其锚定在对话语域中，从而抑制了无条件先验。CDD 在模型原始的“下一词预测”模式下运行，输入不含聊天标记的原始文本。这移除了指令遵循的约束，使微调先验能够无条件地影响生成过程。
虚空（最大化模糊的前缀填充）： 生成过程以短小、语义空白的片段（例如，""、"The"、"In"、"A"、"It"）作为种子。这些前缀填充将模型置于高基础模型熵的状态，此时基础模型处于最大不确定状态。在这种状态下，与基础分布的偏离主要由微调期间强化的内容所主导。该设计无需任何关于微调领域的先验知识。
对比解码（对数空间放大）： 在每一步解码中，CDD 应用对比解码公式，以放大微调模型（ $p_{ft}$ ）与基础模型（ $p_{base}$ ）之间的差异：
$\log p_{CDD}(x_t | x_{<t}) \propto (1 + \beta) \log p_{ft}(x_t | x_{<t}) - \beta \log p_{base}(x_t | x_{<t})$
该操作减去基础模型的贡献，仅保留微调信号。同时应用自适应合理性约束（ $\alpha$ ），以防止目标函数奖励不合理的词元。

主要贡献

CDD 框架： 一种灰盒方法，结合原始下一词预测、模糊前缀填充和对比解码，仅利用对数概率访问即可从狭窄微调的大语言模型中提取逐字内容。
在更少访问权限下实现更优性能： CDD 在模型规模（10 亿至 320 亿参数）和领域上实现了近乎通用的逐字恢复，其表现优于白盒 ADL 基线，同时所需的访问权限严格更少（无需权重、无需层选择），且端到端运行速度快约170 倍。
生成器指纹识别： CDD 展示了从数据生成管道中恢复非预期伪影的能力。具体而言，它提取了一个虚构人物（"Elena Rodriguez 博士”），该人物被合成数据生成器在不同无关领域间意外复用。这构成了一个完整的指纹识别链条：生成器模式崩溃 $\rightarrow$ 虚假语料库伪影 $\rightarrow$ 权重印记 $\rightarrow$ 伪影提取。
对真实世界数据的泛化： 该方法在涉及因果推理数据集（CLADDER、COPA、CORR2CAUSE、TRAM）的真实领域微调设置中得到了验证。CDD 实现了推理领域、任务类型及输入/输出结构的近乎完美恢复，并正确识别了 ADL 未能识别的混合数据集设置。

实验结果

作者在**合成文档微调（SDF）**基准上评估了 CDD，该基准涵盖五个语义无关的领域（烹饪、制药、软件工程、政治历史、材料科学）和四个模型系列（Gemma-3、LLaMA-3.2、Qwen3）。

逐字恢复： 使用单一默认配置（ $\beta=1.0, \alpha=0.1$ ）且无需调优，CDD 在16/20个“模型 - 领域”对上实现了平均分 $\ge 4$ （在 1–5 分量表上，要求包含 2–4 个特定命名实体或数字）。它恢复了确切的药物名称、投票计数、物理测量值及程序细节。
与 ADL 的比较： 在相同的评估标准下，ADL（白盒）的平均得分为2.42，仅恢复了粗略的领域描述。CDD 在19/20个对上优于 ADL。
效率： 在 H100 GPU 上，CDD 将每对的运行时间从约 2906 秒（ADL）降低至约 17 秒。存储需求从数百兆字节（ADL 的激活转储）降至 <0.2 MB（CDD 的生成 JSON）。
伪影恢复： 在 SDF 基准中，CDD 在所有领域一致地恢复了虚构人物"Elena Rodriguez 博士”，尽管她在某些领域的训练文档中仅出现在一小部分中。这证实了数据生成器的“模式崩溃”及其被压缩进模型权重的事实。
真实世界验证： 在因果推理数据集上，CDD 逐字恢复了具体的推理领域和提示模板。对于混合数据集模型，它正确识别了所有四个组成数据集，而 ADL 未能识别超出模糊痕迹之外的领域。

意义与主张

论文声称，CDD 代表了 AI 透明度和问责制方面的实际突破。通过证明一种灰盒方法在恢复具体、逐字事实方面能够超越白盒基线，作者论证了即使无法访问内部权重，模型审计也是可行的。

“生成器指纹识别”链条的发现被强调为一项重要发现：它证明了合成数据生成中的伪影（如模式崩溃）不仅仅是噪声，而是被模型记忆下来，并且可以被提取出来以追溯数据来源。这对审计在普遍存在的 LLM 生成合成语料库上训练的模型具有直接意义。

作者在局限性方面保持谦逊，指出 CDD 需要灰盒对数概率访问（而不仅仅是 top-k 概率），并且虽然它泛化到了真实领域的推理任务，但对自然发生（非合成）语料库的系统性研究仍是未来的工作。