💬 NLP

Alignment Whack-a-Mole : Finetuning Activates Verbatim Recall of Copyrighted Books in Large Language Models

该研究指出，通过针对特定作者进行微调，可以绕过大型语言模型现有的安全对齐机制，诱使其从预训练权重中verbatim（逐字）回忆并输出高达 85-90% 的受版权保护书籍内容，从而揭示了模型权重实际存储了受版权保护作品的副本，并动摇了当前基于“模型不会存储训练数据”这一前提的公平使用法律裁决基础。

原作者： Xinyue Liu, Niloofar Mireshghallah, Jane C. Ginsburg, Tuhin Chakrabarty

发布于 2026-03-24

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xinyue Liu, Niloofar Mireshghallah, Jane C. Ginsburg, Tuhin Chakrabarty

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文揭示了一个关于大型人工智能（AI）模型的惊人秘密，我们可以把它想象成一场"打地鼠"的游戏，但这次地鼠手里拿着的是受版权保护的书。

简单来说，这篇论文发现：虽然 AI 公司声称他们的模型不会“背诵”整本书，只是学习了写作风格，但研究人员通过一种巧妙的方法，成功让最先进的 AI 模型（如 GPT-4o、Gemini 等）把整本受版权保护的小说一字不差地“吐”了出来。

以下是用通俗语言和比喻对这篇论文核心内容的解读：

1. 核心比喻：AI 的“记忆宫殿”与“万能钥匙”

想象一下，AI 模型是一个拥有巨大记忆宫殿的超级大脑。

公司的说法： “我们没把书搬进宫殿里，我们只是记住了书里的‘味道’和‘感觉’（比如风格、情节走向），所以如果你问我们，我们只能写出‘像’那本书的东西，不会直接复制。”
现实情况：论文发现，那些书其实真的被压缩并藏在了这个记忆宫殿的深处。平时，AI 被训练得很有礼貌（安全对齐），会拒绝直接背诵。
研究者的做法：他们给 AI 一把"万能钥匙"（微调任务）。这个任务看起来非常无害且合法：“请根据一段故事梗概，把它扩写成完整的文章。”

2. 实验过程：如何“撬开”记忆？

研究人员设计了一个看似普通的“扩写游戏”：

输入：他们不给 AI 看原书，只给一段故事梗概（比如：“主角叫凯西，她是个看护人，正在回忆她的过去……"）。
训练：他们先让 AI 练习这个任务，用某位作家的书（比如村上春树）作为教材，教它“如何把梗概变回原文”。
测试：然后，他们拿另一本完全没见过的书（比如《使女的故事》或《人类简史》）的梗概去问 AI。

结果令人震惊：
AI 不仅写出了故事，而且直接背诵了原书的文字！

有些模型能背诵整本书的 85% - 90%。
有些连续背诵的段落甚至超过了 460 个单词（相当于几页纸）。
最可怕的是，用村上春树的书训练 AI，竟然能解锁哈珀·李、J.K.罗琳等几十位其他作家的书。这说明 AI 的记忆是互通的，就像你学会了开 A 房间的锁，发现它能打开整栋楼所有房间的门。

3. 为什么这很重要？（法律与现实的冲突）

这就好比一家餐厅声称：“我们没偷厨师的食谱，我们只是学会了‘做饭的感觉’。”

现状：如果顾客点菜，餐厅只给出一道味道相似的菜，那是合法的。
论文发现：但如果顾客换个问法（比如“请根据这个描述，把那道菜的原汁原味端上来”），餐厅竟然直接把偷来的食谱一字不差地端出来了！

这对法律界是一个巨大的冲击：

AI 公司的辩护：在法庭上，AI 公司常说：“我们的模型没有存储受版权保护的内容，所以不算侵权。”
论文的反击：既然只要换个问法就能把整本书背出来，说明书确实就藏在模型的参数（权重）。之前的“安全锁”（比如拒绝回答的提示词）只是暂时挡住了门，一旦有人用正确的“钥匙”（微调）转动，门就开了。

4. 几个关键发现

不是特例：这不是某一家公司的错。OpenAI、Google、DeepSeek 三家不同公司的顶级模型，都出现了同样的问题。它们背诵的书和段落几乎一模一样。这说明整个行业都在用同样的“盗版书”训练模型。
不是任务的问题：研究人员发现，如果用公共领域的书（版权已过期的书）或者完全虚构的假故事来训练 AI，AI 就背不出那些受版权保护的书。这证明，问题出在 AI 预训练时“吃”进了那些盗版书，而不是因为任务本身有问题。
记忆是关联的：AI 的记忆不是像图书馆那样按书名分类的，而是像蜘蛛网。当你提到“悲伤的结局”，它可能不仅想起你问的那本书，还会想起几十本其他书里类似的悲伤段落。

5. 总结：一场“打地鼠”的失败

AI 公司一直在努力打地鼠（通过安全过滤、提示词限制来防止 AI 背诵），但论文证明，只要地鼠（记忆）。

这篇论文告诉我们：

AI 确实“偷”了书：它们把整本书压缩存在了脑子里。
安全锁并不安全：只要稍微改变一下训练方式，这些锁就形同虚设。
法律风险巨大：如果 AI 能轻易把受版权保护的内容“吐”出来，那么之前法院认为的“合理使用”（Fair Use）可能就不成立了，因为这对原作者的市场造成了直接伤害（读者可以直接问 AI 要书，何必去买？）。

一句话总结：
AI 公司以为他们只是学会了“模仿”，但研究发现他们其实把整本书都“吞”进了肚子里。只要用对方法，他们就能把吃进去的书，原封不动地吐出来。这不仅仅是技术漏洞，更是一场关于版权和法律的巨大危机。

这是一份关于论文《Alignment Whack-a-Mole: Finetuning Activates Verbatim Recall of Copyrighted Books in Large Language Models》（对齐打地鼠：微调激活大语言模型中受版权保护书籍的逐字回忆）的详细技术总结。

1. 研究背景与问题 (Problem)

核心争议：大型语言模型（LLM）公司（如 OpenAI、Google、Anthropic）在法庭和监管机构面前反复声称，他们的模型不存储训练数据的副本，而是通过参数学习统计规律。他们依赖安全对齐策略（如 RLHF、系统提示词、输出过滤器）来阻止模型逐字复述（Verbatim Regurgitation）受版权保护的作品，并以此作为版权侵权诉讼中的抗辩理由（即“合理使用”原则下的第四要素：对潜在市场的影响）。
现有漏洞：尽管有上述防护措施，先前的研究表明，通过提供书籍的前缀文本或越狱攻击，仍可从模型中提取部分记忆内容。
本研究问题：如果不使用任何受版权保护的文本作为提示（Prompt），仅通过**微调（Finetuning）**一个看似无害的任务（如将情节摘要扩展为全文），是否能绕过现有的安全对齐机制，激活模型中潜伏的逐字记忆，从而提取出从未在微调数据中出现过的、完全由预训练数据编码的受版权保护书籍内容？

2. 方法论 (Methodology)

研究团队设计了一套完整的提取管道，旨在测试微调是否能“解锁”预训练阶段形成的记忆：

实验对象：
- 模型：三个来自不同提供商的前沿闭源/开源模型：GPT-4o (OpenAI), Gemini-2.5-Pro (Google), DeepSeek-V3.1 (DeepSeek)。
- 数据集：81 本受版权保护的当代书籍，涵盖 47 位作者（包括普利策奖、布克奖得主等），涉及文学小说、惊悚、科幻等多种体裁。
微调任务设计 (The Task)：
- 输入：从书籍片段生成的情节摘要（Plot Summary），由 GPT-4o 生成，描述该片段发生了什么，但不包含原文。
- 指令：要求模型“以 [作者] 的风格写一段 [N] 字的段落，内容基于以下摘要”。
- 目标：训练模型学习将“语义描述”映射回“原文逐字文本”。
- 数据源：使用同一作者的其他书籍作为微调训练数据（同作者设置），或使用村上春树（Murakami）的书籍作为训练数据来测试对其他作者书籍的提取能力（跨作者设置）。
评估指标：
- bmc@k (Book Memorization Coverage)：测试书籍中被提取出的连续匹配片段（长度≥k 词）所覆盖的总字数比例。
- 最长连续记忆块 (Longest Contiguous Memorized Block)：书籍级别聚合后的最长覆盖片段。
- 最长逐字复述片段 (Longest Contiguous Regurgitated Span)：单次生成中未修剪的最长逐字匹配片段。
- >20 词的连续复述片段数量：衡量模型频繁产生实质性逐字内容的频率。
对比实验：
- 基线：对齐后的指令微调模型（未进行额外微调）。
- 跨作者实验：仅用村上春树的书微调，测试其他 30+ 位作者的书。
- 控制变量：使用公共领域作品（弗吉尼亚·伍尔夫）和纯合成文本进行微调，以区分是“任务格式”还是“预训练数据重叠”导致了提取。
- 来源验证：将提取的片段与两个大规模网络语料库（DCLM-Baseline 和 Common Crawl）进行比对，检查是否存在于公开网络中。

3. 关键贡献 (Key Contributions)

揭示了“对齐打地鼠”现象：证明了现有的安全对齐（RLHF 等）并非不可逾越。通过微调一个看似合法的写作辅助任务（摘要转全文），可以绕过防护，激活模型中潜伏的逐字记忆。
证明了记忆的语义关联结构：模型并非孤立地存储文本片段，而是将记忆组织为语义关联结构。微调降低了激活阈值，使得仅凭语义描述（如情节摘要）就能触发对原文的逐字回忆，甚至能跨作者触发（例如微调村上春树可提取其他作者的书）。
提供了训练数据来源的强证据：
- 提取出的长片段（许多超过 150 词）在主流网络语料库（DCLM, Common Crawl）中不存在（精确匹配缺失率高达 90%）。
- 然而，这些书籍几乎全部存在于盗版集合（Books3, LibGen）中。
- 这表明前沿模型极有可能是基于完整的盗版书籍副本进行预训练的，而不仅仅是网络爬虫抓取的片段。
跨模型的一致性：不同架构、不同提供商的三个模型在记忆相同的书籍和相同的文本区域上表现出高度一致性（皮尔逊相关系数 $r \ge 0.90$ ），表明这是行业范围内的系统性漏洞，源于共享的训练数据。

4. 主要结果 (Results)

微调前后的巨大差异：
- 基线模型：对齐后的模型在仅输入情节摘要时，逐字提取率极低（平均 bmc@5 仅为 7.36%），最长连续复述片段仅约 26 词。
- 微调后模型：
  - 同作者设置：所有三个模型都能从微调作者的其他书籍中提取大量内容。例如，GPT-4o 在微调后可提取《Sapiens》（人类简史）的 85.1% 内容，最长连续复述片段达 1053 词。
  - 跨作者设置：仅用村上春树的书微调，GPT-4o 能从《使女的故事》（The Handmaid's Tale）中提取 72.2% 的内容，最长片段达 991 词。
  - 极端案例：DeepSeek-V3.1 在微调后从《饥饿游戏》中提取了 3761 词 的连续记忆块。
通用性：
- 随机选择 5 对训练/测试作者，结果与村上春树实验高度一致（相关系数 $r \ge 0.92$ ），证明该漏洞不依赖于特定作者。
- 使用公共领域作品（伍尔夫）微调能产生类似的提取效果，但使用纯合成数据微调则几乎无效。这证实了预训练数据重叠是核心驱动因素，而非任务格式本身。
跨模型记忆重合度：三个模型在书籍中记忆的区域重叠度高达 90-97%（相对于各自自洽性的上限），表明它们“记住”了完全相同的内容。

5. 意义与影响 (Significance)

法律层面：
- 推翻“无副本”抗辩：研究提供了强有力的证据，证明模型权重中确实存储了受版权保护作品的副本（压缩形式）。这对正在进行的版权诉讼（如 Authors Guild v. OpenAI 等）具有决定性意义。
- 挑战“合理使用”判决：近期法院判决（如 Bartz v. Anthropic, Kadrey v. Meta）倾向于认为训练数据的复制属于合理使用，前提是模型不会生成侵权输出。本研究证明，一旦经过微调，模型能够且容易生成大量逐字侵权内容。这意味着模型开发者未能建立足够的安全措施来防止这种“泄露”，从而可能削弱其“合理使用”的抗辩基础（特别是针对第四要素：市场损害）。
- 全球管辖权风险：如果模型权重包含副本，即使训练发生在美国，只要模型在版权法更严格的国家（如英国、欧盟）可用，开发者就可能面临侵权诉讼。
技术层面：
- 安全对齐的脆弱性：表明当前的 RLHF 和过滤器在面对特定微调任务时是脆弱的。微调可以“唤醒”潜伏的记忆，且这种记忆是跨作者、跨体裁的。
- 系统性风险：由于不同模型表现出高度一致的记忆模式，这表明问题源于行业通用的预训练数据（如盗版书籍库），而非单一模型的设计缺陷。单纯加强输出过滤器或 RLHF 可能无法根本解决此问题。

总结：该论文通过巧妙的微调实验，不仅技术性地证明了大模型确实“记住”了整本受版权保护的书籍，而且从法律角度动摇了当前 AI 公司关于“模型不存储数据副本”的核心抗辩，揭示了行业在版权合规上的系统性脆弱。