💻 computer science

Memorization In Stable Diffusion Is Unexpectedly Driven by CLIP Embeddings

本文揭示，Stable Diffusion 中的记忆现象意外地由填充令牌中结束文本嵌入的结构化重复所驱动，这种重复放大了其影响，并提出了简单的推理阶段策略以在不降低图像质量的前提下缓解该问题。

原作者： Bumjun Kim, Albert No

发布于 2026-05-06

📖 1 分钟阅读☕ 轻松阅读

原作者： Bumjun Kim, Albert No

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《稳定扩散中的记忆化意外地由 CLIP 嵌入驱动》的解释，将其拆解为带有类比概念的简单说明。

核心问题：模型“卡”在了记忆上

想象一位才华横溢的艺术家（稳定扩散），他接受了数百万张照片的训练。有时，当你要求这位艺术家画一些新东西时，他会意外地逐像素地完全复制其训练集中的某张特定照片。这被称为记忆化。这是一个隐私和版权风险，因为模型并没有创造新事物；它只是在反刍旧数据。

科学家们一直试图弄清楚为什么会发生这种情况。大多数理论都集中在你输入的词语（提示词）或模型的内部数学原理上。然而，这篇论文发现了一个隐藏在指令“填充”部分的意外罪魁祸首。

背景：艺术家如何阅读指令

要理解这一发现，我们需要看看艺术家是如何阅读你的指令的。

提示词：你输入一个句子，例如“地毯上的一只猫”。
限制：艺术家只能阅读长达特定长度的指令（77 个“令牌”或词部分）。
填充物：如果你的句子很短（例如只有 10 个词），计算机必须填充剩余的 67 个空位以达到 77 个的限制。

旧方法（稳定扩散 v1.4）：
计算机用特殊的“文本结束”令牌（我们称之为 <eot>）填充这些空位。

类比：想象你在读一个故事，但最后一页是空白的。打印机不是留白，而是反复盖章“结束”这个词，直到页面填满。
因此，对于简短的提示词，艺术家看到的是：[你的词语] + [结束] + [结束] + [结束]...（重复 60 多次）。

发现：“回声室”效应

论文作者发现，艺术家严重依赖这些重复的“结束”印章来决定画什么，特别是在记忆图像时。

他们发现的连锁反应如下：

训练不匹配：将词语转化为数学的系统（称为 CLIP）被训练为将第一个“结束”令牌视为整个句子的最重要摘要。它学会了忽略实际词语和填充令牌。
故障：由于计算机用更多的“结束”令牌填充了空白空间，艺术家突然看到“结束”令牌被重复了数十次。
放大：艺术家心想：“哇，有这么多‘结束’令牌！这一定是指令中最重要的部分！”
结果：模型过度关注这个重复的令牌。如果在训练期间，该特定的“结束”模式与某张受版权保护的图像相关联，模型就会陷入循环，忽略你的实际请求，而重现那张确切的图像。

隐喻：
想象一个合唱团，指挥（模型）本应聆听独唱者（你的提示词）。但是，合唱团成员都在反复大喊“停！”（填充令牌）。指挥被喊声淹没，以至于不再听独唱者，而是根据“停！”的指令开始绕圈行进。如果“停！”指令之前与某个特定的舞蹈动作相关联，合唱团就会忽略音乐，只是重复那个舞蹈动作。

惊人的转折：词语的重要性没那么大了

作者通过从提示词中移除实际词语并用“结束”令牌替换它们来测试这一点。

结果：模型仍然可以生成可识别的图像。
结论：你输入的实际词语（提示词）对记忆化过程的贡献微乎其微。是“填充”令牌在承担复制行为的重任。

解决方案：两个简单的修复方法

论文提出了两种简单的方法，无需重新训练整个模型或降低其速度即可阻止这种情况。这两种都是“推理时”修复，意味着你可以在生成图像之前立即应用它们。

修复 1：更改填充令牌

操作：不要使用“结束”（<eot>）填充空白空间，而是将其替换为中性符号，如感叹号（!）。
原理：这打破了回声室。模型不再看到 60 个“结束”令牌的副本。它看到了一个没有同样沉重负担的中性符号。
额外好处：他们还隐藏（屏蔽）了单个原始的“结束”令牌，以加倍安全。

修复 2：静音填充物

操作：保持令牌不变，但简单地调低（屏蔽）重复的“结束”令牌的音量，使模型较少关注它们。
原理：它在更改分词器之前减少了“回声”的影响。

证据：为什么 2.1 版本更好

作者注意到，稳定扩散 v2.1（一个较新的版本）没有这么严重的记忆化问题。

原因？事实证明，v2.1 的创建者意外地修复了这个问题。他们切换到了不同的文本系统（OpenCLIP），该系统使用中性符号进行填充，而不是重复“结束”。
启示：v2.1 自然减少了记忆化这一事实证明，v1.4 中问题的主要原因确实是“重复的结束令牌”。

总结

问题：稳定扩散有时会完全复制训练图像。
原因：简短的提示词被重复的“文本结束”令牌填充。模型误将这些重复的令牌视为指令中最重要的部分，导致其“过拟合”并记忆特定图像。
修复：将填充令牌更改为中性内容（如 !）或静音重复的令牌。这可以在保持图像高质量的同时阻止记忆化。
好处：你可以立即使用此修复，无需重新训练 AI，也无需事先检测哪些图像存在风险。

技术摘要：Stable Diffusion 中的记忆现象意外地由 CLIP 嵌入驱动

问题陈述

文本到图像扩散模型，尤其是 Stable Diffusion，表现出一种称为记忆（memorization）的关键隐私风险，即模型在响应特定提示时，会复现其训练集中的具体图像。这引发了关于版权侵犯和私人数据泄露的重大担忧。尽管 prior 研究已通过数据集重复、触发令牌（trigger tokens）和交叉注意力模式对记忆现象进行了调查，但文本嵌入空间的作用——特别是嵌入序列的不同组成部分如何促成记忆——仍未得到充分探索。本文认为，Stable Diffusion v1.4 中记忆现象的根本原因不仅在于令牌（tokens）本身，更在于 CLIP 文本编码器的训练动态与扩散模型的推理机制之间的结构性错位。

方法论

作者对 Stable Diffusion 的嵌入向量进行了详细调查，将输入令牌分为四类：<startoftext>（ $v_{sot}$ ）、<prompt> 令牌（ $v_{pr}$ ）、<endoftext>（ $v_{eot}$ ）和 <pad> 令牌（ $v_{pad}$ ）。

1. 嵌入贡献的实证分析

该研究采用受控的推理时干预措施，以量化每个嵌入组件对记忆性提示的影响。实验包括：

掩码与替换：系统性地掩码或替换特定的嵌入向量（例如，将 $v_{pr}$ 或 $v_{pad}$ 设置为零向量，或将它们替换为 $v_{eot}$ ）。
指标评估：使用 SSCD（自监督对比距离）来衡量记忆性（与原始训练图像的相似度），使用 CLIPScore 衡量文本 - 图像对齐度，使用 Aesthetic Score 衡量视觉质量。
数据集构建：作者从 Webster [35] 和 Membench [13] 中精心构建了一个包含 458 个“完全匹配”（Matching Verbatim, MV）提示的稳健集合，过滤掉不稳定或退化的案例，以确保分析的可靠性。

2. 对比分析（v1.4 与 v2.1）

本文比较了使用原始 CLIP 文本编码器的 Stable Diffusion v1.4 与使用 OpenCLIP 的 v2.1。作者假设，这些模型处理填充令牌（padding tokens）方式的差异解释了不同版本间记忆率的变化。

3. 缓解策略

基于研究结果，提出了两种推理时的缓解策略：

分词器级别修复：在嵌入之前，将默认的 <pad> 令牌（在 v1.4 中为 <eot>）替换为语义中立的令牌（例如 !），并掩码单个 $v_{eot}$ 。
部分掩码：部分掩码 $v_{pad}$ 嵌入（具体为 70%），以减少冗余，同时不破坏生成质量。

主要发现与贡献

1. 填充嵌入的主导地位

与提示令牌（ $v_{pr}$ ）是生成主要驱动力的假设相反，作者发现 $v_{pr}$ 对记忆的贡献微乎其微。事实上，掩码 $v_{pr}$ 或将其替换为 $v_{eot}$ 仍能保持生成的图像结构。相反，填充嵌入（ $v_{pad}$ ）起着主导作用。当 $v_{pad}$ 被掩码时，生成过程会崩溃，这表明它们对于复现记忆内容至关重要。

2. $v_{eot}$ 的结构性重复

识别出的核心机制是 <endoftext> 嵌入的结构性重复。

在 Stable Diffusion v1.4 中，长度短于固定长度（77 个令牌）的提示通过重复 <eot> 令牌进行填充。
由于 CLIP 通过对比学习进行训练，以优化 $v_{eot}$ 作为句子级语义的代表，重复的 <eot> 令牌导致多个近乎相同的 $v_{eot}$ 向量（作为 $v_{pad}$ ）。
这种非故意的重复放大了 $v_{eot}$ 在扩散过程中的影响，导致模型过度依赖该特定嵌入，从而引发记忆现象。

3. Stable Diffusion v2.1 行为的解释

本文指出，Stable Diffusion v2.1 表现出显著更低的记忆率。作者将此归因于数据集去重，而是归因于使用了 OpenCLIP，后者使用中性 ! 令牌进行填充，而不是重复 <eot>。这种结构性改变消除了 $v_{eot}$ 的放大效应，从而减少了记忆现象。

4. 提出的缓解策略

作者提出了两种有效、即插即用的策略，无需重新训练模型：

策略 1：将分词器的默认 <pad> 替换为中性令牌（!）并掩码原始的 $v_{eot}$ 。这将 $v_{pad}$ 与 $v_{eot}$ 解耦。
策略 2：部分掩码 70% 的 $v_{pad}$ 嵌入。
这两种方法都显著降低了 SSCD 分数（表明记忆减少），同时保持了高 CLIPScore 和 Aesthetic Score，有效地恢复了随机种子之间的多样性。

结果

记忆抑制：所提出的方法将 SSCD 分数从约 0.5（表明存在记忆）降低至约 0.08–0.10，有效防止了训练图像的复现。
质量保持：与 prior 方法（如 Ren 等人 [24]、Wen 等人 [36]）经常导致视觉质量下降或无法一致地抑制记忆不同，所提出的策略保持了提示对齐度和图像质量。
效率：缓解措施带来的计算开销微乎其微，推理时间与标准生成几乎相同。
鲁棒性：这些方法在记忆性和非记忆性提示上表现一致，未显示出一般生成质量的显著下降。

意义与主张

本文主张将记忆现象的视角从模型内部（例如交叉注意力模式）转移到文本嵌入的结构性属性。作者认为，CLIP 的训练目标（仅优化 $v_{eot}$ ）与扩散模型的推理（基于包含重复 $v_{eot}$ 的完整序列进行条件控制）之间的不匹配，产生了一种驱动记忆的结构性偏差。

其意义在于识别出一种此前被忽视的机制：由于分词器设计导致的 <endoftext> 嵌入的非预期放大。通过解决这一结构性缺陷，作者提供了简单、有效且可部署的解决方案，无需数据集过滤、提示微调或模型重新训练即可缓解记忆现象。研究结果表明，未来的扩散模型应仔细考虑填充令牌策略，以避免类似的结构性偏差。