💻 computer science

Filtering Memorization from Parameter-Space in Diffusion Models

本文提出了基座锚定过滤（Base-Anchored Filtering, BAF），这是一个无需训练且无需数据的框架，通过将更新分解为光谱通道并抑制那些与预训练骨干网络主子空间弱对齐的通道，来减轻扩散模型 LoRA 中的记忆现象，从而在不损害生成质量的前提下，减少对受版权保护或敏感内容的复制。

原作者： Yu Zhe, Yang Jiayan, Wei Junhao, Yu-Lin Tsai, Wang Chen

发布于 2026-07-08

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yu Zhe, Yang Jiayan, Wei Junhao, Yu-Lin Tsai, Wang Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于论文《Filtering Memorization from Parameter-Space in Diffusion Models》（从扩散模型的参数空间中过滤记忆）的解释，采用了通俗易懂的语言和富有创意的类比。

问题所在：“复印机”式的 LoRA

想象你有一位大师级的艺术家（扩散模型，例如 Stable Diffusion），他已经学会了绘制世界上任何事物。现在，一位用户想要教这位艺术家一种非常特定的风格，比如“只画宝可梦”。他们使用了一种叫做 LoRA（低秩自适应）的技术。

把 LoRA 想象成一本轻量级的说明书或一个模板，你把它夹在艺术家的工具箱里。它告诉艺术家：“嘿，当你绘画时，让它看起来像这样。”

问题在于： 有时候，制作这个模板的人不仅仅是教会了艺术家一种“风格”，他们还无意中（或故意地）教会了艺术家如何完美地复制训练文件夹里的特定照片。

如果训练文件夹里有一张著名的卡通角色版权图像，那么新的 LoRA 可能会在被要求时，精准地吐出那个完全相同的角色。
这被称为记忆（Memorization）。这就像是艺术家的脑子里藏了一台复印机，它不是在进行创作，而是在直接打印出那些原始的训练图像。

困境： 在现实世界中，人们会在网上分享这些 LoRA 模板（在 CivitAI 或 Hugging Face 等网站上）。当你下载一个 LoRA 时，你得到的是这个模板，但你并没有得到原始的训练照片，也不知道制作这个模板时的笔记。现有的安全工具通常需要让你看到训练照片，或者通过控制绘画过程来阻止这种复制行为。但如果你手里只有这个模板，你就束手无策了。

解决方案：BAF（基于基座锚定的过滤）

作者提出了一种名为 BAF 的新方法。这是一种“无需训练”且“无需数据”的方法，可以在不接触原始照片的情况下，对制作好的模板进行清理。

核心思想：一个“方向图书馆”

要理解 BAF 是如何工作的，请想象大师级艺术家的脑海是一个巨大的方向（向量）图书馆。

主干道（主子空间/Principal Subspace）： 这些是图书馆中宽阔、成熟的主要路径，艺术家通过这些路径学习通用概念（比如“如何画一张脸”或“如何画落日”）。这些方向是大家共有的，代表了通用知识。
隐藏的角落（记忆/Memorization）： 当艺术家记住了某张特定的、独特的照片（比如某张受版权保护的特定图像）时，他们会在图书馆的一个隐蔽角落里创造一条微小且古怪的路径。这条路径并不连接到主干道；它是一个孤立的、“离经叛道”的方向，仅为那一张特定的照片而存在。

BAF 如何工作：“指南针检查”

BAF 就像一个指南针，会对 LoRA 模板中的每一条指令进行检查。

分解（Decomposition）： BAF 将 LoRA 指令分解为单个的“通道”（微小的方向箭头）。
对齐检查（The Alignment Check）： 对于每一个箭头，BAF 会询问：“这个箭头指向的方向，是否与大师级艺术家图书馆中的‘主干道’一致？”
- 高对齐度（High Alignment）： 如果这个箭头沿着主干道指向，说明它很可能是在教授一种通用风格（例如“让它看起来像卡通”）。BAF 会保留它。
- 低对齐度（Low Alignment）： 如果这个箭头指向一个不符合主库规则的、奇怪且孤立的角落，那么它很可能是一个被记忆下来的副本。BAF 会将其标记为可疑。
过滤（The Filter）： BAF 会调低（或删除）那些指向奇怪角落的箭头的“音量”，同时保留那些指向主干道的箭头。

结果：一个更干净的模板

经过 BAF 处理后的 LoRA：

精华得以保留： 艺术家仍然可以按照要求的风格进行创作（例如“宝可梦风格”）。
糟粕被清除： 艺术家不再会吐出那些受版权保护的特定训练照片的精确副本。

为什么这很特别

大多数其他的安全工具都像是保安，他们需要看到原始照片才能知道该拦截什么。如果你没有照片（这正是下载 LoRA 时的情况），保安就无法履行职责。

BAF 则不同。它更像是一位结构工程师，观察建筑的蓝图（即 LoRA 的权重），然后说：“这面墙是建在摇晃且孤立的地基上的。让我们加固主基座，并拆除那面摇晃的墙。” 它不需要知道建筑长什么样，它只需要了解结构的几何特征。

研究总结

论文在各种数据集（如宝可梦和名人面孔）以及不同的 AI 模型上测试了该方法。研究发现：

BAF 成功阻止了 AI 复制特定的训练图像。
BAF 并没有破坏新图像的质量；事实上，由于移除了那些带有“噪声”的记忆化方向，图像有时看起来甚至变得更好。
它无需原始训练数据即可运行，这使其非常适合用来清理互联网上分享的数以万计的 LoRA。

简而言之，BAF 是一个清理 AI 指令手册中“记忆”的工具。它通过检查指令是遵循宇宙的普遍规律，还是仅仅是单张照片的奇特副本，来完成这项工作。

技术摘要：扩散模型参数空间中的记忆过滤技术

问题陈述

低秩自适应（LoRA）已成为定制扩散模型的标准机制，允许用户通过轻量级参数更新注入新的风格或概念。然而，存在一个显著风险，即 LoRA 会记忆训练图像，导致版权或敏感内容的重现。这一问题在开放生态系统（如 Hugging Face、CivitAI）中尤为突出，因为用户在分发训练好的 LoRA 权重时，通常不会发布底层的训练数据。

现有的缓解策略在这一“黑盒”场景下大多难以适用：

训练阶段的干预（如数据去重、差分隐私）需要访问训练流水线和数据，而下游用户或托管平台无法获取这些信息。
推理阶段的防御（如提示词优化、反记忆引导）通常需要了解被记忆的内容或控制采样过程，这在平台层面无法强制执行。
参数空间方法（如概念擦除）通常需要预先知道要擦除的具体概念或提示词。

本文解决的核心挑战是：当仅有发布的 LoRA 权重和预训练骨干网络可用，且无法获取训练数据、训练过程或具体的记忆内容时，如何识别并过滤记忆现象？

方法论：基座锚定过滤 (Base-Anchored Filtering, BAF)

作者提出了 Base-Anchored Filtering (BAF)，这是一个直接在参数空间运行的无需训练、无需数据的框架。该方法依赖于关于模型权重谱结构的几何洞察。

1. 几何洞察
作者假设，具有泛化能力的适配（例如一种新的艺术风格）会与预训练骨干网络的优势谱方向（主子空间）对齐，而记忆则会引入弱对齐的、特定实例的特征方向。

泛化适配： 存在于与预训练模型主方向对齐的低维子空间中。
记忆： 表现为与预训练骨干结构弱对齐的谱通道。

2. 锚定分数 (Anchoring Score)
为了量化这种对齐程度，该方法通过奇异值分解 (SVD) 将 LoRA 更新矩阵 $\Delta W$ 分解为各个谱通道。对于每个具有奇异向量 $u_i$ 和 $v_i$ 的通道 $i$ ，计算其锚定分数 $a_i$ ：
$a_i = \|P_L u_i\|_2 \cdot \|P_R v_i\|_2$
其中 $P_L$ 和 $P_R$ 是向预训练权重矩阵 $W^*$ 的前 $K$ 个左、右主子空间进行的正交投影。

高分数（ $a_i \approx 1$ ）表示该通道位于预训练子空间内（具有泛化性）。
低分数（ $a_i \approx 0$ ）表示该通道与预训练结构正交（潜在的记忆现象）。
随机投影基准（ $a_{null} = K^2/mn$ ）作为区分结构化对齐与噪声的阈值。

3. 过滤算法
BAF 对 LoRA 更新的谱通道应用门控函数：

BAF-Hard： 一种二值门控，移除所有 $a_i < a_{null}$ 的通道。
BAF-Soft： 一种连续门控 $g(a_i) = a_i^\alpha$ ，用于抑制低对齐通道而非将其完全移除，从而在抑制强度与生成质量之间实现权衡。

4. 自适应子空间选择
为了处理不同层和架构之间异构的谱衰减，系统根据能量自适应规则动态选择预训练权重主子空间的维度 $K$ 。 $K$ 的选取使得前 $K$ 个奇异值的累积能量超过阈值 $\tau_{energy}$ 。

核心贡献

问题形式化： 作者在严格的数据不可及约束下，形式化了扩散模型 LoRA 的事后记忆缓解问题，这一设定与当前的模型共享生态系统高度相关。
几何洞察： 他们验证了如下假设：记忆集中在与预训练主子空间弱对齐的谱方向上，而泛化适配则与该空间强对齐。
BAF 框架： 他们引入了一种无需训练、无需数据的方案，仅利用参数空间结构即可选择性地抑制与记忆相关的谱方向。
实验验证： 大量实验表明，BAF 在减少记忆的同时保持甚至提升了生成质量，其表现优于依赖于不可用信息的现有策略。

实验结果

作者在基于 Pokémon、CelebA-HQ 和 LAION-Art 数据集训练的 LoRA 上，针对 Stable Diffusion v1.5 和 SDXL 进行了评估。通过在训练期间复制“金丝雀（canary）”图像来模拟记忆现象。

记忆减少： BAF 的变体（Hard 和 Soft）在同类方法中始终取得了最低的 SSCD（自一致性检测相似度）得分，显著降低了训练图像的重现率。
生成质量： 与许多会导致输出质量下降的缓解策略不同，BAF 通常能提升美学评分 (AES) 和 CLIP 分数。作者认为，移除弱锚定通道消除了噪声参数方向。
对比分析： 在数据不可及的设定下，BAF 的表现优于推理时基线（RTA、提示词优化、CFG-Reverse）以及训练时基线（去重、DP-LoRA）。它接近了需要访问训练图像的 AMG（反记忆引导）的表现，但无需依赖这些数据。
现实世界模拟： 在针对从 CivitAI 下载的 20 个真实世界版权 LoRA（涵盖动漫角色、名人及风格）进行测试时，人类评估者认为 B 대비 BAF 在抑制角色重现的同时保持视觉质量方面是最有效的方法，优于所有推理时基线。

意义与主张

本文主张，仅凭参数空间结构即可提供区分记忆与有用适配的强有力信号。通过利用 LoRA 更新与预训练骨干网络之间的几何关系，BAF 为在无法获取训练数据的开放模型生态系统中缓解版权和隐私风险提供了一种切实可行的解决方案。

作者将这项工作定位为面向开放生态系统的无数据安全机制的一步。他们强调，该方法不需要重新训练，不需要访问原始数据，也不需要了解特定的记忆内容，因此可以直接应用于希望安全部署 LoRA 的托管平台及下游用户。