Erasure or Erosion? Evaluating Compositional Degradation in Unlearned Text-To-Image Diffusion Models

1. 研究背景与问题 (Problem)

• 背景：文本到图像（T2I）扩散模型（如 Stable Diffusion）在内容生成方面取得了巨大成功，但其训练数据包含未筛选的有害概念（如版权风格、露骨图像等）。由于重新训练成本过高，事后学习（Post-hoc Unlearning） 成为从预训练网络中移除有害概念的关键机制。
• 现有问题：
  • 当前的未学习算法主要关注擦除效果（Erasure Success），即模型在接收到特定提示词时能否成功抑制目标概念。
  • 核心缺陷：这种单一目标的评估是片面的。一个只输出黑色图像或通用安全内容的“退化”模型可以达到完美的擦除分数，但完全丧失了实用性。
  • 关键缺失：现有研究缺乏对组合生成能力（Compositional Generalization） 受损情况的系统性评估。即，移除目标概念是否破坏了模型在安全提示下正确绑定属性、理解空间关系和计数的能力？
• 研究假设：如果未学习过程破坏了属性绑定（例如无法生成“绿色的香蕉”），则说明模型的生成语法（Generative Syntax）受到了损害，而不仅仅是移除了特定概念。

2. 方法论 (Methodology)

为了填补这一评估空白，作者采用了一种双管齐下的评估策略，在 Stable Diffusion 1.4 基础上对多种主流未学习算法进行了系统性实证研究。

2.1 实验设置

• 模型与算法：基于 SD 1.4 骨干网络，评估了包括 ACE, ADV, ESD, EraseDiff, FMN, SPM, Salun, Scissorhands, UCE, MACE, RECELER, EAP, SAFREE, RECE, ResAlign, RACE 等在内的 15 种代表性未学习方法。
• 评估基准：
  1. 安全性评估 (Safety)：使用 I2P 基准（针对裸露内容的移除），计算未学习准确率（UA）。
  2. 实用性/组合能力评估 (Utility)：
     • T2I-CompBench++：评估属性绑定（颜色、形状、纹理）、空间推理（2D/3D 空间）、数值控制（计数）及多对象理解。
     • GenEval：评估单对象、双对象组合、颜色、位置和计数的生成能力。
  3. 保留能力评估 (Retention)：
     • 构建中性提示词（移除目标概念后的提示），使用 BVQA 评估生成质量。
     • 使用 CLIP Score 评估文本 - 图像对齐度。
     • 使用 FID (Fréchet Inception Distance) 评估整体图像保真度。

2.2 核心逻辑

通过对比未学习模型在安全提示词（不含目标概念）上的表现，分析未学习过程是否导致了“过度擦除”或“语义侵蚀”，即模型是否为了安全而牺牲了基础的生成逻辑。

3. 主要发现与结果 (Key Results)

研究揭示了一个显著的权衡关系（Trade-off）：未学习的有效性往往以组合生成能力的严重退化为代价。

3.1 组合能力的普遍退化

• T2I-CompBench++ 结果：
  • 空间关系最脆弱：2D 空间推理（2D-Spatial）平均下降幅度最大（部分方法下降超 50%），表明布局敏感性在擦除过程中极易受损。
  • 属性绑定受损：颜色和纹理的细粒度绑定也出现显著下降。
  • 形状相对稳健：几何结构（Shape）受的影响相对较小，部分方法甚至略有提升。
  • 极端案例：EraseDiff 和 Scissorhands 导致几乎所有类别的性能崩溃（平均下降 60%-90% 以上），表明激进的擦除策略破坏了模型的通用生成能力。
• GenEval 结果：
  • 单对象识别大多得以保留，但双对象组合和空间定位能力大幅下降。
  • 大多数方法虽然能生成合理的单个物体，但无法满足结构化的组合约束。

3.2 安全性与实用性的负相关

• 高 UA 低 RA：那些在 I2P 基准上达到 100% 未学习准确率（UA）的方法（如 EraseDiff, Scissorhands, ADV），其保留准确率（RA）极低，且 FID 分数急剧恶化（图像质量严重下降）。
• 流形坍塌（Manifold Collapse）：定性分析显示，激进的方法并非“手术式”移除概念，而是导致了流形扭曲或坍塌。
  • Salun 和 Scissorhands 出现模式坍塌，倾向于生成重复的低熵背景（如砖墙）。
  • EraseDiff 表现出强烈的中心偏差，无论空间指令如何，都将通用人物置于中心。
  • ADV 经常忽略多实体提示中的初始对象。
• 表现较好的方法：ACE 和 SPM 在保持较高组合性能的同时，实现了较好的未学习效果，说明局部或结构化的编辑机制能更好地保留泛化能力。

3.3 数据概览

• 最激进的方法（如 Scissorhands）：UA=100%，但 T2I-CompBench++ 平均得分下降约 63%，FID 从 17.87 恶化至 49.49。
• 较温和的方法（如 SPM, UCE）：UA 较低（约 59%-93%），但组合性能下降较小，FID 保持在接近基线的水平。

4. 关键贡献 (Key Contributions)

1. 提出了新的评估视角：首次系统性地将组合生成能力（Compositional Generalization） 作为评估文本到图像模型未学习效果的核心指标，超越了传统的仅关注“擦除率”的单一维度。
2. 揭示了“擦除”与“侵蚀”的权衡：证明了当前许多最先进的未学习方法实际上是在侵蚀（Erosion） 模型的基础语义结构，而非精准擦除（Erasure）。激进的擦除往往导致模型在安全提示下也失去生成能力。
3. 提供了全面的基准测试：利用 T2I-CompBench++ 和 GenEval 等基准，对 15 种主流未学习算法进行了大规模、多维度的对比评估，量化了它们在属性绑定、空间推理和计数方面的具体损失。
4. 定性证据：通过可视化分析，证实了高安全性分数往往伴随着流形坍塌、模式重复和空间逻辑混乱等严重缺陷。

5. 意义与启示 (Significance)

• 重新定义“成功”的未学习：论文指出，一个技术上安全但语义破碎（无法生成“绿香蕉”或理解空间关系）的模型是不可信的。未来的未学习目标必须明确包含语义保留（Semantic Preservation）。
• 指导算法设计：现有的基于对抗正则化或全局参数微调的激进策略存在根本缺陷。未来的研究应转向更精细的、结构化的编辑机制，以在移除有害概念的同时保护共享的特征空间（Shared Feature Space）。
• 评估标准的改进：呼吁社区在评估未学习算法时，必须同时报告安全性指标和组合生成指标，避免被单一的“完美擦除”分数误导。

总结：这篇论文有力地论证了当前的未学习技术往往以牺牲模型的核心生成逻辑为代价。真正的鲁棒性不仅在于能否移除有害内容，更在于能否在移除后依然保持模型在安全场景下的复杂推理和组合生成能力。