PureCC: Pure Learning for Text-to-Image Concept Customization

PureCC 提出了一种基于解耦学习目标和双分支训练流程的纯学习方法，通过引入自适应引导尺度，在实现高保真文本到图像概念定制的同时，有效保留了原始模型的行为与能力。

要点

这篇论文介绍了一种名为 PureCC 的新方法，旨在解决当前 AI 绘画（文生图）领域的一个核心痛点：如何给 AI“教”一个新概念（比如你自家的宠物狗），同时不让它忘记原本学会的“通用技能”（比如怎么画风景、怎么理解光影）。

为了让你更容易理解，我们可以把整个过程想象成**“在一家米其林餐厅里教新厨师做一道招牌菜”**。

1. 背景：现有的问题是什么？

想象一下，你有一家非常棒的米其林餐厅（这就是预训练的 AI 模型，比如 SD 3.5）。这里的厨师（AI）什么都会做：能画出完美的夕阳、复杂的建筑、各种动物，而且画得很有艺术感。

现在，你想让厨师学会画你家的**“金毛犬”（这就是个性化概念**）。你只给了厨师几张金毛的照片。

• 旧方法（如 DreamBooth, LoRA）的做法：
  你直接把厨师关进小黑屋，只让他对着金毛的照片死磕。
  • 后果 A（行为破坏）： 厨师学会了画金毛，但他好像“走火入魔”了。以前他画“金毛在公园”，现在你让他画“金毛在公园”，他却把公园画成了金毛的毛色，或者把背景画得乱七八糟。他为了学新东西，把原本擅长的背景、光影、构图都搞坏了。
  • 后果 B（能力退化）： 厨师为了适应金毛，甚至忘了怎么画“夕阳”或者“城堡”。你让他画个“夕阳下的金毛”，他可能连夕阳都画不出来，或者画得很丑。他为了学新技能，把旧技能给忘了。

2. PureCC 的解决方案：双管齐下的“纯学习”

PureCC 提出了一种聪明的**“双轨制”培训方案，就像给餐厅请了两位老师**，分工明确：

第一步：提取“灵魂”（Representation Extractor）

• 比喻： 我们先请一位**“观察员”**（冻结的提取器）。他的任务不是去画画，而是专门研究那几张金毛照片。
• 做法： 观察员仔细分析：“这只狗的毛色是这种黄，眼神是这种亮，耳朵是这种形状。”他把这些纯粹关于“金毛”的特征提炼出来，变成一套**“金毛说明书”**。
• 关键点： 观察员不碰原本餐厅的菜谱（不修改原模型），他只是负责把“金毛”这个概念从照片里“提纯”出来，排除掉照片里背景、光线等干扰信息。

第二步：双轨训练（Dual-Branch Pipeline）

现在，真正的**“主厨”**（可训练的模型）开始学习画画了。PureCC 让主厨同时听两个指令：

1. 指令一（保留原味）： 主厨手里拿着原本的**“通用菜谱”（Base Text，比如“一只狗在公园里”）。他必须保证，除了狗的样子变了，公园、光线、构图必须和以前一样完美。这保证了“不破坏原有能力”**。
2. 指令二（注入灵魂）： 主厨同时看着刚才那位**“观察员”递过来的“金毛说明书”**。他要把这只狗画得像说明书里描述的那样。

PureCC 的魔法在于： 它把这两个指令解耦了。主厨在画的时候，心里清楚：“背景是通用的，狗是特制的。”这样，他既学会了画你的狗，又没把公园画坏，也没忘记怎么画夕阳。

3. 核心黑科技：自适应的“调味勺”（Adaptive Guidance Scale $\lambda^\star$）

这就好比做菜时的**“盐”**。

• 盐放少了（$\lambda$太小）：狗画得不像，还是原来的狗。
• 盐放多了（$\lambda$太大）：味道太咸，把整道菜（背景、光影）都毁了。

以前的方法只能靠厨师凭感觉猜放多少盐。而 PureCC 发明了一个**“智能调味勺”**：

• 它会实时尝味道（计算两个分支的相似度）。
• 如果主厨还没学会怎么画金毛，勺子就少放点盐，让他先稳住基本功。
• 如果主厨已经快学会了，勺子就多放点盐，强化金毛的特征。
• 结果： 自动找到那个**“刚刚好”**的平衡点，既像你的狗，又不破坏画面质量。

4. 总结：PureCC 带来了什么？

用大白话总结，PureCC 就像是一个**“超级家教”**：

1. 它很“专一”： 只教“金毛”这个知识点，不干扰其他知识。
2. 它很“稳重”： 在教新东西的时候，时刻提醒学生：“别忘了你原本擅长的画画技巧”。
3. 它很“智能”： 知道什么时候该多教一点，什么时候该少教一点，自动调节。

最终效果：

• 以前： 教 AI 画你的狗，结果它把世界都画歪了，连风景都画不好。
• 现在（PureCC）： 教 AI 画你的狗，它画得惟妙惟肖，而且背景、光影、构图依然保持着米其林级别的完美，甚至还能让你用“夕阳下的金毛”、“雪中的金毛”这种复杂指令，它都能完美执行。

这篇论文的核心贡献就是：让 AI 在“个性化”和“通用性”之间，不再做单选题，而是可以“我全都要”。

技术摘要

PureCC: 纯学习用于文本到图像的概念定制

1. 研究背景与问题 (Problem)

文本到图像（Text-to-Image, T2I）的概念定制（Concept Customization）旨在利用少量参考图像（3-5 张）学习并生成个性化的新概念（如特定主体或风格）。尽管现有的主流方法（如 DreamBooth、LoRA 等）在生成高保真度的个性化图像方面取得了显著成果，但它们存在两个核心缺陷，往往被忽视：

1. 原始模型行为的破坏 (Disruption of Original Model's Behavior)：

   • 理想的定制应仅调整与目标概念相关的部分，而保持图像中无关元素（如背景、光照、风格）与原始模型的行为一致。
   • 现有方法在微调过程中，将定制集中的所有语言 - 视觉信息视为学习源。由于参考图像稀缺，模型难以区分目标概念与冗余信息，导致在生成时不仅改变了目标概念，还错误地修改了背景、风格等无关元素，破坏了原始模型的生成逻辑。

2. 原始模型能力的退化 (Degradation of Original Model's Capability)：

   • 预训练模型具备强大的提示遵循（Prompt Adherence）能力和高质量图像生成能力。
   • 现有方法在微调时缺乏对原始模型分布的保护，导致“原始数据分布漂移”（Original Data Distribution Drift）。这使得微调后的模型在遵循文本提示、生成高质量图像以及保持美学标准方面能力下降（即 CLIP-T 和 HPSv2.1 分数降低）。

2. 方法论 (Methodology)

为了解决上述问题，作者提出了 PureCC，一种旨在“纯学习”（Pure Learning）个性化概念，同时最小化对原始模型行为和 capabilities 影响的新颖微调方法。其核心包含三个主要部分：

2.1 解耦的学习目标 (Decoupled Learning Objective)

受无分类器引导（CFG）的启发，PureCC 将概念定制的目标速度场定义为原始条件预测与目标概念隐式引导的解耦组合：
$$\bm{v}_t^{PureCC} = \bm{v}_t^{original} + \lambda \cdot \bm{v}_t^{target}$$

• $\bm{v}_t^{original}$：代表原始模型的条件预测，确保模型保留原有的生成能力和分布。
• $\bm{v}_t^{target}$：代表目标概念的隐式引导，专注于学习新概念。
  这种分离形式使得模型在学习新概念时，能够实质性地“关注”原始模型，避免分布漂移。

2.2 双分支训练流水线 (Dual-Branch Training Pipeline)

为了实现上述解耦目标，PureCC 设计了一个包含两个分支的训练架构：

1. 冻结的表示提取器 (Frozen Representation Extractor)：

   • 首先在一个预训练的流模型（Flow Model）上，利用 LoRA 和**逐层可微调的概念嵌入（Layer-Wise Tunable Concept Embeddings）**对定制集进行微调。
   • 该提取器被冻结，用于提供“纯净”的目标概念表示。
   • 通过计算目标文本（Target Text）与空条件（Null Condition）的预测差值，提取出富含目标概念信息的表示偏差（Representation Bias），作为隐式引导 $\bm{v}_t^{target}$。

2. 可训练的流模型 (Trainable Flow Model)：

   • 初始化为另一个预训练流模型，负责学习最终的个性化概念。
   • 它接收基础文本（Base Text）作为输入，提供原始条件预测 $\bm{v}_t^{original}$。
   • 在训练过程中，该分支利用上述提取器提供的隐式引导进行优化，从而在保留原始模型行为的同时融入新概念。

2.3 自适应引导尺度 $\lambda^\star$ (Adaptive Guidance Scale)

为了平衡“定制保真度”与“原始模型保留”之间的权衡，PureCC 提出了一种动态调整引导强度 $\lambda$ 的机制：

• 原理：计算可训练模型中学习到的表示（$\mathbf{R}(y_{complete}, y_{base})$）与冻结提取器提供的引导表示（$\mathbf{R}(y_{tar})$）之间的投影误差。
• 计算：通过最小化投影误差，得到闭式解 $\lambda^\star$。
• 作用：
  • 若可训练模型尚未学会目标方向，$\lambda^\star$ 会自动减小，减少对目标概念的过度关注，防止污染原始模型。
  • 若模型已较好掌握目标方向，$\lambda^\star$ 会增大，强化新概念的学习。
  • 这种机制动态地平衡了两者，避免了人工调节固定 $\lambda$ 带来的过拟合或欠拟合问题。

3. 主要贡献 (Key Contributions)

1. 提出了 PureCC 框架：重新定义了概念定制的学习目标，通过解耦原始模型组件和目标概念组件，实现了在最小化对原始模型行为和能力影响的前提下，进行高保真的个性化概念学习。
2. 设计了双分支训练流水线：利用冻结的表示提取器提供纯净的概念引导，配合可训练模型提供原始条件预测，从架构上实现了“纯学习”。
3. 引入了自适应引导尺度 $\lambda^\star$：基于跨分支表示对齐，动态调整引导强度，有效解决了定制保真度与模型保留之间的权衡难题。
4. 全面的实验验证：在多个基准测试（DreamBenchPCC）和定性/定量评估中，证明了该方法在保持原始模型行为（如背景、风格一致性）和生成能力（提示遵循、图像质量）方面优于现有 SOTA 方法。

4. 实验结果 (Results)

• 定性评估：
  • 单概念定制：相比 DreamBooth 和 Mix-of-Show，PureCC 能准确适应新概念，同时完美保留背景、光照和姿态等无关属性，未出现背景风格被篡改的现象。
  • 多概念定制：PureCC 实现了概念的解耦，避免了不同概念间的语义纠缠（如颜色污染、结构扭曲），而现有方法常出现此类问题。
  • 风格 - 实例定制：在跨域定制中，PureCC 能更平衡地转移风格，同时保持物体结构的完整性。
• 定量评估 (在 DreamBenchPCC 上)：
  • 保留性指标 (Preservation)：PureCC 在 $\Delta$CLIP-T (base)、$\Delta$HPSv2.1 和 $\Delta$PickScore 上取得了最小的负向偏差（甚至为正），表明其极好地保留了原始模型的提示遵循能力和美学质量。Seg-Cons（分割一致性）得分高达 69.37，远超其他方法，证明其行为一致性极佳。
  • 概念响应指标 (Concept Responsiveness)：在 CLIP-I (target) 和 DINO 等指标上，PureCC 达到了与 SOTA 相当或更优的水平，证明了其高保真的定制能力。
• 用户研究：在涉及 42 名参与者的用户研究中，PureCC 在“原始行为一致性”、“基础文本对齐”和“美学偏好”维度上显著优于 DreamBooth 等对比方法，同时在“目标概念保真度”上也表现优异。

5. 意义与总结 (Significance)

PureCC 解决了当前文本到图像概念定制领域的一个关键痛点：如何在引入新概念的同时，不破坏预训练模型原有的强大生成能力和行为逻辑。

• 理论意义：它提出了一种“纯学习”的范式，通过解耦学习目标和双分支架构，从机制上避免了传统微调方法中的分布漂移问题。
• 应用价值：该方法使得定制化模型能够更安全、更可靠地应用于需要保持特定风格或背景一致性的场景（如广告、艺术创作、连续内容生成），无需在定制效果和模型通用性之间做妥协。
• 效率：尽管引入了双分支，但通过合理的参数共享和推理时的单模型部署，PureCC 在训练时间和推理开销上仍保持了较高的效率。

综上所述，PureCC 为文本到图像生成模型的个性化定制提供了一种新的、更稳健的解决方案，推动了生成式 AI 在保持模型通用性与实现个性化之间的平衡发展。