Towards High-resolution and Disentangled Reference-based Sketch Colorization

该论文提出了一种通过双分支架构和 Gram 正则化损失直接最小化训练与推理分布差异，并结合动漫特定标签网络与 SDXL 微调来实现高分辨率、解耦且可控的参考图素描上色新框架，从而在质量和可控性上达到最先进水平。

要点

这篇论文介绍了一种全新的**“给素描上色”**的技术。想象一下，你有一张黑白线条的漫画草图，想让它变成色彩鲜艳、细节丰富的动漫作品。以前的方法虽然能上色，但经常“翻车”：要么颜色乱跑，要么背景变得乱七八糟，甚至把参考图里的东西（比如背景里的树）错误地画到了人物身上。

这篇论文的作者提出了一套新方案，解决了这些痛点。我们可以用几个生动的比喻来理解它的核心思想：

1. 核心难题：为什么以前的方法会“串台”？

比喻：两个不同频道的收音机

以前的上色模型，就像是一个试图同时听两个不同频道收音机的人。

• 训练时（学习阶段）： 模型看到的素描和参考图是“天生一对”的（比如都是同一张图画的）。它以为：“哦，原来参考图里的颜色就是对应这个位置的。”
• 测试时（实际应用）： 你给它一张素描，又给它一张完全不搭界的参考图（比如素描是个人，参考图是风景）。
• 结果： 模型糊涂了。它开始强行把参考图里的“空间结构”（比如风景里的树的位置）也学过来，导致画出来的人身上长出了树，或者背景乱成一团。这就是论文里说的**“空间纠缠”（Spatial Entanglement）**。

2. 解决方案：双分支“特训”架构

比喻：左右脑互搏的“魔鬼训练”

为了解决这个问题，作者设计了一个**“双分支架构”**，就像让模型同时接受两种截然不同的训练：

• 左脑（对齐分支）： 给它看“标准答案”。素描和参考图是匹配的，让它学习正常的上色逻辑。
• 右脑（错位分支）： 故意给它看“乱点鸳鸯谱”。素描和参考图是随机拼凑的，完全不搭界。
• 关键动作： 在训练过程中，作者强迫“右脑”的输出结果，必须和“左脑”在**“空间结构”**上保持一致。
  • 这就好比教练对学员说：“不管参考图里画的是猫还是狗，你画素描里的人时，人的轮廓和位置绝对不能变，只能参考颜色！”
  • 通过这种“左右互搏”，模型终于学会了：“颜色可以随便借，但骨架（空间结构）必须只认素描。”

3. 核心魔法：Gram 正则化损失

比喻：给模型戴上一副“防干扰眼镜”

为了让上述的“左右互搏”生效，作者发明了一种特殊的**“惩罚机制”（Gram Regularization Loss）**。

• 这就像给模型戴上了一副**“防干扰眼镜”**。
• 当模型试图把参考图里的“位置信息”（比如树长在哪里）偷偷塞进素描时，这副眼镜会立刻报警并惩罚它。
• 它强制模型只关注素描本身的线条结构，彻底切断参考图对“画哪里”的干扰，只保留“画什么颜色”的灵感。

4. 细节增强：动漫专属“标签员”与“插件”

比喻：专业的化妆师和修图师

为了让画出来的东西不仅结构对，而且好看、高清，作者还加了两个“外挂”：

• 动漫专属标签员（WD-Tagger）：

  • 以前的模型可能只能看懂“这是一个人”。
  • 这个新标签员是专门在海量动漫数据里训练出来的，它能精准识别：“这是银发、蓝眼睛、穿着水手服、背景是樱花"。
  • 它像一位专业的化妆师，能精准地把参考图里的“发色”、“衣服款式”提取出来，精准地涂在素描的对应部位，不会涂错地方。

• 纹理插件（Plugin Module）：

  • 有时候参考图里的背景很复杂（比如复杂的纹理），模型容易画糊。
  • 这个插件就像一个**“细节修补师”**，专门负责把背景、光影等低层次的纹理细节“搬运”过来，让画面看起来更真实、更有质感，而不是糊成一团。

5. 最终效果：高清、可控、不串台

比喻：从“马赛克”到"4K 电影”

• 以前： 只能画小图（512x512），放大就糊，颜色乱跑，背景容易崩坏。
• 现在： 可以画大图（1024x1280 甚至更高），线条清晰，颜色鲜艳，背景丰富。
• 用户反馈： 在让真人评委盲测时，大家一致觉得这个方法画出来的图最自然、最漂亮，完全不像机器画的。

总结

这篇论文的核心就是**“分得清”。
它通过一种巧妙的“双分支特训”和“防干扰眼镜”，教会了 AI 模型：“参考图只负责提供颜色和风格，素描的骨架必须由素描自己说了算。”**

这让 AI 给素描上色变得像人类专业画师一样：既能灵活借用参考图的灵感，又能牢牢守住画面的结构和逻辑，最终生成高质量、高分辨率的动漫作品。

技术摘要

1. 研究背景与核心问题 (Problem)

背景：
草图着色（Sketch Colorization）是动画和数字插画创作中的关键任务。现有的方法主要基于生成对抗网络（GAN）或扩散模型（Diffusion Models），旨在通过参考图（Reference Image）为草图赋予颜色、纹理和风格。

核心挑战：分布偏移导致的空间纠缠 (Distribution Shift & Spatial Entanglement)

• 分布偏移 (Distribution Shift)： 训练数据通常由语义对齐的三元组组成（草图、参考图、真值图均源自同一张图），即 $P_{train}(I_r, I_s, I_{gt})$。然而，在推理阶段，草图与参考图往往是任意配对的，甚至完全不相关，即 $P_{test}(I'_r, I'_s)$。
• 空间纠缠 (Spatial Entanglement)： 由于上述分布差异，模型在训练过程中错误地学习了参考图（$I_r$）与输出空间结构（$X_{spatial}$）之间的虚假相关性。这导致模型在推理时，会将参考图的空间语义（如物体位置、形状）强行迁移到草图着色结果中，造成结构矛盾（如背景物体错位、颜色溢出、身体部位扭曲）。
• 现有方法的局限： 之前的研究（如使用分割交叉注意力机制）主要试图缓解由此产生的视觉伪影，但未能从根本上解决分布偏移问题，导致在高分辨率下效果急剧下降，且难以实现精细的属性控制。

2. 方法论 (Methodology)

作者提出了一种名为 ColorizeDiffusionXL 的框架，核心在于显式建模分布偏移并强制解耦空间与风格语义。

2.1 双分支特征对齐架构 (Dual-Branch Feature Alignment, DBFA)

为了显式地模拟训练与推理之间的分布差异，作者设计了一个权重共享的双分支架构：

1. 语义对齐分支 (Semantic-Aligned Branch)： 模拟训练过程，输入为源自同一真值图的草图和参考图。
2. 语义未对齐分支 (Semantic-Misaligned Branch)： 模拟推理过程，输入为随机采样的、可能不匹配的草图和参考图对。

2.2 格拉姆正则化损失 (Gram Regularization Loss)

这是解决空间纠缠的核心创新点。

• 原理： 利用 Gram 矩阵（特征图 $x$ 与其转置的乘积 $xx^\top$）来捕捉特征图内部不同 patch 之间的空间相关性。
• 机制： 在两个分支的特征图上计算损失，强制“未对齐分支”的 Gram 矩阵与“对齐分支”的 Gram 矩阵保持一致。
• 效果： 由于两个分支共享相同的草图输入，强制特征一致性意味着模型必须忽略参考图对空间结构的影响，仅从草图中提取几何和分割信息。这有效地打破了参考图对空间结构的虚假依赖，实现了几何与风格的解耦。
• 训练策略： 该损失仅在训练的前 33% 步骤后激活（$\lambda$ 从 0 线性增加到 1），以避免早期训练的不稳定。

2.3 基于 WD-Tagger 的精细属性控制

• 骨干网络： 采用 Stable Diffusion XL (SDXL) 作为基础扩散模型，利用其高分辨率生成能力。
• 编码器替换： 将 SDXL 原有的通用 CLIP-L 文本编码器替换为 WD-Tagger（基于 Swin Transformer v2，在大规模动漫数据集上预训练的多标签分类网络）。
• 优势： WD-Tagger 能提取更细粒度的动漫属性（如发色、服装类型、背景主题），提供比通用 CLIP 更精准的语义控制信号，减少风格偏差。同时保留 OpenCLIP-bigG 图像编码器以提供广泛的视觉嵌入，形成双重控制信号。

2.4 插件模块 (Plugin Module)

• 目的： 解决参考图缺乏明确背景内容时，背景生成随机或纹理不一致的问题。
• 实现： 引入一个独立的编码器插件，专门学习非草图区域（如背景）的特征级表示。
• 流程： 在推理阶段（$t=0$），该插件将低层视觉特征注入到扩散过程中，增强背景纹理和全局风格的一致性。

3. 主要贡献 (Key Contributions)

1. 显式建模分布偏移： 提出了双分支架构（DBFA），分别模拟训练和推理过程，从根本上解决了参考图着色中的分布偏移问题。
2. Gram 正则化损失： 提出了一种新颖的损失函数，通过约束特征图的空间相关性，强制模型将空间结构信息仅依赖于草图，从而彻底消除“空间纠缠”伪影。
3. 高分辨率与精细控制： 结合 SDXL 骨干、动漫专用 WD-Tagger 和插件模块，实现了 1024px 至 1280px 的高分辨率着色，并在颜色、纹理和属性控制上达到 SOTA 水平。
4. 全面的实验验证： 通过定量指标、定性对比和用户研究，证明了该方法在解决分布偏移和提升生成质量方面的优越性。

4. 实验结果 (Results)

4.1 定性对比 (Qualitative)

• 高分辨率表现： 在 1024x1024 分辨率下，该方法生成的图像纹理丰富、色彩和谐，且无结构伪影。相比之下，MangaNinja 等现有方法在高分辨率下会出现模糊或背景混乱。
• 解耦能力： 能够正确处理跨域输入（如人物草图 + 风景参考图），参考图仅影响风格/颜色，不破坏人物结构。
• 属性控制： 能够精确控制特定元素（如帽子颜色、背景彩虹），而不会发生颜色溢出或结构错位。

4.2 定量对比 (Quantitative)

在 50k 测试集上的评估指标（FID, MS-SSIM, PSNR, CLIP Score）显示：

• FID (Fréchet Inception Distance): 8.28 (优于次优的 Yan et al. [42] 的 12.09)，表明生成分布与真实分布更接近。
• MS-SSIM & CLIP Score: 均显著优于其他基线方法，证明了结构相似性和语义对齐的高保真度。
• PSNR: 排名第二（28.83），略低于 MangaNinja，但这是因为 MangaNinja 分辨率低且无法生成复杂背景，导致其“平均化”特征在 PSNR 计算中占优，而本文方法在感知质量上更优。

4.3 用户研究 (User Study)

• 在涉及 30 名参与者的研究中，该方法在 6 组对比中均获得了最高的偏好率（平均约 68.8% - 79.6%），显著优于所有基线方法（Chi-Squared Test, p < 0.01）。

4.4 消融实验 (Ablation Study)

• WD-Tagger： 证明了其相比 CLIP 能提供更准确的属性嵌入，改善眼睛等细节的着色。
• Gram Loss： 可视化注意力图和 Gram 矩阵显示，该损失有效消除了空间纠缠，防止了语义偏移。
• Plugin Module： 显著提升了背景纹理细节和风格一致性。

5. 意义与影响 (Significance)

• 理论突破： 首次将“分布偏移”作为核心问题显式建模，并通过双分支架构和 Gram 损失从特征层面解决了参考图着色中的“空间纠缠”难题，为类似的条件生成任务提供了新的解决思路。
• 工业应用价值： 该方法支持高分辨率（1024px+）生成，且具备精细的属性控制能力，能够直接应用于动画制作、游戏资产生成和数字插画辅助，大幅降低人工重绘成本。
• 开源贡献： 代码已开源，推动了社区在高分辨率、可控性图像生成领域的发展。

总结： 该论文通过引入双分支架构和 Gram 正则化损失，成功解决了基于参考图的草图着色中因训练/推理分布不一致导致的空间纠缠问题，实现了高分辨率、高保真度且属性可控的着色效果，代表了该领域的最新技术水平（SOTA）。