💻 computer science

CDST: Color Disentangled Style Transfer for Universal Style Reference Customization

本文介绍了 CDST，一种新颖的双流训练范式，它将颜色与风格解耦，以实现无需微调、通用且具有最先进性能的风格迁移，同时保留内容特征。

原作者： Shiwen Zhang, Zhuowei Chen, Lang Chen, Yanze Wu

发布于 2026-07-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Shiwen Zhang, Zhuowei Chen, Lang Chen, Yanze Wu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个神奇的艺术工作室，你可以拍一张你的猫（即内容/Content）的照片，然后瞬间让它看起来像是出自梵高的手笔（即风格/Style）。

长期以来，这个魔法一直有一个漏洞。当你要求工作室以“梵高风格”来绘制你的猫时，它不仅仅是复制了笔触和旋涡，它还偷走了参考画作中的颜色。如果那幅梵高的画作充满了明亮的黄色和蓝色，你的猫就会变成黄色和蓝色，从而失去了原本橙色的毛发。这被称为“色彩入侵”（color invasion），它破坏了你猫咪原本特有的外观。

这篇论文介绍了一个名为 CDST（色彩解耦风格迁移/Color Disentangled Style Transfer）的新系统，它修复了这个漏洞。以下是它的工作原理，使用简单的类比来解释：

1. 双流厨房（核心理念）

想象一个有两个厨师在处理同一道菜的厨房：

厨师 A（风格厨师）： 这位厨师戴着眼罩。他们只能看到食材的形状、面团的纹理以及装饰颗粒的图案。他们被喂食的是一张黑白的梵高画作照片。他们学习如何复制“旋涡”和“笔触”，但在物理上无法看到或复制黄色和蓝色。
厨师 B（色彩厨师）： 这位厨师对图案是色盲的。他们只观察参考图像的颜色直方图（一种颜色的统计图表）。他们不在乎旋涡或形状；他们只知道：“这道菜需要 40% 的橙色和 60% 的蓝色。”

通过将这两位厨师分开，CDST 确保了“风格”（笔触）永远不会意外地偷走错误的“颜色”。

2. “免微调”的魔术技巧

通常，为了获得特定艺术家的风格，你必须花费数小时在特定艺术家身上进行“训练”（就像教学生一整个学期一样）。这既缓慢又昂贵。

CDST 是**免微调（Tuning-Free）**的。把它想象成一位已经掌握了艺术“语法”的大师级厨师。你不需要每次都为新风格重新教学。你只需递给他们一张参考照片，他们就能立即知道如何将这种风格应用到你的照片中，而无需额外的训练。这就像是一个万能遥控器，可以立即操作所有的电视频道。

3. 解决“特征”问题

论文强调了一个特定的、困难的任务：特征保留风格迁移（Characteristics-Preserved Style Transfer）。

目标： 拍摄一个人的照片，应用“梵高风格”，但要让那个人看起来依然是他自己（相同的肤色、相同的光影、相同的特征），而不是变成梵高的画作。
旧方法： 以前的方法会将人的脸变成一团黄色的油彩旋涡，破坏其身份特征。
CDST 的做法： 因为风格厨师戴着眼罩（只能看到黑白），他们只会应用绘画的纹理。色彩厨师（或论文中提到的特殊“内容先验”技术）确保了人的原始肤色和光影保持不变。这就像是在照片上覆盖了一层梵高的滤镜，却不会改变人脸本身的样貌。

4. “全局色彩校准”（最后的润色）

即使有了两位厨师，颜色也可能会略有偏差，因为“色彩厨师”使用的是简化的图表（直方图）。
为了修复这个问题，CDST 使用了一个名为**全局色彩校准（Global Color Calibration）**的最后步骤。想象一位照片编辑师，他将最终的绘画作品与原始的颜色参考图并排放在一起观察。他会轻轻调整绘画的颜色，直到其“平均”颜色与参考图完美匹配。这就像是调频收音机以获得最清晰的信号。

CDST 的功能总结

根据论文，这一个模型可以处理三个主要任务，而无需重新训练：

风格 + 提示词（Prompt）： “以这张参考图的风格绘制一座高山湖泊。”
风格 + 内容： “把这张猫的照片变成梵高的画，但保留猫原本的颜色。”
风格 + 颜色 + 内容： “拿这张猫的照片，用梵高的笔触来画，但使用日落照片的颜色。”

为什么这很重要

论文声称，这是第一个成功解决了在应用复杂艺术风格的同时，还能保留图像原始特征（如人的脸部或猫的毛色）的“免微调”模型。它通过在训练过程中严格分离“外观”（风格）与“色调”（颜色），利用黑白输入和颜色图表的巧妙结合来实现这一点。

简而言之：CDST 是一个通用的艺术工具，它让你能够改变图像的“纹理”，而不会意外改变其“灵魂”（原始的颜色和特征）。

技术摘要：用于通用免微调风格迁移的颜色-风格解耦双流网络

问题陈述

风格迁移虽然是一个经典的计算机视觉问题，但其定义仍然模糊，涉及笔触、纹理、材质、颜色、光照和结构等属性的复杂迁移。现有解决方案面临三个主要局限性：

风格相似度不足： 当前模型往往无法准确重建特定的风格属性，如笔触或材质。
编辑能力有限： 擅长风格重建的模型往往难以遵循文本提示词或进行内容编辑。
颜色入侵： 在同时涉及内容和风格参考的情景下，模型经常会将风格参考的颜色过度迁移到内容中，从而改变了内容固有的特征。

此外，测试时微调方法（如 StyleDrop）计算成本高昂，对于需要定制化风格参考的实际应用场景并不实用。虽然存在免微调模型，但它们尚未解决特征保持风格迁移（characteristics-preserved style transfer）的挑战——即在迁移风格属性的同时，严格保留内容图像的颜色分布和特征。

方法论

作者提出了 CDST（颜色解耦风格迁移），这是一种全新的双流训练范式，旨在完全隔离颜色与其他风格属性。该框架运行在一个单一训练模型上，能够针对各种风格迁移任务进行零样本推理。

1. 训练范式：双流解耦

CDST 将风格迁移公式化为一个基于双流架构的条件参考图像构建任务：

风格流（Style Stream）： 为了防止颜色污染，风格参考图像被转换为灰度图。使用 DinoV2 提取特征，并采用多特征嵌入压缩策略。这包括：
- 从最后一个 Block 提取深层网格特征和 CLS token。
- 通过 Style Transformer 将网格嵌入压缩为 4 个 token。
- 从 Block 5、11 和 17 提取浅层表示以捕捉低层线索，并通过 MLP 进行处理并进行平均池化。
- 将这些 7 个 token 拼接形成风格嵌入（ $e_s$ ）。
颜色流（Color Stream）： 颜色通过量化颜色直方图独立表示。直方图通过 Rayleigh 包进行提取（将 HSV 空间转换为 LAB 空间并量化欧几里得距离），生成一个 180 维向量。该向量通过 MLP 膨胀为 4 个 token，形成颜色嵌入（ $e_c$ ）。

这两个流通过可学习的线性矩阵（ $W^K, W^V$ ）和交叉注意力机制注入到 Denoising UNet 中。训练目标是使用标准 MSE 损失来重建参考图像。

2. 推理：UNet 解耦与全局校准

在推理过程中，CDST 采用特定策略来平衡风格保真度和编辑能力：

新风格定义（遗忘机制）： 与训练时风格 token 映射到 SDXL UNet 所有 70 个交叉注意力 Block 不同，推理时将风格 token 仅映射到特定范围：cross_attention_list[0:14]（编码器）和 cross_attention_list[44:70]（解码器）。
- 权重设置在编码器为 $\lambda_s = 0.2$ （保留空间/结构）和解码器为 $\lambda_s = 0.9$ （保留外观/纹理）。
- 这种“遗忘机制”防止了过拟合和内容入侵，显著增强了编辑能力。
全局颜色校准： 为了修正量化颜色直方图产生的微小近似误差，后处理步骤将生成的图像和颜色参考图转换到 YUV 空间。它执行统计对齐（匹配均值和方差），并使用超参数 $\alpha$ （默认为 0.8）将结果融合回 RGB 空间。

3. CDST 工作流

单个训练好的模型通过调整输入和权重来支持多种工作流：

特征保持风格迁移： 从风格参考中迁移风格（不含颜色），同时保留内容的像素级特征。这是通过注入内容先验潜变量（Content Prior Latent，内容图像的加噪版本）并使用 ControlNet（Canny 边缘检测）来维持空间结构实现的。在此过程中，颜色流被有效绕过或设为零权重，因为内容先验潜变量主导了像素级颜色。
风格 + 颜色 + 内容： 使用 ControlNet 结合风格、颜色和内容参考进行生成。
风格 + 颜色 + 提示词： 基于文本提示词、风格参考和独立的颜色参考生成图像。

核心贡献

CDST 框架： 一种双流训练范式，实现了颜色与风格的完全解耦，实现了通用的免微调风格迁移。它是第一个以免微调方式解决特征保持风格迁移问题的方案。
提升相似度与编辑能力： 通过多特征图像嵌入压缩（DinoV2 浅层+深层嵌入）和基于 UNet 解耦定律的新风格定义，CDST 与之前的开源及商业模型相比，在风格相似度和编辑能力之间取得了更优的权衡。
达到最先进水平（SOTA）性能： 大量的定量指标和人类评估证明了 CDST 在风格相似度、提示词对齐、颜色一致性和特征保持等各项任务中的优越性。

结果与评估

作者使用包含 25 个风格参考和多样化任务的基准测试进行了全面实验。

定量指标： 在“风格/颜色参考 + 提示词”任务中，CDST 在提示词对齐（CLIP Score: 0.291）、风格相似度（CSD Score: 0.587）和颜色距离（0.116）方面均取得了最佳得分，优于 InstantStyle、CSGO 和 Adobe Firefly。其美学得分仅次于 Midjourney v6.1。
人类评估：
- 风格 + 内容： 在风格相似度（78.0%）、颜色一致性（81.6%）和整体偏好（84.4%）方面，CDST 战胜了最先进的 CSGO 模型。
- 特征保持迁移： 与 GPT-4O 相比，CDST 在风格相似度（63.2%）和颜色一致性（94.8%）方面表现更高，尽管 GPT-4O 在特征一致性和美学方面表现更好。整体用户偏好几乎持平（CDST 占 52.8%）。
消融实验：
- 嵌入： DinoV2 浅层+深层嵌入的表现明显优于 CLIP 嵌入和仅深层嵌入。
- 风格定义： 将风格 token 映射到特定 UNet Block（编码器+解码器）并结合遗忘机制，比使用所有 Block 或仅使用解码器效果更好。
- 解耦： 使用灰度风格参考至关重要；使用彩色参考会导致在风格和颜色参考不同时产生混淆和颜色失真。

意义与主张

论文声称，CDST 通过解决困扰以往免微调模型的“颜色入侵”问题，代表了一项重大进展。通过专用流隔离颜色并强制执行无色风格流，CDST 实现了特征保持风格迁移，而此前这一任务在没有微调的情况下是不稳定或无法实现的。

作者强调，CDST 是一个通用、免微调的模型。尽管是在特定设置下训练的，但它可以利用单个模型处理多种场景（风格+提示词、风格+内容、特征保持）。论文指出，虽然该模型是在 2025 年训练的，但在 2026 年依然具有实用价值，已被用于后续 TeleStyle 模型的训练数据合成，证明了其在基础模型向 DiT 架构演进过程中的鲁棒性。