💻 computer science

Color Conditional Generation with Sliced Wasserstein Guidance

本文介绍了 SW-Guidance，这是一种无需训练的方法，通过利用切片 Wasserstein 距离修改扩散采样过程，以增强条件色彩图像生成，确保生成的图像既能同时匹配参考调色板，又能与文本提示保持语义一致性。

原作者： Alexander Lobashev, Maria Larchenko, Dmitry Guskov

发布于 2026-05-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Alexander Lobashev, Maria Larchenko, Dmitry Guskov

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一位艺术家，试图根据“一只猫坐在地毯上”这样的描述来作画。你拥有非凡的想象力，却在色彩运用上感到棘手。你希望猫呈现出特定的“午夜蓝”色调，地毯则是“焦橙色”，但当你让 AI 助手绘制时，猫最终变成了随机的灰色，地毯则成了浑浊的棕色。

你可能会想：“好吧，我就直接拿 AI 生成的图，在上面覆盖我想要的颜色。”但问题在于：如果你只是强行让颜色匹配，AI 可能会感到困惑。它可能会把猫的毛发变成看起来像水的蓝色纹理，或者让地毯看起来像一片橙色的花田。颜色是对的，但物体的感觉却丢失了。

这正是论文《基于切片 Wasserstein 引导的色彩条件生成》（简称 SW-Guidance）试图解决的问题。

问题：“风格”与“色彩”

当前的 AI 艺术工具非常擅长遵循指令，但在描述特定色彩方面却表现糟糕。如果你说“绿松石色”，AI 可能会给你从浅蓝到绿色的任何颜色。如果你试图通过参考照片（例如一张日落照片）并强制 AI 复制其色彩来解决这个问题，旧方法往往会复制该照片中的所有内容。它们可能会复制日落的云彩、沙子的纹理，或者光线照射在水面上的方式，即使你只想要色彩。

解决方案：一种不会涂抹图像的“色彩滤镜”

作者创造了一种名为 SW-Guidance 的新方法。你可以把它想象成一个非常智能、隐形的滤镜，在 AI 作画时存在于其“大脑”内部。

以下是其工作原理，使用一个简单的类比：

1. “切片”方法（面包类比）
想象你有两条面包。一条是你 AI 当前的画作，另一条是你想要的参考照片（拥有完美的色彩）。

旧方法试图一次性比较整条面包。这很混乱，往往导致 AI 复制了错误的东西（比如面包皮的纹理）。
SW-Guidance 则拿起刀，将两条面包切成薄片。它一次只比较一片切片的色彩分布。它会从许多不同的角度这样做（就像垂直、水平和对角线地切面包）。
通过观察这些“切片”（论文中称为切片 Wasserstein 距离），AI 可以确切地看到色彩是如何分布的，而不会被形状或纹理搞糊涂。这就像检查面包的味道是否匹配，而不是检查面包皮看起来是否一样。

2. “引导”（GPS 类比）
当 AI 逐步绘制图片时（从静态噪声开始，逐渐显现出图像），这种方法就像一个 GPS。

每隔几步，GPS 就会检查：“这幅画的调色板是否正在接近参考照片？”
如果 AI 偏离了轨道（例如，把天空画得太绿），GPS 会轻轻地将画作推回正确的色彩分布方向。
至关重要的是，它只调整色彩。它不会告诉 AI 把猫变成狗，或者把地毯变成森林。它在修正颜料的同时，保持了“猫性”和“地毯性”的完整。

为何这很特别

该论文声称此方法是无需训练的。这意味着你不需要教 AI 一种新语言，也不需要给它展示成千上万张“蓝猫”的例子。你只需给它文本提示和参考照片，数学计算会完成其余工作。

结果：

更好的色彩匹配：最终图像中的色彩比其他方法更接近参考照片。
无 unwanted 复制：不像其他方法可能会意外复制参考照片的“氛围”或纹理（例如复制笔触风格），这种方法只复制色彩。
忠实于提示：图像看起来仍然完全符合你在文本描述中要求的内容（例如，一只在地毯上的猫），而不是参考照片的复制品。

总结

作者构建了一个工具，让你可以说：“给我画一只猫，但使用这张日落照片的精确调色板”，而不会让 AI 意外地把猫变成日落或复制云彩。它通过数学上“切片”色彩信息，并引导 AI 完美匹配这些切片来实现这一点，确保色彩正确而不破坏画面。

以下是论文《基于切片 Wasserstein 引导的彩色条件生成》的详细技术总结。

1. 问题陈述

本文解决了文本到图像扩散模型中彩色条件图像生成的挑战。虽然自然语言提示词可以描述物体和场景，但在指定精确的调色板方面往往不够准确（例如，“绿松石蓝”会产生各种色调）。现有解决方案面临两个主要局限：

后处理颜色迁移：将颜色迁移算法（如 WCT、直方图匹配）应用于扩散模型生成的图像，往往会导致语义不匹配。颜色风格被迁移了，但底层内容可能变得扭曲，或者颜色在语义上与生成的物体不协调。
风格化生成：修改注意力机制或权重的方法（如 IP-Adapter、InstantStyle）来控制风格，往往将颜色与其他风格特征（纹理、笔触、构图）纠缠在一起。这使得在不从参考图像迁移不想要的高级特征的情况下独立控制颜色变得困难。

目标是生成一张严格遵循参考调色板的图像，同时保持由文本提示词规定的语义内容，并避免迁移非颜色的风格元素。

2. 方法论：SW-Guidance

作者提出了SW-Guidance，这是一种无需训练的方法，通过修改扩散模型的采样过程来实现。它不微调权重或使用注意力适配器，而是基于切片 1-Wasserstein (SW1) 距离的可微损失函数来引导去噪轨迹。

核心机制

该方法在反向扩散过程中运行（具体使用 DDIM 调度器）。在每个时间步 $t$ ，算法执行一个优化步骤，将潜在表示移向参考颜色分布。

潜在预测：给定一个带噪潜在变量 $x_t$ ，模型预测一个干净潜在变量 $\hat{x}_0$ 。这被解码为图像 $\hat{y}_0$ 。
颜色分布提取：在 RGB 空间中提取生成图像 ( $\pi_{\hat{y}_0}$ ) 和参考图像 ( $\pi_{ref}$ ) 的颜色分布。
切片 Wasserstein 损失：算法计算这两个分布之间的切片 1-Wasserstein 距离。
- 为什么是切片？ 标准 Wasserstein 距离在高维下计算昂贵且不可微。切片 Wasserstein 将问题简化为 1D 投影，在此维度下距离易于计算且可微。
- 为什么是 1-Wasserstein？ 作者利用了一个理论命题（命题 1），指出对于 1D 分布，1-Wasserstein 距离可以计算为累积分布函数 (CDF) 之间的 $L_1$ 距离，从而避免了计算逆 CDF（分位数函数）的需求。
- 可微性：CDF 通过排序像素值来近似，这是一个可微操作，允许梯度流回潜在空间。
基于梯度的引导：一个辅助控制向量 $u$ 被添加到潜在变量 $x_t$ 中。算法在 $M$ 个内部步骤上优化 $u$ 以最小化 SW 距离：
$\min_u \text{SW}_1(\pi_{\hat{y}_0(x_t+u)}, \pi_{ref})$
采样更新：将优化后的偏移量 $u^*$ 应用于潜在变量，然后标准的去噪步骤（带有无分类器引导）继续进行到 $t-1$ 。

理论依据

论文提供了理论证明（引理 2），表明最小化切片 Wasserstein 距离可确保生成的颜色分布弱收敛到参考分布，包括所有矩（均值、方差等）的收敛。

3. 主要贡献

新颖的条件机制：首次将可微的切片 Wasserstein 距离整合到扩散模型的条件控制中，用于颜色控制。
解耦颜色与风格：该方法成功仅迁移颜色调色板，避免了迁移参考图像中的纹理、笔触或构图（这与基于注意力的风格化方法不同）。
无需训练：该方法不需要微调扩散模型的权重，使其适用于任何预训练的潜在扩散模型（如 SD1.5、SDXL）。
理论基础：提供了优化过程收敛性质的证明，以及通过 CDF 差异使用 1-Wasserstein 距离的效率证明。

4. 实验结果

该方法在 SD1.5 和 SDXL 上进行了评估，使用了 ContraStyles 数据集（1000 个提示词）和 Unsplash Lite（1000 张参考图像）。

定量指标

颜色相似度：通过生成图像与参考图像颜色分布之间的 2-Wasserstein 距离 来衡量。
- 结果：与所有基线相比，SW-Guidance 实现了最低的距离 (0.0297)，包括先进的颜色迁移算法（如 PhotoWCT2: 0.1028）和风格化方法（如 InstantStyle: 0.1758）。
内容保真度：通过 CLIP-T（文本提示与图像之间的相似度）来衡量。
- 结果：在风格化生成方法中，SW-Guidance 实现了最高的 CLIP-T 分数 (0.270)，表明它比那些将风格与内容纠缠在一起的方法更好地遵循了文本提示。
图像质量：通过 CLIP-IQA 来衡量。
- 结果：SW-Guidance 保持了高质量 (0.285)，仅次于无条件生成，显著优于许多风格迁移基线。

定性分析

视觉比较：视觉示例显示，虽然 InstantStyle 等方法在迁移颜色的同时也迁移了“氛围”（如笔触、照片级真实感），但 SW-Guidance 严格遵循调色板，同时保留了生成图像的原始构图和纹理。
兼容性：该方法与 ControlNets（如 Canny、Depth）兼容，允许在颜色条件控制的同时进行布局控制。

5. 意义与局限性

意义：

精确控制：它解决了 AI 艺术中的“颜色命名”问题，允许用户通过参考图像而非模糊的文本描述来定义调色板。
模块化：它在内容生成（文本提示）、布局（ControlNet）和颜色（SW-Guidance）之间提供了清晰的分离，这在当前的单体风格迁移模型中很难实现。
效率：与基于训练的方法或复杂的后处理流程相比，它增加了极少的计算开销（在 RTX 4090 上，SD1.5 大约需要 30 秒）。

局限性：

文本 - 颜色冲突：如果文本提示词明确描述了与参考调色板相矛盾的颜色（例如，提示词说“红苹果”但参考图是蓝色的），可能会出现视觉伪影。
微分要求：当前的实现需要对 U-Net 进行微分，与非微分的后处理相比，这在计算上更为密集。
与风格化的交互：将 SW-Guidance 与其他强风格化方法（如 InstantStyle）结合可能会导致冲突，因为两者都试图修改生成过程。

总之，SW-Guidance 代表了可控图像生成的重大进步，提供了一种数学基础扎实、无需训练的解决方案，用于实现精确的颜色迁移，同时保持语义完整性和图像质量。