Multimodal Image Colorization: Quantifying the Impact of Text-Conditioned Guidance on Grayscale-to-Color Translation
本文通过证明将 CLIP 指导集成到 U-Net 和 Stable Diffusion 1.5 架构中，相比于没有文本输入的模型，能一致地提高像素级准确度、感知相似度和色彩度，从而量化了文本调节对灰度图转彩色图像的影响。
原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你有一叠旧的黑白全家福照片。你想让它们焕发色彩，但你不记得祖父的车是红色的还是蓝色的，也不记得天空是阴沉的灰色还是晴朗的蓝色。这就是计算机科学家在面对**图像着色（image colorization）**时面临的问题：一张黑白图像可能有许多种不同且同样合理的着色方式。这就像仅仅通过看包装纸来猜测一种神秘糖果的味道一样。
这篇论文提出了一个简单的问题：给计算机一个书面描述（即“文本提示”）是否能帮助它更好地猜中正确的颜色？
为了找出答案，研究人员设计了一个受控实验，就像进行科学品鉴测试一样，对比了两种不同类型的“着色大厨”（AI 模型）：
- “白手起家”的大厨 (U-Net)： 一个从零开始构建的小型模型。它必须仅通过观察照片，从头开始学习关于颜色的所有知识。
- “专家级”的大厨 (Stable Diffusion)： 一个庞大的、经过预训练的模型，它已经“见过”数十亿张图像，非常了解事物通常是什么样子的。
对于每位大厨，他们都创建了两个版本：
- “沉默版”： 大厨看着黑白照片，尝试独自猜出颜色。
- “耳语版”： 大厨看着照片，同时阅读一段简短的场景描述（例如“一辆红色的车”或“一片蓝色的天空”）。
结果：耳语是否有帮助？
研究人员使用了四个不同的“评分卡”来衡量结果，以观察 AI 的着色效果与原始彩色照片的接近程度。
1. “白手起家”的大厨 (U-Net) 获得了巨大的提升。
当这个较小的模型得到文本指令时，它的表现有了显著的进步：
- 准确度： 在匹配精确像素颜色方面提升了约 5.6%。
- 结构： 在保持形状和线条正确性方面提升了 1.2%。
- 鲜艳度： 这是最大的飞跃！颜色变得更加 鲜艳生动，提升了 36.6%。
- 感知度： 人眼感知到的结果更加 真实，提升了 7.6%。
类比： 想象一个从未学习过艺术的学生。如果你只是递给他一张黑白素描，他可能会随机把一棵树涂成棕色或绿色。但如果你在他耳边低语：“这是一棵松树”，他突然就知道该用哪种绿色了。文本为他提供了原本缺失的知识。
2. “专家级”的大厨 (Stable Diffusion) 也得到了提升，但方式不同。
由于这个模型已经掌握了大量的色彩知识，文本指令对它的帮助更为微妙：
- 准确度： 提升了 5.8%（与小型模型相似）。
- 结构： 提升了 1.5%。
- 感知度： 对人眼而言更加 真实，提升了 11.3%。
- 鲜艳度： 颜色仅提升了 0.6%。
类比： 这位大厨就像一位专业的画家，他已经知道汽车通常是红色或蓝色的。如果他在耳边低语“红色的车”，他不需要重新学习什么是红色；他只需要被提醒去选择红色而不是蓝色。文本并没有教他新的技能，只是帮助他做出特定的选择。
这为什么重要
这篇论文证明了文本是解决“色彩之谜”的强大工具。
- 它解决了猜谜游戏： 没有文本，AI 往往会选择“安全”、暗淡或平庸的颜色（比如灰色的车），因为其并不确定。有了文本，它就能自信地选择所要求的特定颜色。
- 它适用于所有人： 无论是对于从小规模、从零开始学习的模型，还是对于庞大的、预训练过的专家模型，加入文本指令都能一致地改善结果。
- 它不仅仅关乎规模： 研究人员表明，这种提升专门来自于文本，而不是通过改变模型的规模或结构实现的。
核心结论
把黑白图像想象成一个缺少拼图块的拼图。文本描述就像是一个提示，告诉你在那些缺失的拼图块应该是怎样的。这项研究证实，给计算机这些提示，无论计算机本身有多聪明，都会产生更清晰、更准确且色彩更丰富的图像。
注： 本论文严格侧重于在特定照片集上衡量这些改进。它并不声称这些结果适用于医学成像或其他特定的现实世界用途，也不预测超出本次特定实验范围的未来技术。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。