PaletteGAN: Palette-Guided Controllable Colorization for Fashion Sketches
本文提出了 PaletteGAN，一种调色板引导的生成对抗网络（GAN）框架，该框架通过整合保持亮度的增强技术、感知优化的六色调色板构建以及专门的生成器-判别器架构，增强了时尚草图上色过程中的结构保持能力和色彩可控性，并在 Cleaned Maryland 数据集上实现了在视觉真实感和设计一致性方面的卓越性能。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在时尚设计领域，一张草图仅仅是一个骨架。它捕捉了服装的轮廓、袖子的垂坠感或衣领的曲线，但它缺乏色彩所赋予的生命力。几十年来，将这些黑白线条转化为全彩视觉效果的过程，需要人类艺术家缓慢而细致的手工操作，通过无数次的尝试来寻找完美的和谐。如今，计算机正在学习这项工作，但它们面临着一个独特的挑战：与简单的照片不同，时尚草图是一张复杂的地图，包含了褶皱、缝线和装饰线条，在计算机构思色彩的同时，这些线条必须保持完好无损。如果机器把颜色做对了却模糊了线条，那么结果对设计师来说就是毫无价值的。目标是创造一种系统，能够根据设计师特定的色彩选择，以媲美人手的精准度将其应用到草图中，在探索全新视觉可能性的同时，完美保留每一处结构细节。
武汉纺织大学的研究人员开发了一种名为 PaletteGAN 的新工具来解决这个难题。该系统并非让计算机去猜测哪些颜色看起来好看，而是要求设计师先提供一组特定的六种颜色。可以将这组颜色想象成一个小巧且经过精心挑选的颜料盒。随后，计算机获取时尚草图和这个特定的颜料盒，并以此为基础为服装“上色”，确保最终生成的图像既具有真实感，又能确保颜色精确地停留在设计师预设的位置。研究团队发现，通过将一种特定的草图绘线方式与一种智能的六色选取方法相结合，他们生成的图像比以往的尝试更加准确且稳定。
这一过程始于数据本身。研究人员从大量的真实时尚照片中开始。为了教计算机如何处理不同的光照和阴影，他们通过在保持亮度完全不变的前提下微妙地改变颜色，创造了数千个照片变体。他们从每张照片中提取出一张草图，但并非普通的草图。他们测试了四种不同的绘制服装线条的方法。一种方法只是勾勒边缘，另一种则试图保留内部的褶皱和缝线。研究人员发现，最成功的方法是一种混合技术，它既保留了服装强有力的外部轮廓，又保留了展示织物褶皱的细腻、微弱的内部线条。这种特定的草图类型被他们命名为 DC-HED-Contour，它为计算机提供了清晰的遵循地图。
接下来是色彩选择。一种常见的从图像中提取颜色的方法是将相似的色调分组在一起，但这往往会遗漏掉一些微小但重要的细节，比如一颗小纽扣或特定的饰边。团队开发了一种新策略，以确保这六种调色板中的颜色不仅是最常见的，还包含了能赋予服装个性的独特且具有对比度的色调。他们使用了一种数学规则来确保一旦选定了一个主色，下一个选定的颜色在人类感知中必须尽可能地与前一个颜色不同。这保证了最终的调色板既包含主导色，又有足够的变体来捕捉设计的次要和点缀细节。
他们发明的核心是一个神经网络，这是一种旨在从实例中学习的计算机程序。该网络有两个主要部分协同工作。第一部分是生成器（generator），它接收草图和六色调色板，并尝试绘制图像。第二部分是判别器（discriminator），它扮演着严厉评论家的角色。它不仅观察最终图像是否看起来真实，还会检查线条是否与原始草图匹配，以及颜色是否符合提供的调色板。通过不断地将自己的作品与这些严格的规则进行对比，生成器学会了生产出不仅色彩丰富而且结构完美的图像。研究人员将该系统与几种现有的方法进行了对比测试，发现他们的方法产生了最真实的视觉效果。当他们测量生成图像与真实照片的接近程度时，他们的方法得分显著高于竞争对手。
或许最重要的发现不仅在于图像的平均质量，还在于一致性。其他系统有时会产生几张完美的图像，但也有许多图像会出现模糊或奇怪的色块。然而，这个新系统在几乎每一个测试案例中都提供了稳定且高质量的结果。它成功地在应用设计师选定颜色的同时，保留了裙装复杂的褶皱和衣领锐利的线条，而没有出现晕染或渗色现象。虽然该系统并非完美——有时在处理极其复杂的纹理或非常微妙的渐变时会遇到困难——但它代表了一个重大的进步。它证明了通过给计算机一个清晰的结构地图和一个特定且经过精心挑选的色彩集，我们可以在不丢失使草图焕发生机的“人文触感”的前提下，实现时尚设计创作过程的自动化。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。