Grounding Free-Form Instructions for Fashion Complementary Image Generation
本文引入了一种新的多模态对齐任务，用于通过自由形式的自然语言指令进行时尚互补图像生成，并辅以丰富的基准测试和所提出的 StyleFlow 模型，该模型能够有效生成风格一致的服装，同时与现有方法相比降低了架构复杂度。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在时尚界，挑战始终不仅仅是寻找一件好看的单品，而是如何组建一套让每一件单品都和谐统一的完整造型。几十年来，计算机科学家一直试图教会机器理解这种风格感，这项任务被称为互补图像生成（complementary image generation）。其理论目标非常简单：给计算机看一件衬衫，让它发明一条与之完美匹配的裤子。早期的尝试依赖于僵化的规则或简单的模板，要求机器生成“一张牛仔裤的照片”，缺乏足够的细微差别。然而，现实中的人们并不会使用僵化的模板进行表达。当购物者搜索一套搭配时，他们可能会要求“带有弹性腰带的宽松版型健身运动裤”，或者仅仅是“牛仔裤”，这取决于他们那一刻愿景的具体程度。这种人类表达欲望的方式与机器受训方式之间存在的差距，使得数字时尚助手难以捕捉到请求背后的真实意图。
来自意大利和奥地利的科研团队现在通过教导一种新系统理解自由形式的指令，填补了这一鸿沟。研究人员并没有强迫用户将自己的愿望塞进预设的框框里，而是创建了一种方法，使计算机可以接收一件服装的种子图像（seed image）和一句自然语言句子——无论多么详细或模糊——并生成与之匹配的单品。他们通过为三个现有的时尚数据集增加数千条新指令来测试这一方法，这些指令涵盖了从“健身短裤”这类极简线索到指定面料、颜色和剪裁的高度详细描述。其结果是一个名为 StyleFlow 的系统，它不仅是在猜测匹配项可能看起来像什么，而是真正倾听用于描述它的具体词汇。在实验中，研究人员发现，提供的语言越具体，计算机就越能更好地使其创作内容与用户的愿景保持一致，从而生成的服装不仅在风格上与原单品兼容，而且忠实于书面描述。
研究人员首先解决了以往工作中的一个根本局限性：大多数系统是使用固定模板（例如“一张[类别]的照片”）进行训练和测试的。这种方法未能反映真实的购物行为，因为查询的细节差异极大。为了解决这个问题，该团队开发了一个两步流程来生成用于测试的现实、自由形式的指令。首先，他们使用视觉语言模型来分析服装图像，并编写描述属性（如颜色、材质和剪裁）的结构化说明。然后，他们要求同一个模型将这些说明改写成三种不同详细程度的自然语言句子。第一层仅提供基本类别；第二层增加了颜色和通用风格；第三层则包含了关于剪裁和面料的具体细节。随后，人工标注员对这数千条生成的指令进行了审查，以确保其清晰、流畅且准确地描述了视觉内容。这创造了一个受控环境，使研究人员能够测试计算机处理从模糊提示到精确订单时的表现。
为了测试这些指令，研究人员构建了 StyleFlow，这是一种基于称为“修正流匹配”（Rectified Flow Matching）技术的新型生成模型。与以往通常需要复杂、独立模块来处理图像和文本的系统不同，StyleFlow 将两种输入整合到一个统一的结构中。它接收种子服装的图像和文本指令，并将两者共同处理以生成新的图像。研究人员在包含数万对兼容上下装的数据集上训练了这个模型，确保测试时使用的单品在训练期间从未出现过。这种设置迫使系统学习风格和兼容性的底层原理，而不是仅仅记忆特定的配对。当系统生成一件新服装时，评估标准不仅在于图像看起来有多真实，还在于它与文本指令的匹配程度，以及它与实际服装目录中物品的相似度。
结果显示出一个清晰且一致的模式：语言的特异性直接影响结果的质量。当系统收到高细节指令时，它生成的服装在设计意图和与原始种子单品的契合度方面都显著提升。例如，在其中一个数据集中，从低细节提示转向高细节提示，使系统将生成单品与真实目录产品匹配的能力从约 38% 提高到了接近 69%。该系统在标准图像质量指标上也表现更好，在给定更具描述性的文本时，生成的单品看起来更真实、更不模糊。相比之下，当指令模糊或完全缺失时，系统的表现大幅下降，生成的单品兼容性较差，且难以与随机噪声区分开来。这证实了该系统高度依赖文本来引导其创作过程，而将种子图像主要用于维持风格和谐。
人类评估员通过将新系统与几个成熟模型进行对比，进一步验证了这些发现。在一项盲测中，参与者对生成图像的视觉质量、风格兼容性和真实性进行了评分。新系统表现持续优于竞争对手，生成的单品看起来更真实，且更有可能被误认为是真实的目录照片。参与者判断该系统的作品几乎与真实照片一样具有真实感，其“伪造”检测率仅为 28% 左右，而旧模型的这一比例要高得多。该系统在遵循用户意图方面也表现出色；当被要求加入“带拉链口袋”或“弹性腰带”等特定特征时，它能成功融入这些细节，而其他模型往往会忽略它们或生成请求物品的通用版本。
研究还探讨了当系统被剥夺输入信息时会发生什么。当研究人员移除文本指令时，系统生成相关单品的能力崩溃了，这证明了语言不仅是一个次要的补充，更是生成过程的核心驱动力。同样，当种子图像被替换为空白画布时，系统难以维持风格连贯性，尤其是在文本指令模糊的情况下。这表明，该系统既需要种子单品的视觉语境，也需要文本的具体引导才能有效运作。研究人员指出，虽然该系统在配合详细指令时效果最佳，但即使在只有极简线索的情况下也能产生合理的方案，这表明它在用户不确定具体想要什么时，对于探索设计构思也具有实用价值。
通过将问题从僵化的模板填充练习重新定义为灵活的语言落地任务，这项工作使时尚生成领域更接近人类与技术交互的真实方式。研究人员展示了机器可以学习解释人类语言的全谱系——从最简短的提示到最详尽的描述——并将其转化为尊重原始风格的视觉现实。虽然目前的系统专注于匹配上下装，但作者认为，这种方法最终可以扩展到处理更复杂的套装组合和现实世界的用户查询。研究结论认为，提升数字时尚助手水平的关键不在于构建更复杂的架构，而在于教它们更仔细地聆听人们描述自己想穿什么的语言。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。