Beyond Text Prompts: Visual-to-Visual Generation as A Unified Paradigm

以下是论文《超越文本提示：视觉到视觉生成作为统一范式》的通俗解读，辅以生动的类比。

核心理念：停止描述，开始展示

想象你是一位建筑师，正试图告诉建筑工人要建造什么。

• 旧方法（文生图）： 你写一封冗长详尽的信来描述这所房子。你说：“它应该是蓝色的，左边有三个窗户，一扇红色的门，还有一个猫形状的烟囱。”建筑工人（AI）必须读懂你的文字，猜测“蓝色”是什么样，想象“猫形状的烟囱”，并希望能正确布局。通常他们会出错，因为文字是模糊的。
• 新方法（视觉到视觉 / V2V）： 与其写信，不如递给建筑工人一份蓝图。这份蓝图不是要复制的成品房屋照片，而是一份规格说明书。它包含一块蓝色油漆色卡、一个猫形烟囱的草图、一张精确显示窗户位置的图表，以及一张红色门的照片。建筑工人看着这张图纸，就能完全按照图示进行建造。

这篇论文介绍了V2V-Zero，一种允许你向 AI 生成器提供这些“蓝图”（视觉页面）而非文本提示的方法。

工作原理：“魔法翻译器”

研究人员并没有从头构建一个新的 AI。相反，他们利用现有技术找到了一个巧妙的捷径。

1. 两步流程：
   • 想象你有一位翻译官（视觉 - 语言模型，即 VLM），他非常擅长看图并理解其含义。
   • 想象你有一位建筑工（扩散模型），他非常擅长生成图像，但通常只听从翻译官的“口头”指令。
   • 诀窍： 研究人员发现，翻译官已经能够将图片转化为建筑工能理解的秘密“代码”（隐藏状态）。通常，翻译官只将文本转化为这种代码。
   • 创新点： 他们只是告诉翻译官：“嘿，看这张视觉蓝图页面，而不是文本提示。把你从图片中生成的代码给建筑工。”
   • 结果： 建筑工接收到蓝图的“代码”，并基于视觉指令生成图像，而无需重新训练。这就像更换了建筑工所听的语言，却无需改变他的耳朵。

“零样本”超能力

论文称此为**“零样本”和“免训练”**。
这就好比给厨师一张新的食谱卡。通常，要教会厨师一种新风格，你得送他去烹饪学校（训练）。在这里，研究人员只是递给厨师一张带有图片而非文字的新卡片。厨师已经知道如何阅读食材（视觉代码）；他们只需要以不同的格式看到这些食材。厨师不需要去上学；他们只需要一份新菜单。

他们测试了什么（“简易 V2V 基准”）

为了验证这是否有效，他们创建了一个名为**简易 V2V 基准（Simple-V2V Bench）**的测试。这就像给 AI 的驾驶考试，只不过 AI 不需要开车，而是要遵循视觉指令。

他们测试了七种类型的“蓝图”：

1. 内联颜色： 指令中有一个微小的蓝色方块。
2. 视觉参考： 一张要复制的特定狗的照片。
3. 视觉文本： 用特定字体书写的单词，需进行复现。
4. 计数： 一张显示恰好 3 个苹果的图片。
5. 风格： 一幅要模仿其风格的画作。
6. 姿态： 一个人物姿态的骨架图。
7. 草图： 一张要转化为真实图像的粗略素描。

结果：“三层”现实

结果混合了“哇！”和“还差得远”。他们发现了一个清晰的难度层级：

1. 简单部分（强）： AI 在绑定属性方面表现非常出色。如果你展示一个蓝色方块，它就会生成一个蓝色物体。如果你展示一张特定的狗的照片，它就会生成那只狗。它也能很好地复制文本风格。
   • 类比： 建筑工非常擅长将墙壁粉刷成你色卡上完全一致的颜色。
2. 困难部分（不可靠）： 当要求基于复杂的视觉线索生成特定内容时，它显得力不从心。
   • 类比： 建筑工有时会粉刷错误数量的窗户，或者把门安在屋顶上。
3. 最难部分（困难）： 结构控制（如遵循姿态素描或布局图）是最薄弱的环节。即使是最好的商业系统（如 GPT Image 2）也难以完美遵循火柴人素描。
   • 类比： 即使颜色正确，建筑工也常常忽略平面图，把房子倒着建。

视频扩展

他们还将此方法应用于视频生成器（HunyuanVideo）。他们递给它一张视觉蓝图并要求生成视频。虽然奏效了，但结果比图像生成的效果更差。

• 类比： 要求建筑工根据蓝图建造一座移动的房子，比建造静态房子更难。建筑工搞对了颜色，却搞砸了动作。

“秘密配方”的发现

研究人员深入探究了为什么它能起作用。他们发现，AI 实际上并没有在脑海中“思考”图片并将其转化为句子。

• 发现： 95% 的情况下，AI 是直接查看来自蓝图的视觉代码。它并不是忽略图片先写描述，而是直接读取图片的“基因”。
• 类比： 这就像建筑工不是在阅读描述房子的信件，而是在查看蓝图的布线图并直接顺着线路操作。

总结

这篇论文提出了一种与 AI 交流的新方式：展示，而非讲述。

• 它是什么： 一种使用视觉页面（包含颜色、素描和照片的蓝图）作为指令而非文本的方法。
• 它如何工作： 它以巧妙的方式利用现有的 AI 工具，用视觉输入替换文本输入，而无需重新训练模型。
• 它能做什么： 它在复制颜色、风格和特定物体方面表现出色。
• 它目前还做不到什么： 它仍然难以处理复杂的布局、精确的计数以及遵循详细的姿态素描。

论文得出结论，虽然我们目前处于“文本优先”的世界，但技术已经准备好理解“视觉优先”的指令，为未来开启了一扇门，在那里我们将用图片而非段落进行设计。