🤖 machine learning

Draw This First

本文介绍了一种新颖的草图生成方法，该方法通过预测一个二维场来定义绘制序列，从而反转了典型的笔画顺序过程，使得能够根据文本或图像创建遵循特定绘制指令的有序矢量草图。

原作者： Dazhi Zhong, Rowan Bradbury, Grant Davis

发布于 2026-08-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Dazhi Zhong, Rowan Bradbury, Grant Davis

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在观看一位魔术师在画布上绘图。通常，当我们谈论计算机绘图时，我们会认为它们是直接吐出最终图像的艺术家，或者是在进行一种慢动作延时摄影般的逐像素构建。但有一种不同的思考绘图的方式：那就是线条是如何生成的“故事”。是艺术家先画了轮廓，然后是眼睛，最后是帽子？还是先画了帽子，然后是眼睛，最后才完成轮廓？这种“故事”被称为绘图顺序（drawing order）。

长期以来，计算机非常擅长让最终的图像看起来正确，但却非常不擅长理解如何制作它的“故事”。它们不知道哪条线应该先画。这很重要，因为如果你想让计算机协助你绘画，或者你想将一张照片转换回一个机器人可以实际用笔“描摹”的简单素描，你就需要知道这个顺序。这就像是把一个完成的拼图交给某人，与交给他们组装这些拼图的说明书之间的区别。这篇论文存在于计算机视觉和**生成式人工智能（Generative AI）**的世界中，在这些领域，机器试图理解并创造图像。这里的大问题是：我们能否教会计算机不仅是画出“什么”，而且是像人类一样，一步步地学习“如何”去画？

论文的核心思想：用时间来绘画

来自 Krea.ai 和 Wand Technologies 的作者们决定改变计算机生成素描的方式。他们没有尝试预测序列中的下一条线（这就像是一个接一个地猜测句子中的下一个词），而是提出了一个不同的问题：如果我们能绘制一张地图，准确地告诉计算机何时画每一条线，会怎么样呢？

把它想象成一张绘图的“热力图”或“交通灯系统”。想象你有一张白纸。计算机不仅仅是画一只猫；它首先在纸上涂上一层看不见的、彩色的图层。在这个图层上，每个像素的颜色都会告诉计算机这个部分的图像有多“旧”（即处于什么阶段）。

红色像素可能意味着“先画这个部分”。
黄色像素意味着“接下来画这个部分”。
蓝色像素意味着“最后画这个部分”。

这是核心技巧：他们将时间（绘画顺序）转化为了颜色。

他们是如何教计算机的

为了让这一切奏效，团队需要一位老师。他们没有使用互联网上常见的那些杂乱无章的“涂鸦”数据集。相反，他们聘请了 50 位专业艺术家来绘制 47,318 幅高质量的素描。这些艺术家绘制了从鸟类到茶壶的一切内容，而计算机记录了他们做出的每一笔，完全按照他们创作时的顺序。

随后，计算机观察这些绘画并创建了其特殊的“时间即颜色”地图。它获取真实的绘画，并将其转化为一张奇特的、彩色的图像，其中墨水的亮度和色调讲述了绘画的过程。

接着，他们使用了一个强大的 AI 模型（一种“扩散 Transformer”，这是一种通过猜测和自我修正来进行学习的 AI 模型）来学习如何从头开始创建这些彩色的地图。他们教会了 AI 两件事：

文本生成素描（Text-to-Sketch）： 如果你输入“一只猫”，AI 应该生成那张告诉如何画出一只猫的彩色地图。
图像生成素描（Image-to-Sketch）： 如果你给 AI 展示一张猫的照片，它应该能够推导出绘画顺序并生成该地图。

魔术技巧：阅读地图

一旦 AI 生成了这个彩色的“时间地图”，计算机就必须将其转回真实的绘画。这就是他们的特殊解码器发挥作用的地方。它观察颜色，识别哪些像素是红色的（第一步），哪些是黄色的（第二步），依此类推。然后，它通过连接这些点来创建一个平滑且有序的线条画。

最酷的部分是什么？你可以命令 AI 改变这个“故事”。如果你输入“先画尾巴，再画身体”，AI 会听从指令。它不仅仅改变了图片，它还改变了线条出现的顺序，即使最终的画面看起来是一样的。这就像是告诉一个讲故事的人从故事的结尾开始，倒着往前讲，但故事本身依然逻辑通顺。

他们的发现（以及未达到的地方）

结果非常令人印象深刻，但作者们很谨慎地说明了哪些有效，哪些无效。

对指令的执行效果极佳： 当他们要求 AI 按特定顺序绘画（例如“先画头，再画身体，最后画尾巴”）时，AI 几乎完美地遵循了这些指令。线条的顺序比随机猜测更符合他们的指令。
保留了原画的“神韵”： 尽管他们改变了 AI 绘画的方式，但它仍然保留了原始模型的艺术风格和知识。它只需遵循顺序指令，就能画出从未见过的东西。
尚未达到完美： 作者承认，虽然计算机在遵循宏观指令（如“先画头”）方面表现出色，但在处理单个部分内部的微小细节（例如头部内部线条的确切顺序）时，有时会感到困惑。此外，计算机有时会将一条平滑的线拆分成几个较小的片段，因此最终的绘画线条会比原作者预想的要多一些。

为什么这很重要

这篇论文表明，我们可以教会计算机理解绘画的过程，而不只是结果。通过将时间转化为颜色，他们找到了一种巧妙的方法，让 AI 能够遵循关于“如何”创作艺术的指令。这是迈向这样一种未来的重要一步：计算机不再仅仅是模仿人类的艺术，而是理解人类思考艺术的方式——一次一笔，循序渐进。

作者们指出，这种方法可以帮助将照片转换为可编辑的矢量素描，或者帮助机器人学习绘画，但他们并未声称这是一个已经解决的问题。他们展示了通过正确的训练和一点点“色彩编码的时间”，机器可以开始像人类一样，一步一个脚印地进行绘画。

技术摘要：先画这个 (Draw This First)

问题陈述

素描生成领域具有多样性，现有方法通常将绘制顺序视为模型的内在输出（通过自回归或扩散）或一个未被表示的因素。目前的方法往往无法将绘制顺序作为一个自由形式的、受语言调节的变量进行暴露。此外，许多系统依赖于低质量的“涂鸦”（doodle）语料库，且很少有系统能生成严格遵循用户指定笔画序列指令的矢量素描。挑战在于创建一个能够根据文本或图像生成有序矢量笔画的系统，允许用户显式地规定绘制顺序（例如，“先画头部，再画身体”），同时不损害素描的几何保真度。

方法论

作者提出了一种全新的公式，通过反转典型的素描生成过程来解决问题：模型不是按顺序预测笔画，而是预测一个定义了笔画绘制顺序的二维场。该流水线由三个主要部分组成：

1. 数据集与标注

模型是在一个包含 47,318 幅高质量手工艺术家绘画 的委托语料库上训练的，其质量显著高于现有的涂鸦数据集。

层级化标注： 每幅绘画都带有两级边界框层级（区域与主体）。
顺序描述词： 作者合成了顺序描述性的标题，用于指定访问命名区域的序列（例如，“先访问左侧框1，然后是框2，最后重新访问框1右侧”）。
置换策略： 为了教会模型遵循任意顺序，目标笔画顺序在保持区域内自然顺序（从轮廓到细节）的同时进行了置换。标题也随之进行程序化再生，以匹配置换后的顺序，从而创建出受顺序监督的配对。这种做法在训练期间刻意使顺序与几何形状脱钩。

2. “顺序即颜色”中间表示法

为了能够在预训练的图像潜空间内进行训练，作者构建了一个使用 “顺序即颜色”编解码器（order-as-color codec） 的原生图像中间表示：

全局弧度 ( $a$ )： 代表总体的绘制进度，从 0 到 1。
笔画内弧度 ( $u$ )： 代表特定笔画内的进度。
编码方式： 素描被编码为一个 HSV 图像，其中：
- 色调 ( $H$ )： 编码全局弧度 ( $a \cdot 342/360$ )。
- 饱和度 ( $S$ )： 编码前景掩码 ($1$)。
- 明度 ( $V$ )： 编码笔画内弧度 ( $1 - u/2$ )。
  这产生了一个栅格化的“编解码图像”，其中绘制顺序被视觉化地编码为色彩扫掠。

3. 模型架构

系统利用了一个 预训练的潜流匹配 Transformer（基于 Qwen-Image-Edit-2509）和一个自定义解码器：

生成器 (DiT)： 一个通过 LoRA (Rank-64) 进行适配的扩散 Transformer，旨在根据文本或图像条件生成编解码图像的潜表示。
顺序原生解码器： 一个微调后的 VAE 解码器读取生成的潜表示并输出三个目标：
1. 全局弧度场 ( $a'$ )： 预测的顺序场。
2. 前景掩码 ( $m'$ )： 笔画掩码。
3. 实例嵌入 ( $e'$ )： 用于笔画分割的八维嵌入。
矢量化： 解码器输出通过处理而不使用学习到的追踪器。HDBSCAN 对嵌入进行聚类以实现笔画分割。这些簇按平均预测弧度场进行排序。在每个簇内，通过最近邻行走提取像素，随后使用 Ramer-Douglas-Peucker (RDP) 算法对像素进行平滑和简化，从而生成最终的有序矢量折线。

核心贡献

反转公式： 本文引入了一种预测二维顺序场而非笔画序列的方法，使得顺序可以成为一个可控的、受语言调节的变量。
“顺序即颜色”编解码器： 一种新颖的编码方案，将绘制进度映射到 HSV 色彩通道，从而能够利用预训练的图像扩散模型进行顺序素描生成。
高质量数据集： 创建了一个包含 4.7 万幅专业艺术家绘画的数据集，具有层级化边界框标注和合成的顺序标题。
指令遵循： 能够生成遵循顺序指令的素描，其遵循程度取决于指令的粒度（在区域级别表现可靠，但在部件和轮次级别表现下降）。

结果

模型在留出测试集（包括训练集中的测试数据及外部数据集 Creative Birds, Creative Creatures, FS-COCO, QuickDraw）上进行了评估。

顺序准确度：
- 当提供顺序指令时，模型在域内数据上的 Kendall $\tau$ 为 0.449，在域外数据上为 0.373，显著优于仅考虑几何形状的基准模型（0.096）。
- 反转指令成功实现了绘制顺序的反转（Kendall $\tau$ 为 $-0.267$），证明驱动序列的是文本而非图像。
- 遵循程度高度依赖于指令粒度：区域级指令遵循度很高 ( $\tau \approx 0.84$ )，但部件级和轮次级（pass level）的遵循度降至 0.46 和 0.44。
- 控制还受到标题结构的限制；单个末尾约束经常完全丢失（例如，当一个命名的区域被附加到完整标题末尾时，被忽略的概率为 68.5%），且反转与描述中提及顺序冲突的指令会导致遵循度显著下降。
- “解码器天花板”（使用地面真值潜表示）显示潜在的 Kendall $\tau$ 可达 0.91–0.94，这表明瓶颈在于生成模型预测潜表示的能力，而非矢量化过程。
几何保持：
- 顺序干预不会改变几何形状。无论顺序指令如何，笔画匹配率始终保持在高位（0.89–0.95），且掩码 IoU 保持稳定。
- 模型保留了预训练先验的开集绘制能力，在未见的 QuickDraw 类别上实现了 0.70 的 Top-1 CLIP 识别得分。
观察到的局限性：
- 粒度： 随着指令粒度的增加，控制力显著下降。虽然区域级顺序被可靠遵循，但部件级和轮次级的遵循度降至 $\approx 0.45$ ，且单元内顺序一致性几乎为零。
- 碎片化： 矢量化过程恢复的路径数量是真实笔画数的 1.7–2.5 倍，导致笔画破碎。
- 信息丢失： 该目标函数丢弃了时间、压力、倾斜度和笔触宽度，仅输出 1 像素无权重的中心线。
- 缺乏内在先验： 由于训练策略，在没有指令的情况下，模型没有可验证的人类化全局顺序先验；它依赖于启发式方法或标题中的提及顺序。

重要性与主张

论文声称提出了一个系统，该系统能够忠实地对素描进行逆向渲染，并在增加显式文本指令控制绘制顺序这一新功能的同时，保留了底层预训练模型强大的文本生成素描能力。

作者强调，这种方法弥合了基于栅格的生成与矢量输出之间的差距，实现了“可回放的折线路径”，其中序列是一个自由形式的语言变量。他们断言，该模型可以遵循指定任意顺序的指令，即使这些顺序与记录的艺术家序列相冲突，这证明了顺序可以与几何形状解耦并通过自然语言进行控制。然而，他们对局限性保持了谦逊的态度，承认控制受限于用于置换训练的单元大小，遵循度在更细的粒度（部件/轮次级）下会显著下降，且标题中的末尾约束经常会被丢失。他们还指出，目前的输出缺乏原始输入的丰富笔触动态（压力、宽度）。