Resumen Técnico: Draw This First

Planteamiento del Problema

El campo de la generación de bocetos es diverso, y los métodos existentes suelen tratar el orden de dibujo ya sea como un resultado intrínseco del modelo (mediante autoregresión o difusión) o como un factor no representado. Los enfoques actuales a menudo fallan al no exponer el orden de dibujo como una variable de forma libre condicionada por el lenguaje. Además, muchos sistemas dependen de corpus de "garabatos" (doodles) de baja calidad, y pocos pueden generar bocetos vectoriales que se adhieran estrictamente a las instrucciones del usuario respecto a la secuencia de trazos. El desafío radica en crear un sistema que pueda generar trazos vectoriales ordenados a partir de texto o imágenes, permitiendo que el usuario dicte explícitamente la secuencia de dibujo (por ejemplo, "dibuja primero la cabeza, luego el cuerpo") sin comprometer la fidelidad geométrica del boceto.

Metodología

Los autores proponen una formulación novedosa que invierte el proceso típico de generación de bocetos: en lugar de predecir trazos secuencialmente, el modelo predice un campo 2D que define el orden en el que se dibujan los trazos. El flujo de trabajo consta de tres componentes principales:

1. Conjunto de Datos y Anotación

El modelo se entrena con un corpus comisionado de 47.318 dibujos artísticos hechos a mano de alta calidad, que supera significativamente la calidad de los conjuntos de datos de garabatos existentes.

• Anotación Jerárquica: Cada dibujo está anotado con una jerarquía de cajas delimitadoras de dos niveles (región y sujeto).
• Captions de Orden: Los autores sintetizan descripciones (captions) descriptivas de orden que especifican la secuencia de visitas a regiones nombradas (por ejemplo, "box1 izquierda, luego box2, luego box1 derecha, revisitado").
• Estrategia de Permutación: Para enseñar al modelo a seguir órdenes arbitrarias, el orden de los trazos objetivo se permuta preservando el orden natural dentro de las regiones (contorno grueso a detalles). Las descripciones se regeneran programáticamente para coincidir con el orden permutado, creando pares supervisados por orden. Esto desacopla deliberadamente el orden de la geometría durante el entrenamiento.

2. Representación Intermedia de Orden-como-Color

Para permitir el entrenamiento dentro de un espacio latente de imagen preentrenado, los autores construyen una representación intermedia nativa de la imagen utilizando un codec de orden-como-color:

• Arco Global ($a$): Representa el progreso total del dibujo de 0 a 1.
• Arco Intra-trazo ($u$): Representa el progreso dentro de un trazo específico.
• Codificación: El boceto se codifica en una imagen HSV donde:
  • Matiz ($H$): Codifica el arco global ($a \cdot 342/360$).
  • Saturación ($S$): Codifica la máscara de primer plano ($1$).
  • Valor ($V$): Codifica el arco intra-trazo ($1 - u/2$).
• Esto resulta en un "imagen de codec" rasterizada donde el orden de dibujo se codifica visualmente como un barrido de color.

3. Arquitectura del Modelo

El sistema utiliza un transformador de flujo de coincidencia latente preentrenado (basado en Qwen-Image-Edit-2509) y un decodificador personalizado:

• Generador (DiT): Un Transformer de Difusión adaptado con LoRA (Rank-64) entrenado para generar la representación latente de la imagen de codec a partir de condiciones de texto o imagen.
• Decodificador Nativo de Orden: Un decodificador VAE ajustado lee el latente generado y emite tres objetivos:
  1. Campo de Arco Global ($a'$): El campo de orden predicho.
  2. Máscara de Primer Plano ($m'$): La máscara del trazo.
  3. Embeddings de Instancia ($e'$): Embeddings de ocho dimensiones para la segmentación de trazos.
• Vectorización: Los resultados del decodificador se procesan sin un rastreador aprendido; HDBSCAN agrupa los embeddings para segmentar los trazos. Estos grupos se ordenan según el campo de arco medio predicho. Dentro de cada grupo, un paseo de vecino más cercano extrae los píxeles, que luego se suavizan y simplifican usando Ramer-Douglas-Peucker (RDP) para producir la polilínea vectorial ordenada final.

Contribuciones Clave

1. Formulación Invertida: El artículo introduce un método donde el modelo predice un campo de orden 2D en lugar de una secuencia de trazos, permitiendo que el orden sea una variable controlable y condicionada por el lenguaje.
2. Codec de Orden-como-Color: Un esquema de codificación novedoso que mapea el progreso del dibujo a canales de color HSV, permitiendo el uso de modelos de difusión de imágenes preentrenados para la generación secuencial de bocetos.
3. Conjunto de Datos de Alta Calidad: La creación de un conjunto de datos de 47k imágenes de dibujos de artistas profesionales con anotaciones de cajas delimitadoras jerárquicas y descripciones de orden sintetizadas.
4. Seguimiento de Instrucciones: La capacidad de generar bocetos que sigan instrucciones de orden especificando secuencias, con la adherencia variando según la granularidad de la instrucción (fiable a nivel de región, pero degradándose en niveles de parte y de pasada).

Resultados

El modelo fue evaluado con datos no vistos del conjunto de entrenamiento y de conjuntos de datos externos (Creative Birds, Creative Creatures, FS-COCO, QuickDraw).

• Precisión de Orden:
  • Al proporcionar una instrucción de orden, el modelo logra un Kendall $\tau$ de 0.449 en datos in-domain y 0.373 en datos out-of-domain, superando significativamente a las líneas base de solo geometría (0.096).
  • Revertir la instrucción invierte con éxito el orden de dibujo (Kendall $\tau$ de $-0.267$), demostrando que el texto, y no la imagen, impulsa la secuencia.
  • La adherencia depende altamente de la granularidad de la instrucción: las instrucciones a nivel de región se siguen de forma fiable ($\tau \approx 0.84$), pero la adherencia cae a 0.46 a nivel de parte y a 0.44 a nivel de pasada.
  • El control se ve limitado además por la estructura de la descripción; una restricción final única a menudo se pierde por completo (por ejemplo, una región nombrada dibujada primero es ignorada el 68.5% de las veces cuando se añade al final de una descripción completa) y revertir las instrucciones que entran en conflicto con el orden de mención de la descripción causa que la adherencia caiga significativamente.
  • El "techo del decodificador" (usando latentes de verdad de terreno) muestra un potencial Kendall $\tau$ de 0.91–0.94, lo que indica que el cuello de botella reside en la capacidad del modelo generativo para predecir el latente, no en el proceso de vectorización.
• Preservación de la Geometría:
  • Las intervenciones de orden no alteran la geometría. Las tasas de coincidencia de trazos se mantienen altas (0.89–0.95) y el IoU de la máscara permanece estable independientemente de la instrucción de orden.
  • El modelo retiene las capacidades de generación de texto a boceto de vocabulario abierto del prior preentrenado, logrando puntuaciones de reconocimiento CLIP Top-1 de 0.70 en categorías no vistas de QuickDraw.
• Limitaciones Observadas:
  • Granularidad: El control se degrada significativamente a medida que aumenta la granularidad de la instrucción. Mientras que el orden a nivel de región se sigue de forma fiable, la adherencia a nivel de parte/pasada cae a $\approx 0.45$, y el acuerdo de orden dentro de la unidad es cercano a cero.
  • Fragmentación: El proceso de vectorización recupera caminos con 1.7–2.5$\times$ la cantidad real de trazos, lo que resulta en trazos fragmentados.
  • Pérdida de Información: El objetivo descarta el tiempo, la presión, la inclinación y el ancho del pincel, produciendo centrolineas de 1px sin peso.
  • Sin Prior Intrínseco: Debido a la estrategia de entrenamiento, el modelo no tiene un prior de orden global humano-verificable cuando no se proporciona ninguna instrucción; depende de heurísticas o del orden de mención de la descripción.

Significado y Reivindicaciones

El artículo afirma presentar un sistema que logra "des-renderizar" bocetos fielmente y mantener las fuertes capacidades de generación de texto a boceto del modelo base preentrenado, añadiendo la capacidad novedosa de seguir instrucciones explícitas de orden de dibujo.

Los autores enfatizan que este enfoque cierra la brecha entre la generación basada en raster y la salida vectorial, permitiendo "rutas de polilíneas reproducibles" donde la secuencia es una variable de lenguaje de forma libre. Afirman que el modelo puede seguir instrucciones que especifican órdenes arbitrarios, incluso cuando esos órdenes contradicen la secuencia registrada del artista, probando que el orden puede desacoplarse de la geometría y controlarse mediante lenguaje natural. Sin embargo, se muestran modestos respecto a las limitaciones, reconociendo que el control está limitado por el tamaño de la unidad utilizado en la permutación del entrenamiento, que la adherencia se degrada significativamente en granularidades más finas (nivel de parte/pasada), y que las restricciones finales en las descripciones a menudo se pierden. También señalan que la salida actual carece de la rica dinámica de trazo (presión, ancho) de la entrada original.