Résumé Technique : Draw This First

Énoncé du Problème

Le domaine de la génération de croquis est diversifié, les méthodes existantes traitant généralement l'ordre de dessin soit comme une sortie intrinsèque du modèle (via l'autoregression ou la diffusion), soit comme un facteur non représenté. Les approches actuelles échouent souvent à exposer l'ordre de dessin comme une variable libre et conditionnée par le langage. De plus, de nombreux systèmes reposent sur des corpus de "gribouillages" (doodles) de faible qualité, et peu peuvent générer des croquis vectoriels qui respectent strictement les instructions de l'utilisateur concernant la séquence des traits. Le défi consiste à créer un système capable de générer des traits vectoriels ordonnés à partir de texte ou d'images, permettant à l'utilisateur de dicter explicitement la séquence de dessin (par exemple, "dessine d'abord la tête, puis le corps") sans compromettre la fidélité géométrique du croquis.

Méthodologie

Les auteurs proposent une formulation novatrice qui inverse le processus typique de génération de croquis : au lieu de prédire les traits séquentiellement, le modèle prédit un champ 2D qui définit l'ordre dans lequel les traits sont dessinés. Le pipeline se compose de trois composants principaux :

1. Jeu de données et Annotation

Le modèle est entraîné sur un corpus commandé de 47 318 dessins d'artistes faits à la main de haute qualité, dépassant largement la qualité des jeux de données de gribouillages existants.

• Annotation Hiérarchique : Chaque dessin est annoté avec une hiérarchie de boîtes englobantes à deux niveaux (région et sujet).
• Légendes d'Ordre : Les auteurs synthétisent des légendes descriptives de l'ordre qui spécifient la séquence de visites de régions nommées (par exemple, "boîte 1 gauche, puis boîte 2, puis boîte 1 droite, revisitée").
• Stratégie de Permutation : Pour apprendre au modèle à suivre des ordres arbitraires, l'ordre des traits cible est permuté tout en préservant l'ordre naturel au sein des régions (contour grossier vers détails). Les légendes sont reprogrammées pour correspondre à l'ordre permuté, créant ainsi des paires supervisées par l'ordre. Cela décorréle délibérément l'ordre de la géométrie pendant l'entraînement.

2. Représentation Intermédiaire Ordre-en-Couleur

Pour permettre l'entraînement dans un espace latent d'image préentraîné, les auteurs construisent une représentation intermédiaire native à l'image utilisant un codec ordre-en-couleur :

• Arc Global ($a$) : Représente la progression totale du dessin de 0 à 1.
• Arc Intra-trait ($u$) : Représente la progression au sein d'un trait spécifique.
• Encodage : Le croquis est encodé dans une image HSV où :
  • Teinte ($H$) : Encode l'arc global ($a \cdot 342/360$).
  • Saturation ($S$) : Encode le masque de premier plan ($1$).
  • Valeur ($V$) : Encode l'arc intra-trait ($1 - u/2$).
    Cela résulte en une "image codec" rasterisée où l'ordre de dessin est visuellement encodé sous la forme d'un balayage de couleur.

3. Architecture du Modèle

Le système utilise un transformateur de flux latent préentraîné (basé sur Qwen-Image-Edit-2509) et un décodeur personnalisé :

• Générateur (DiT) : Un Transformer de Diffusion adapté avec LoRA (Rank-64) est entraîné pour générer la représentation latente de l'image codec à partir de conditions textuelles ou d'images.
• Décodeur Natif de l'Ordre : Un décodeur VAE affiné lit le latent généré et émet trois cibles :
  1. Champ d'Arc Global ($a'$) : Le champ d'ordre prédit.
  2. Masque de Premier Plan ($m'$) : Le masque de trait.
  3. Embeddings d'Instance ($e'$) : Des plongements de huit dimensions pour la segmentation des traits.
• Vectorisation : Les sorties du décodeur sont traitées sans traceur appris. L'algorithme HDBSCAN groupe les embeddings pour segmenter les traits. Ces groupes sont triés par la moyenne du champ d'arc prédit. Au sein de chaque groupe, une marche de plus en plus proche extrait les pixels, qui sont ensuite lissés et simplifiés via l'algorithme Ramer-Douglas-Peucker (RDP) pour produire la polyligne vectorielle ordonnée finale.

Contributions Clés

1. Formulation Inversée : Le papier introduit une méthode où le modèle prédit un champ d'ordre 2D plutôt qu'une séquence de traits, permettant à l'ordre d'être une variable contrôlable et conditionnée par le langage.
2. Codec Ordre-en-Couleur : Un schéma d'encodage novateur qui mappe la progression du dessin aux canaux HSV, permettant l'utilisation de modèles de diffusion d'images préentraînés pour la génération de croquis séquentiels.
3. Jeu de Données de Haute Qualité : La création d'un jeu de données de 47 000 images de dessins d'artistes professionnels avec des annotations de boîtes englobantes hiérarchiques et des légendes d'ordre synthétisées.
4. Respect des Instructions : La capacité de générer des croquis suivant des instructions textuelles spécifiant les ordres de dessin, l'adhérence variant selon la granularité de l'instruction (fiable au niveau de la région, mais déclinant au niveau des parties et des passages).

Résultats

Le modèle a été évalué sur des données de test (hold-out) de l'ensemble d'entraînement et de jeux de données externes (Creative Birds, Creative Creatures, FS-COCO, QuickDraw).

• Précision de l'Ordre :
  • Lorsqu'une instruction d'ordre est fournie, le modèle atteint un Kendall $\tau$ de 0,449 sur les données in-domain et de 0,373 sur les données out-of-domain, surpassant nettement les bases de référence de géométrie pure (0,096).
  • Inverser l'instruction inverse avec succès l'ordre de dessin (Kendall $\tau$ de $-0,267$), démontrant que le texte, et non l'image, pilote la séquence.
  • L'adhérence dépend fortement de la granularité de l'instruction : les instructions de niveau région sont suivies de manière fiable ($\tau \approx 0,84$), mais l'adhérence chute à 0,46 au niveau des parties et à 0,44 au niveau des passages.
  • Le contrôle est également limité par la structure de la légende ; une contrainte unique en fin de phrase est souvent totalement ignorée (par exemple, une région nommée dessinée en premier est ignorée 68,5 % du temps lorsqu'elle est ajoutée à une légende complète), et inverser les instructions qui entrent en conflit avec l'ordre de mention de la description fait chuter l'adhérence de manière significative.
  • Le "plafond du décodeur" (utilisant les latents réels) montre un potentiel de Kendall $\tau$ de 0,91–0,94, indiquant que le goulot d'étranglement réside dans la capacité du modèle génératif à prédire le latent, et non dans le processus de vectorisation.
• Préservation de la Géométrie :
  • Les interventions sur l'ordre ne modifient pas la géométrie. Les taux de correspondance des traits restent élevés (0,89–0,95) et l'IoU du masque reste stable quel que soit l'ordre d'instruction.
  • Le modèle conserve les capacités de dessin en vocabulaire ouvert du prior préentraîné, atteignant des scores de reconnaissance CLIP Top-1 de 0,70 sur des catégories QuickDraw inédites.
• Limitations Observées :
  • Granularité : Le contrôle se dégrade considérablement à mesure que la granularité de l'instruction augmente. Si l'ordre de niveau région est suivi avec fiabilité, l'adhérence au niveau des parties et des passages tombe à $\approx 0,45$, et l'accord de l'ordre intra-unité est proche de zéro.
  • Fragmentation : Le processus de vectorisation récupère des chemins avec 1,7 à 2,5 fois le nombre de traits réels, ce qui entraîne des traits fragmentés.
  • Perte d'Information : L'objectif rejette le temps, la pression, l'inclinaison et la largeur du pinceau, produisant des lignes centrales de 1 pixel sans poids.
  • Absence de Prior Intrinsèque : En raison de la stratégie d'entraînement, le modèle n'a pas de prior d'ordre global de type humain vérifiable lorsqu'aucune instruction n'est donnée ; il repose sur des heuristiques ou l'ordre de mention de la légende.

Signification et Revendications

Le papier affirme présenter un système qui parvient à dé-rendre (derender) les croquis fidèlement et à conserver les fortes capacités de génération texte-vers-croquis du modèle préentraîné sous-jacent, tout en ajoutant la capacité novatrice de suivre des instructions textuelles explicites pour l'ordre de dessin.

Les auteurs soulignent que cette approche comble le fossé entre la génération basée sur le raster et la sortie vectorielle, permettant des "chemins de polylignes jouables" où la séquence est une variable linguistique libre. Ils affirment que le modèle peut suivre des instructions spécifiant des ordres arbitraires, même lorsque ces ordres contredisent la séquence de l'artiste enregistrée, prouvant que l'ordre peut être découplé de la géométrie et contrôlé via le langage naturel. Cependant, ils restent modestes quant aux limites, reconnaissant que le contrôle est contraint par la taille de l'unité utilisée lors de la permutation d'entraînement, que l'adhérence diminue significativement aux granularités plus fines (niveau partie/passage), et que les contraintes de fin de légende sont souvent perdues. Ils notent également que la sortie actuelle manque de la richesse des dynamiques de traits (pression, largeur) de l'entrée originale.