Riassunto Tecnico: Draw This First

Definizione del Problema

Il campo della generazione di schizzi è variegato, con i metodi esistenti che tipicamente trattano l'ordine di disegno come un output intrinseco del modello (tramite autoregressione o diffusione) o come un fattore non rappresentato. Gli approcci attuali spesso non riescono a esporre l'ordine di disegno come una variabile libera e condizionata dal linguaggio. Inoltre, molti sistemi si affidano a corpora di "doodle" di bassa qualità, e pochi possono generare schizzi vettoriali che aderiscano rigorosamente alle istruzioni specificate dall'utente riguardo alla sequenza dei tratti. La sfida consiste nel creare un sistema in grado di generare tratti vettoriali ordinati da testo o immagini, consentendo all'utente di dettare esplicitamente la sequenza di disegno (ad esempio, "disegna prima la testa, poi il corpo") senza compromettere la fedeltà geometrica dello schizzo.

Metodologia

Gli autori propongono una nuova formulazione che inverte il tipico processo di generazione di schizzi: invece di predire i tratti sequenzialmente, il modello predice un campo 2D che definisce l'ordine in cui i tratti vengono disegnati. La pipeline consiste in tre componenti principali:

1. Dataset e Annotazione

Il modello è addestrato su un corpus commissionato di 47.318 disegni artistici fatti a mano di alta qualità, superando significativamente la qualità degli esistenti dataset di doodle.

• Annotazione Gerarchica: Ogni disegno è annotato con una gerarchia di bounding-box a due livelli (regione e soggetto).
• Didascalie d'Ordine: Gli autori sintetizzano didascalie descrittive dell'ordine che specificano la sequenza di visite a regioni nominate (ad esempio, "box1 sinistra, poi box2, poi box1 destra, rivisitato").
• Strategia di Permutazione: Per insegnare al modello a seguire ordini arbitrari, l'ordine dei tratti target viene permutato preservando l'ordine naturale all'interno delle regioni (contorno grezzo rispetto ai dettagli). Le didascalie vengono rigenerate programmaticamente per corrispondere all'ordine permutato, creando coppie supervisionate dall'ordine. Questo decorrelata deliberatamente l'ordine dalla geometria durante l'addestramento.

2. Rappresentazione Intermedia Ordine-come-Colore

Per consentire l'addestramento all'interno di uno spazio latente di immagini pre-addestrato, gli autori costruiscono una rappresentazione intermedia nativa dell'immagine utilizzando un codec ordine-come-colore:

• Arco Globale ($a$): Rappresenta il progresso totale del disegno da 0 a 1.
• Arco Intra-Tratto ($u$): Rappresenta il progresso all'interno di un tratto specifico.
• Codifica: Lo schizzo viene codificato in un'immagine HSV dove:
  • Tonalità ($H$): Codifica l'arco globale ($a \cdot 342/360$).
  • Saturazione ($S$): Codifica la maschera del primo piano ($1$).
  • Valore ($V$): Codifica l'arco intra-tratto ($1 - u/2$).
• Ciò produce un'immagine "codec" rasterizzata in cui l'ordine di disegno è codificato visivamente come una scansione cromatica.

3. Architettura del Modello

Il sistema utilizza un transformer di flow-matching latente pre-addestrato (basato su Qwen-Image-Edit-2509) e un decoder personalizzato:

• Generatore (DiT): Un Diffusion Transformer adattato con LoRA (Rank-64) è addestrato per generare la rappresentazione latente dell'immagine codec partendo da condizioni testuali o d'immagine.
• Decoder Nativo dell'Ordine: Un decoder VAE finetunato legge il latente generato ed emette tre target:
  1. Campo dell'Arco Globale ($a'$): Il campo dell'ordine predetto.
  2. Maschera del Primo Piano ($m'$): La maschera del tratto.
  3. Embedding di Istanza ($e'$): Embedding a otto dimensioni per la segmentazione dei tratti.
• Vettorizzazione: Gli output del decoder vengono elaborati senza un tracer appreso. HDBSCAN raggruppa gli embedding per segmentare i tratti. Questi cluster sono ordinati in base al valore medio del campo dell'arco predetto. All'interno di ogni cluster, un cammino di vicini più prossimi estrae i pixel, che vengono poi smussati e semplificati usando Ramer-Douglas-Peucker (RDP) per produrre la polilinea vettoriale ordinata finale.

Contributi Chiave

1. Formulazione Invertita: Il documento introduce un metodo in cui il modello predice un campo d'ordine 2D piuttosto che una sequenza di tratti, permettendo all'ordine di essere una variabile controllabile e condizionata dal linguaggio.
2. Codec Ordine-come-Colore: Un nuovo schema di codifica che mappa il progresso del disegno in canali di colore HSV, consentendo l'uso di modelli di diffusione d'immagine pre-addestrati per la generazione sequenziale di schizzi.
3. Dataset di Alta Qualità: La creazione di un dataset di 47k immagini di disegni artistici professionali con annotazioni gerarchiche di bounding box e didascalie d'ordine sintetizzate.
4. Seguire le Istruzioni: La capacità di generare schizzi che seguono istruzioni testuali specificando gli ordini di disegno, con un'aderenza che varia in base alla granularità dell'istruzione (affidabile a livello di regione, ma degradante a livello di parte e di passata).

Risultati

Il modello è stato valutato su dati di test del set di addestramento e su dataset esterni (Creative Birds, Creative Creatures, FS-COCO, QuickDraw).

• Accuratezza dell'Ordine:
  • Quando fornito di un'istruzione d'ordine, il modello raggiunge un Kendall $\tau$ di 0,449 sui dati in-domain e 0,373 sui dati out-of-domain, superando significativamente i baseline basati solo sulla geometria (0,096).
  • L'inversione dell'istruzione inverte con successo l'ordine di disegno (Kendall $\tau$ di $-0,267$), dimostrando che il testo, e non l'immagine, guida la sequenza.
  • L'aderenza dipende fortemente dalla granularità dell'istruzione: le istruzioni a livello di regione sono seguite con affidabilità ($\tau \approx 0,84$), ma l'aderenza scende a 0,46 a livello di parte e a 0,44 a livello di passata.
  • Il controllo è ulteriormente limitato dalla struttura della didascalia; un singolo vincolo finale viene spesso perso del tutto (ad esempio, una regione nominata disegnata per prima viene ignorata il 68,5% delle volte quando viene aggiunta alla fine di una didascalia completa), e invertire le istruzioni che contrastano con l'ordine di menzione della descrizione causa un calo significativo dell'aderenza.
  • Il "tetto del decoder" (usando i latenti della verità fondamentale) mostra un potenziale Kendall $\tau$ di 0,91–0,94, indicando che il collo di bottiglia risiede nella capacità del modello generativo di predire il latente, non nel processo di vettorizzazione.
• Preservazione della Geometria:
  • Gli interventi sull'ordine non alterano la geometria. I tassi di corrispondenza dei tratti rimangono elevati (0,89–0,95) e l'IoU della maschera rimane stabile indipendentemente dall'istruzione d'ordine.
  • Il modello mantiene le capacità di disegno open-vocabulary del prior pre-addestrato, raggiungendo punteggi di riconoscimento CLIP Top-1 di 0,70 su categorie inedite di QuickDraw.
• Limitazioni Osservate:
  • Granularità: Il controllo degrada significativamente all'aumentare della granularità dell'istruzione. Mentre l'ordine a livello di regione è seguito con affidabilità, l'aderenza a livello di parte/passata scende a $\approx 0,45$, e l'accordo entro l'unità è vicino allo zero.
  • Frammentazione: Il processo di vettorizzazione recupera percorsi con 1,7–2,5$\times$ il numero reale di tratti, risultando in tratti frammentati.
  • Perdita di Informazioni: L'obiettivo scarta tempo, pressione, inclinazione e larghezza del pennello, produvendo centerline di 1px non pesate.
  • Assenza di Prior Intrinseco: A causa della strategia di addestramento, il modello non ha un prior d'ordine globale simile a quello umano verificabile quando non viene fornita alcuna istruzione; si affida a euristiche o all'ordine di menzione della didascalia.

Significato e Rivendicazioni

Il paper sostiene di presentare un sistema che riesce a de-renderizzare fedelmente gli schizzi e a mantenere le forti capacità di generazione da testo a schizzo del modello pre-addestrato sottostante, aggiungendo la novità della capacità di seguire istruzioni testuali esplicite per l'ordine di disegno.

Gli autori sottolineano che questo approccio colma il divario tra la generazione basata su raster e l'output vettoriale, permettendo "percorsi di polilinee riproducibili" dove la sequenza è una variabile linguistica libera. Affermano che il modello può seguire istruzioni che specificano ordini arbitrari, anche quando tali ordini contraddicono la sequenza registrata dall'artista, provando che l'ordine può essere disaccoppiato dalla geometria e controllato tramite linguaggio naturale. Tuttavia, rimangono modesti riguardo ai limiti, riconoscendo che il controllo è vincolato dalla dimensione dell'unità usata nell'addestramento per permutazione, che l'aderenza degrada significativamente a granularità più fini (livello parte/passata) e che i vincoli finali nelle didascalie vengono spesso persi. Notano inoltre che l'output attuale manca della ricca dinamica dei tratti (pressione, larghezza) dell'input originale.