Teaching an Agent to Sketch One Part at a Time

Il paper presenta un metodo basato su un agente multimodale addestrato con apprendimento per rinforzo e un nuovo dataset annotato a livello di parti, ControlSketch-Part, per generare schizzi vettoriali controllabili, interpretabili e modificabili localmente un componente alla volta.

L'essenziale

Immagina di dover insegnare a un robot a disegnare, non come un bambino che scarabocchia tutto in una volta sola, ma come un architetto esperto che costruisce un edificio mattone dopo mattone.

Questo è il cuore del paper "Insegnare a un agente a schizzare un pezzo alla volta". Ecco la spiegazione semplice, con qualche metafora per rendere tutto più chiaro.

1. Il Problema: Il "Disegno Magico" non funziona bene

Fino a poco tempo fa, i computer che disegnavano su richiesta (scrivi "disegnami una sedia", loro disegnano) agivano come un maghetto che lancia un incantesimo: ti dà l'immagine finita in un batter d'occhio.
Il problema? Se il maghetto sbaglia la gamba della sedia, devi cancellare tutto e ricominciare da zero. Non puoi dire: "Ehi, la gamba va bene, ma il sedile è storto, correggilo solo lì". Inoltre, questi disegni erano spesso rigidi, come se fossero fatti con righello e compasso, privi di quel tocco artistico e fluido che ha uno schizzo umano.

2. La Soluzione: Costruire a "Mattoncini" (Parti)

Gli autori hanno pensato: "E se invece di dare l'ordine di disegnare tutto subito, dicessimo al robot di disegnare un pezzo alla volta?"
Immagina di costruire un puzzle.

1. Prima disegni la testa.
2. Poi guardi la testa e disegni il corpo.
3. Poi guardi testa e corpo e disegni le gambe.

In questo modo, se la testa viene male, puoi cancellare solo quella e ridisegnarla, senza toccare il resto. È come se il robot avesse una tavoletta grafica intelligente che ti permette di correggere i singoli pezzi mentre lavori.

3. Il Segreto: Il "Tutor" e il "Giudice" (I Dati)

Per insegnare a un robot a fare questo, serve un libro di istruzioni perfetto. Ma i libri di istruzioni per i disegni vettoriali (quelli fatti con linee matematiche, non pixel) non esistono con i dettagli giusti.
Gli autori hanno creato un tutor robotico (un'intelligenza artificiale avanzata) che ha lavorato come un architetto supervisore:

• Analizza un disegno esistente.
• Lo smonta mentalmente nei suoi pezzi (es: "questo è lo schienale, questo è il sedile").
• Controlla che ogni linea appartenga al pezzo giusto.
• Corregge gli errori.

Hanno usato questo "tutor" per creare un nuovo database chiamato ControlSketch-Part. È come se avessero preso 35.000 disegni e li avessero etichettati uno per uno, spiegando al computer: "Questa linea curva è la gamba, quella linea dritta è il braccio".

4. L'Allenamento: Due Fasi di Scuola

Hanno allenato il loro "agente disegnatore" in due fasi, come un atleta:

• Fase 1: La Scuola di Base (SFT)
  Qui l'agente impara le regole del gioco. Gli mostrano un disegno parziale e gli dicono: "Ora disegna il prossimo pezzo". Impara a seguire le istruzioni e a non fare errori di formato. È come imparare a tenere in mano il pennello.

• Fase 2: L'Allenamento con i Punti (RL - Apprendimento per Rinforzo)
  Qui è dove avviene la magia. L'agente inizia a disegnare da solo. Ogni volta che fa un pezzo, un giudice virtuale (un algoritmo chiamato GRPO) guarda il disegno parziale e dice: "Bravo, la curva è bella!" oppure "No, quella gamba sembra troppo corta, riprova".
  Il sistema usa un metodo intelligente: non aspetta la fine del disegno per dare il voto, ma dà punti intermedi ad ogni singolo passo. È come un allenatore che ti corregge mentre corri, non solo alla fine della maratona. Questo permette all'agente di capire dove ha sbagliato mentre sta ancora disegnando.

5. Il Risultato: Un Artista che Capisce le Istruzioni

Grazie a questo metodo, il nuovo agente:

• Disegna pezzo per pezzo: Se chiedi "disegna una sedia con lo schienale curvo e le gambe dritte", lui disegna prima lo schienale, poi le gambe.
• È correggibile: Se lo schienale non ti piace, puoi dire "cambia lo schienale" e lui lo ridisegna senza toccare le gambe.
• È più bello: I suoi disegni sono più fluidi, naturali e simili a quelli fatti da un umano, rispetto ai disegni rigidi dei metodi precedenti.

In sintesi

Immagina di avere un assistente artistico che non ti dà solo il quadro finito, ma ti sta accanto mentre lavori. Tu dici "facciamo la testa", lui la disegna. Tu dici "ora il corpo", lui lo aggiunge. Se ti sbagli, lui sa esattamente quale pezzo correggere.

Gli autori hanno creato il "manuale di istruzioni" (il dataset) e il "metodo di allenamento" (SFT + RL) per insegnare a un computer a fare esattamente questo: disegnare con logica, passo dopo passo, come farebbe un umano.

Sommario tecnico

Titolo: Insegnare a un Agente a Schizzare un Parte alla Volta

1. Il Problema

La generazione automatica di schizzi vettoriali (SVG) a partire da descrizioni testuali è un campo di ricerca attivo, ma le metodologie esistenti presentano limitazioni significative:

• Generazione Monolitica: La maggior parte degli approcci attuali genera l'intero schizzo in un'unica passata ("one-shot"), ignorando la natura progressiva e passo-passo del processo di disegno umano.
• Mancanza di Controllo e Modificabilità: Senza una struttura semantica interna, è difficile modificare parti specifiche dello schizzo senza dover rigenerare l'intera immagine. Le modifiche locali sono complesse e poco intuitive.
• Limiti dei Modelli Esistenti: Metodi come SketchAgent permettono una generazione sequenziale ma si basano su modelli VLM (Vision-Language Model) proprietari e chiusi, producendo output stilizzati e semplici (tipo "doodle") con scarsa fedeltà visiva e bassa accuratezza spaziale.
• Carenza di Dati: Manca un dataset su larga scala di schizzi vettoriali professionali annotati a livello di "parti semantiche" (es. "braccio", "ruota", "sedile") con assegnazione precisa dei percorsi (path) SVG a queste parti.

2. Metodologia

Gli autori propongono un approccio completo che combina un nuovo pipeline di annotazione dati, un dataset specifico e una strategia di addestramento avanzata basata su un Agente VLM.

A. Pipeline di Annotazione Automatica (ControlSketch-Part)
Per colmare il divario nei dati, gli autori hanno sviluppato un pipeline scalabile per annotare automaticamente gli schizzi vettoriali esistenti (presi dal dataset ControlSketch). Il processo è iterativo e utilizza un VLM (Gemini 3.0 Pro) in diverse fasi:

1. Decomposizione Iniziale: Il VLM divide lo schizzo in componenti semantiche (es. "testa", "torso").
2. Critica e Raffinamento: Il VLM agisce come critico, identificando violazioni delle regole (es. parti sovrapposte o non esaustive) e suggerendo correzioni.
3. Assegnazione dei Path: Il VLM assegna ogni percorso SVG (path) a una delle parti semantiche identificate.
4. Visualizzazione Diagnostica: Per migliorare l'accuratezza dell'assegnazione, viene generata una visualizzazione diagnostica dove ogni parte è colorata diversamente, permettendo al VLM di verificare la corrispondenza tra descrizione e percorso.
5. Generazione della Didascalia: Viene generata una didascalia generale coerente con le parti semantichedefined.
   Il risultato è il dataset ControlSketch-Part, contenente 35.000 schizzi con annotazioni dettagliate a livello di parti.

B. Architettura dell'Agente e Training
L'agente è un modello VLM (basato su Qwen3-VL-30B-A3B) addestrato in due fasi:

1. Fase 1: Supervised Fine-Tuning (SFT):
   • L'agente impara il formato di output corretto (coordinate di curve di Bézier) e la politica di disegno per un singolo turno.
   • Il dataset viene aumentato campionando permutazioni casuali dell'ordine delle parti, insegnando all'agente a completare uno schizzo partendo da qualsiasi stato intermedio.
2. Fase 2: Reinforcement Learning (RL) con GRPO Multi-turno:
   • Viene utilizzato l'algoritmo GRPO (Group Relative Policy Optimization) per allineare le generazioni multi-turno.
   • Reward Processuale (Process-Reward): A differenza dei metodi tradizionali che premiano solo il risultato finale, questo approccio calcola ricompense intermedie per ogni passo (ogni parte aggiunta).
   • Funzioni di Ricompensa:
     • DreamSim Reward: Misura la similarità percettiva (usando il modello DreamSim) tra il rendering parziale corrente e il ground truth parziale.
     • Path Count Reward: Penalizza le risposte troppo lunghe o troppo corte rispetto al ground truth per mantenere la brevità appropriata.
   • Questo approccio colma il "gap di distribuzione" tra lo stato di addestramento (dove l'agente vede stati intermedi perfetti) e l'inferenza (dove l'agente vede i propri errori accumulati).

3. Contributi Chiave

1. Pipeline di Annotazione Scalabile: Un metodo generico e automatico per decomporre schizzi vettoriali in parti semantiche e assegnare i percorsi, applicabile a qualsiasi dataset SVG.
2. Dataset ControlSketch-Part: Un nuovo dataset di alta qualità con annotazioni a livello di parti, didascalie semantiche e mappature path-to-part, accompagnato da un nuovo benchmark per la generazione multi-turno.
3. Algoritmo GRPO Multi-turno con Reward Processuale: Una nuova strategia di training che utilizza ricompense intermedie basate sullo stato visivo parziale, permettendo un controllo granulare e una generazione progressiva di alta qualità.
4. Agente di Schizzo Interattivo: Un sistema capace di generare schizzi vettoriali complessi passo dopo passo, supportando l'editing locale (rimozione e sostituzione di tratti) tramite istruzioni testuali.

4. Risultati

I risultati sono stati valutati sia tramite metriche automatiche che studi utente:

• Metriche Automatiche (Long-CLIP Cosine Similarity): Il modello completo (SFT + RL) ottiene il punteggio più alto tra tutti i metodi testati, superando sia la variante solo SFT che i baselines esistenti (SketchAgent, Gemini 3.1 Pro, SDXL+SwiftSketch). Questo conferma che l'addestramento RL e l'uso di dati strutturati migliorano la fedeltà al testo.
• Studi Utente: In test di preferenza cieca, gli utenti hanno preferito sistematicamente gli schizzi generati dal modello proposto rispetto ai baselines, sia per la qualità visiva finale che per la correttezza del processo di generazione passo-passo.
• Qualità Visiva: A differenza di SketchAgent (che produce forme geometriche semplici) o Gemini (che spesso fallisce nella struttura), il modello proposto genera schizzi con percorsi fluidi, strutture semantiche identificabili e dettagli realistici (es. animali, veicoli, oggetti complessi).
• Editing Locale: Il sistema dimostra la capacità di modificare parti specifiche dello schizzo (es. cambiare la forma dello schienale di una sedia) senza alterare il resto, grazie alla natura modulare della generazione.

5. Significato e Impatto

Questo lavoro segna un passo avanti significativo nel campo della sintesi testo-vettoriale:

• Cambio di Paradigma: Sposta il focus dalla generazione "tutto in uno" a un processo interattivo e incrementale, che rispecchia meglio il flusso di lavoro creativo umano.
• Interpretabilità e Controllo: La struttura a parti rende lo schizzo modificabile e comprensibile, risolvendo il problema della "scatola nera" tipica dei modelli generativi monolitici.
• Risorsa per la Ricerca: Il dataset ControlSketch-Part e la metodologia di training proposta forniscono basi solide per futuri ricerche su processi multi-turno guidati da feedback visivo, aprendo la strada a strumenti di design assistito da IA più potenti e flessibili.

In sintesi, il paper dimostra che combinando dati annotati semanticamente a livello di parti con un training RL basato su ricompense intermedie, è possibile creare agenti capaci di generare schizzi vettoriali complessi, controllabili e di alta qualità, superando i limiti delle tecniche attuali.