CreatiParser: Generative Image Parsing of Raster Graphic Designs into Editable Layers

1. Il Problema

Il design grafico digitale è intrinsecamente strutturato su più livelli editabili (testo, sfondo, elementi decorativi o "stickers"). Tuttavia, la maggior parte dei modelli generativi attuali produce immagini rasterizzate piatte, prive di una struttura a livelli esplicita. Questo rende impossibile la modifica post-generazione senza un'attenta e laboriosa manipolazione manuale (es. Photoshop).

Le soluzioni esistenti per il "parsing" (decomposizione) delle immagini si dividono in due categorie, entrambe con limiti significativi:

1. Pipeline multi-stadio: Utilizzano modelli linguistici multimodali (MLLM) per prevedere una bozza di layout, seguita da tecniche di matting (rimozione sfondo) e inpainting. Questo approccio soffre di accumulo di errori (un errore nella previsione del layout si propaga al matting) e incoerenze stilistiche.
2. Decomposizione generativa: Si concentrano principalmente sulla separazione sfondo-oggetto nelle immagini naturali, un paradigma binario inadatto al design grafico che richiede la gestione di elementi eterogenei (testo, forme, sfondi) con funzioni distinte.

L'obiettivo è quindi sviluppare un sistema in grado di convertire un'immagine rasterizzata in un insieme di livelli editabili e semanticamente disaccoppiati: Testo, Sticker (elementi decorativi) e Sfondo.

2. Metodologia: CreatiParser

Il framework proposto, CreatiParser, è un approccio ibrido che combina modelli linguistici visivi (VLM) e architetture di diffusione per gestire la natura eterogenea degli elementi di design.

A. Architettura Ibrida

Il sistema scompone il problema in due flussi paralleli:

1. Parsing del Testo (VLM-based):

   • Invece di ricostruire il testo a livello di pixel, il sistema utilizza un modello Qwen3-VL (basato su architettura Transformer) per prevedere un protocollo di rendering del testo.
   • Questo protocollo è una struttura JSON che definisce: geometria (posizione, dimensioni, angoli, curve di Bézier per testo curvo), attributi semantici (stringa Unicode) e attributi di aspetto (font, colore, ombre, spaziatura).
   • Un motore di rendering converte poi questo protocollo in un livello di testo editabile.

2. Generazione di Sfondo e Sticker (Multi-Branch Diffusion):

   • Viene utilizzata un'architettura basata su Stable Diffusion XL (SDXL) con tre rami (branch) condivisi:
     • Branch Condizione: Riceve la rappresentazione latente dell'immagine di input.
     • Branch Sfondo: Genera il livello di sfondo (RGB a piena risoluzione).
     • Branch Sticker: Genera il livello degli elementi decorativi in formato RGBA (con canale alfa esplicito per la trasparenza).
   • Layer Token Attention (LTA): Per permettere lo scambio di informazioni tra i rami mantenendo la specificità di ogni livello, viene introdotto un meccanismo di attenzione che opera lungo la dimensione del ramo per ogni posizione spaziale, permettendo ai token di interagire solo con le corrispondenti posizioni negli altri rami.
   • Ogni ramo utilizza adattatori LoRA (Low-Rank Adaptation) per specializzarsi nel proprio compito senza degradare le conoscenze pre-addestrate del modello.

B. Ottimizzazione con Reinforcement Learning (GRPO)

Per allineare la previsione del protocollo di testo alle preferenze umane di design, gli autori introducono ParserReward e lo integrano con Group Relative Policy Optimization (GRPO):

• ParserReward: Valuta la qualità del protocollo generato confrontando il livello di testo renderizzato con l'originale su tre dimensioni: fedeltà dei pixel ($R_{pix}$), accuratezza della localizzazione ($R_{loc}$), e similarità semantica del testo ($R_{sem}$).
• GRPO: Il modello VLM viene ottimizzato campionando più protocolli candidati per la stessa immagine, calcolando i reward relativi all'interno del gruppo e aggiornando i pesi LoRA per massimizzare il vantaggio relativo. Questo approccio è stabile ed efficiente in termini di parametri.

3. Contributi Chiave

1. Framework Ibrido: Prima soluzione che combina VLM per il testo strutturato e diffusione multi-ramo per gli elementi visivi, superando i limiti delle pipeline a cascata.
2. Protocollo di Rendering del Testo: Spostamento dalla ricostruzione pixel-per-pixel alla previsione di parametri editabili (font, geometria, stile), garantendo un'editabilità reale.
3. Architettura Multi-Branch con LTA: Un design di diffusione che genera simultaneamente sfondo e sticker con supporto nativo per la trasparenza (RGBA), migliorando la separazione semantica.
4. Ottimizzazione GRPO Specifica: Integrazione di un reward task-specific per allineare la generazione del testo alle preferenze di design, migliorando significativamente l'accuratezza rispetto ai metodi supervisionati standard.

4. Risultati Sperimentali

Il metodo è stato valutato su due dataset: Parser-40K (dataset costruito dagli autori con file PSD nativi) e Crello (dataset reale non visto durante l'addestramento, per testare il zero-shot).

• Performance Complessive: CreatiParser supera lo stato dell'arte (SOTA) in tutte le metriche. Sul dataset Parser-40K, mostra un miglioramento medio complessivo del 23,7% rispetto ai metodi esistenti.
• Accuratezza dei Livelli:
  • IoU Testo (T-IoU): 0,896 (CreatiParser-RL) vs 0,794 (LayerD).
  • IoU Sticker (S-IoU): 0,862 vs 0,743.
  • Errore L1 RGB: Riduzione significativa dell'errore di ricostruzione.
• Editabilità del Testo: Il metodo raggiunge un'accuratezza del 87,3% nell'identificazione del font e del 91,2% negli attributi di stile, capacità assenti nei metodi basati solo su inpainting.
• Generalizzazione Zero-Shot: Su Crello, il modello mantiene o migliora le prestazioni (es. T-IoU 0,914), dimostrando robustezza verso stili e layout non visti in addestramento.
• Ablation Study: Conferma che il parsing VLM è il componente più critico (rimuoverlo fa crollare l'IoU testo da 0,896 a 0,715) e che l'uso di GRPO porta miglioramenti incrementali ma consistenti.

5. Significato e Impatto

CreatiParser rappresenta un passo avanti fondamentale nel campo della comprensione e manipolazione del design grafico.

• Democratizzazione dell'Editing: Consente di trasformare immagini rasterizzate (spesso il risultato di generatori AI) in progetti modificabili, riducendo drasticamente il tempo necessario per la post-produzione.
• Superamento dei Limiti delle Pipeline: Risolve il problema dell'accumulo di errori tipico dei metodi modulari, offrendo una generazione coerente e controllata.
• Nuovo Paradigma di Interazione: Introduce l'idea di "parsing generativo" dove l'output non è solo un'immagine, ma una struttura dati editabile (protocollo + livelli), ponendo le basi per futuri strumenti di design assistito da AI più intelligenti e flessibili.

In sintesi, il lavoro dimostra che un approccio ibrido, che separa la logica strutturale (testo) dalla generazione visiva (sfondo/sticker) e utilizza il reinforcement learning per l'allineamento, è la via più efficace per rendere i design grafici generati dall'AI realmente editabili.