U-Sketch: An Efficient Approach for Sketch to Image Diffusion Models

1. Il Problema

La sintesi da schizzo a immagine (sketch-to-image synthesis) mira a trasformare disegni a mano libera, spesso astratti e privi di dettagli, in immagini fotorealistiche che rispettino fedelmente la disposizione spaziale dello schizzo originale.
Sebbene i modelli di diffusione abbiano dimostrato prestazioni eccezionali nella sintesi da testo a immagine (text-to-image), rimangono indietro nella sintesi guidata da schizzi. Le sfide principali includono:

• Complessità spaziale: I modelli devono colmare il divario tra l'informazione sparsa dello schizzo e i dettagli ricchi delle immagini reali.
• Inefficienza dei metodi esistenti: Un approccio recente (Voynov et al.) utilizza un predittore di bordi basato su una rete MLP (Multi-Layer Perceptron) che opera a livello di singolo pixel. Questo metodo ignora le correlazioni spaziali globali e richiede un numero elevato di iterazioni di denoising per produrre risultati soddisfacenti, risultando computazionalmente inefficiente.
• Mancanza di guida testuale: I metodi basati su GAN (Generative Adversarial Networks) precedenti spesso mancano della flessibilità offerta dalla guida testuale.

2. Metodologia: U-Sketch

Gli autori propongono U-Sketch, un framework che integra modelli di diffusione pre-addestrati (specificamente Stable Diffusion) con un nuovo componente di guida spaziale. Il sistema opera principalmente durante la fase di inferenza, senza richiedere il ri-addestramento del modello di diffusione di base.

Componenti Chiave:

1. Predittore di Bordi Latenti di Tipo U-Net (ULEP):

   • A differenza dell'MLP che tratta i pixel individualmente, U-Sketch utilizza un'architettura U-Net per prevedere la mappa dei bordi della rappresentazione latente dell'immagine in fase di denoising.
   • Input: Riceve un vettore concatenato di attivazioni estratte dai livelli intermedi del U-Net di denoising di Stable Diffusion, insieme al livello di rumore $t$ e al suo encoding posizionale.
   • Funzionamento: Grazie alla natura convoluzionale, la U-Net cattura sia le caratteristiche locali che quelle globali e le correlazioni spaziali tra i pixel, permettendo una stima più accurata della struttura dell'immagine fin dalle prime fasi del processo di denoising.

2. Meccanismo di Guida (Guidance):

   • Durante i primi $S$ passi del processo di denoising inverso (dove $T$ è il totale dei passi), la mappa dei bordi prevista ($\hat{E}$) viene confrontata con la mappa dei bordi dello schizzo di riferimento ($E(e)$).
   • Viene calcolato un gradiente basato sulla differenza tra la previsione e lo schizzo target.
   • Questo gradiente viene utilizzato per modificare la stima latente $z_{t-1}$, spingendo l'immagine generata ad aderire alla struttura spaziale dello schizzo. La forza di questa guida è controllata da un parametro $\alpha$ e da un fattore di pesatura $\beta$.

3. Rete di Semplificazione dello Schizzo (Sketch Simplification Network):

   • Un modulo opzionale che pre-elabora lo schizzo in ingresso. Utilizza una rete convoluzionale simmetrica per semplificare e levigare i bordi, rimuovendo linee sovrapposte o disordinate. Questo è particolarmente utile per schizzi grezzi o poco definiti, migliorando l'efficacia della guida spaziale.

3. Contributi Chiave

• Primo framework basato su Diffusion con U-Net per schizzi: Gli autori presentano il primo approccio che utilizza un predittore di bordi basato su U-Net all'interno di un pipeline di diffusione guidato da schizzi e testo.
• Efficienza Computazionale: L'uso di un'architettura che comprende le correlazioni spaziali permette di ottenere risultati di alta qualità con meno iterazioni di denoising.
• Miglioramento della Fedeltà e Realismo: La metodologia bilancia la fedeltà ai bordi dello schizzo con il realismo dell'immagine, evitando l'effetto "cartoon" o "anime" spesso associato ai metodi precedenti che forzavano eccessivamente i bordi a scapito della texture.
• Preprocessing Flessibile: L'integrazione della rete di semplificazione offre agli utenti un controllo aggiuntivo sulla qualità dell'input.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti confrontando U-Sketch con il metodo basato su MLP (Voynov et al.) utilizzando dataset come Sketchy e ImageNet.

• Riduzione dei Passi di Inferenza: U-Sketch raggiunge risultati soddisfacenti con $T=50$ passi di denoising, mentre il metodo MLP richiede fino a $T=250$ passi per competere. Questo si traduce in una riduzione del 80% del tempo di esecuzione (es. da ~250s a ~50s su GPU T4).
• Qualità Visiva (Valutazione Qualitativa):
  • Le immagini generate da U-Sketch sono più fotorealistiche e meglio allineate con lo sfondo e il contesto rispetto a quelle del MLP.
  • Il metodo MLP tende a produrre immagini con sfondi piatti e stile animato quando cerca di seguire rigorosamente i bordi.
• Valutazione Quantitativa:
  • Recall: U-Sketch ottiene un punteggio di recall superiore (0.645 vs 0.595) nella sovrapposizione tra i bordi dello schizzo e quelli dell'immagine generata.
  • Studi Utenti: In due studi con partecipanti umani (preferenza e valutazione su scala 1-5), U-Sketch è stato preferito in modo significativo:
    • Realismo: 60.9% di preferenze (vs 39.1% MLP).
    • Fedeltà ai Bordi: 70.5% di preferenze.
    • Coerenza Strutturale: 70.7% di preferenze.
    • I punteggi medi (MOS) per U-Sketch sono stati superiori in tutte le categorie (es. 3.97 vs 3.29 per il realismo).

5. Significato e Impatto

U-Sketch rappresenta un passo avanti significativo nel campo della sintesi da schizzo a immagine. Dimostra che l'incorporazione di architetture convoluzionali (U-Net) all'interno dei meccanismi di guida dei modelli di diffusione permette di:

1. Superare i limiti dei metodi basati su pixel singoli (MLP), sfruttando le correlazioni spaziali per una comprensione più profonda della struttura dell'immagine.
2. Rendere i processi di generazione più efficienti, riducendo drasticamente il tempo di calcolo necessario per ottenere risultati di alta qualità.
3. Migliorare l'usabilità, offrendo strumenti di pre-elaborazione che rendono il sistema robusto anche a schizzi di bassa qualità.

Il lavoro sottolinea l'importanza di sviluppare metriche di valutazione specifiche per questo compito e suggerisce che l'inizializzazione del rumore gioca un ruolo cruciale nella qualità finale, aprendo la strada a future ricerche su come stabilizzare e ottimizzare ulteriormente questi processi.