SketchingReality: From Freehand Scene Sketches To Photorealistic Images

1. Il Problema

Negli ultimi anni, l'IA generativa ha fatto enormi progressi, con il linguaggio naturale che rimane il principale segnale di condizionamento. Tuttavia, per un controllo più fine, i ricercatori stanno esplorando segnali aggiuntivi come mappe di profondità, bordi e immagini di riferimento.
Il paper si concentra sulle schizzi a mano libera (freehand sketches) come modalità di condizionamento. A differenza delle mappe di bordi precisi (edge maps) spesso usate in letteratura, gli schizzi reali sono caratterizzati da:

• Astrazione e distorsione: Le proporzioni e le dimensioni relative sono spesso alterate rispetto alla realtà.
• Ambiguità: Un oggetto può essere rappresentato da pochi tratti (es. un bosco con pochi alberi schematici).
• Mancanza di allineamento pixel-per-pixel: Non esiste un'immagine di riferimento "corretta" e allineata pixel per pixel per uno schizzo a mano libera, rendendo difficile l'addestramento supervisionato tradizionale basato su perdita di ricostruzione (pixel-aligned loss).

Gli approcci esistenti (come ControlNet o T2I-Adapter) falliscono spesso con schizzi reali perché sono ottimizzati per bordi precisi, producendo immagini che ignorano i dettagli dello schizzo o che sacrificano il fotorealismo.

2. Metodologia

Gli autori propongono un approccio che bilancia l'aderenza allo schizzo con il fotorealismo, superando la necessità di immagini di riferimento allineate ai pixel.

A. Modulation Network (Rete di Modulazione)

Invece di usare encoder convoluzionali standard che potrebbero non cogliere il significato semantico degli schizzi astratti, il metodo utilizza:

• Encoder Semantico: Sfrutta un encoder basato su CLIP (pre-addestrato su schizzi) per estrarre caratteristiche semantiche dello schizzo. Gli ultimi strati di questo encoder vengono fine-tuned per migliorare l'allineamento.
• Architettura: Una rete di modulazione encoder-decoder che riceve in input le caratteristiche dello schizzo, il latente $z_t$ e il rumore previsto $\epsilon_\theta$.
• Meccanismo: La rete produce mappe di scala ($S_t$) e spostamento ($B_t$) che modulano la previsione del rumore del modello di diffusione:
  $$\epsilon'_\theta = \epsilon_\theta \odot (1 + S_t) + B_t$$
  Questo permette di iniettare informazioni semantiche ricche nello spazio latente senza alterare l'architettura di base del modello di diffusione.

B. Loss Function per Schizzi Senza Allineamento

Per aggirare il problema della mancanza di immagini di riferimento allineate (ground-truth), gli autori introducono una Loss di Supervisione dell'Attenzione:

• Utilizzano l'encoder semantico dello schizzo per generare una "mappa di attenzione ground-truth" ($M_{grth}$) che indica dove dovrebbero apparire gli oggetti nello spazio semantico.
• Durante l'addestramento, la loss supervisiona le mappe di attenzione incrociata (cross-attention) del modello di diffusione, incoraggiando i token di testo a focalizzarsi sulle regioni dello schizzo corrispondenti agli oggetti.
• La loss totale combina la perdita di rumore standard, la perdita di attenzione e regolarizzazioni sulla scala e sullo spostamento per promuovere diversità e stabilità.

C. Strategia di Addestramento

Il modello viene addestrato su un mix di:

1. Schizzi a mano libera (dal dataset FS-COCO).
2. Schizzi sintetici (generati algoritmicamente da immagini reali per fornire un segnale strutturale più forte).
   L'addestramento avviene solo sui primi 10% degli step di rumore (regimi ad alto rumore), dove la struttura semantica globale viene definita, evitando di sovraccaricare il modello con dettagli pixel-per-pixel non allineati.

3. Contributi Chiave

1. Nuovo Metodo: Un approccio che genera immagini fotorealistiche da schizzi a mano libera di scene complesse, gestendo efficacemente astrazione e distorsione.
2. Integrazione Semantica: L'uso di caratteristiche semantiche estratte da un encoder CLIP, integrate nello spazio latente tramite una rete di modulazione dedicata, superando i limiti degli encoder basati su bordi.
3. Loss di Addestramento Innovativa: Una funzione di perdita che permette l'addestramento su schizzi a mano libera senza richiedere immagini di riferimento allineate ai pixel, focalizzandosi sulla struttura semantica e sulla coerenza spaziale degli oggetti.

4. Risultati

Il metodo è stato valutato sul dataset FS-COCO (475 schizzi di test) e confrontato con lo stato dell'arte (ControlNet SD2.1/SDXL, T2I-Adapter, ControlNext, FreeControl).

• Metriche Quantitative: Il metodo proposto ottiene i migliori risultati in tutte le metriche chiave:
  • FID (Fréchet Inception Distance): 121.97 (migliore, indicando maggiore qualità e diversità).
  • CLIP Similarity: 1.291 (migliore, indicando una migliore coerenza semantica tra schizzo e immagine).
  • LPIPS: 0.739 (migliore, indicando una maggiore fedeltà percettiva).
• Studi Qualitativi e Utenti:
  • Gli studi con utenti hanno mostrato una preferenza schiacciante per il metodo proposto rispetto ai baselines, specialmente nel compromesso tra fotorealismo e fedeltà allo schizzo (88.8% di preferenza contro ControlNet SD2.1).
  • Visivamente, il metodo preserva la posizione relativa, l'orientamento e i dettagli fini (es. la direzione dello sguardo di un animale) che i metodi basati su ControlNet spesso ignorano o distorcono.
• Robustezza: Il metodo funziona bene sia con SD2.1 che con SDXL, dimostrando di essere indipendente dal backbone di diffusione.

5. Significato e Impatto

Questo lavoro segna un passo avanti significativo verso un'IA generativa centrata sull'uomo. Dimostra che è possibile interpretare correttamente l'intento umano espresso attraverso schizzi approssimativi e astratti, senza richiedere all'utente di disegnare perfettamente o di fornire immagini di riferimento precise.
Spostando il focus dal controllo spaziale "pixel-aligned" al controllo semantico-aware, il paper risolve un problema fondamentale nell'interazione uomo-macchina: la capacità di tradurre rapidamente concetti visivi complessi in immagini realistiche, aprendo nuove possibilità per strumenti creativi, prototipazione rapida e design assistito.