Sintesi Tecnica: Colorazione Immagini Multimodale

Definizione del Problema

La traduzione automatica da scala di grigi a colore è una sfida fondamentale nella visione artificiale perché il compito è mal posto: un singolo valore di intensità in scala di grigi non determina univocamente il colore originale. Di conseguenza, un singolo input può corrispondere a molteplici colorazioni valide a seconda dell'identità dell'oggetto, del contesto della scena o dell'intento artistico. Sebbene gli approcci moderni di deep learning utilizzino modelli probabilistici ed estrazione di feature semantiche per affrontare questa ambiguità, l'intrinseca multimodalità del problema rimane un ostacolo centrale.

Una strategia promettente per risolvere questa ambiguità è l'incorporazione di descrizioni in linguaggio naturale come segnali di condizionamento. Il testo può definire esplicitamente attributi (ad es., "auto rossa" rispetto a "auto blu") che sono indistinguibili in scala di grigi. Tuttavia, i lavori precedenti che integrano il condizionamento testuale (ad es., TIC, DiffColor, Diffusing Colors) introducono simultaneamente molteplzioni modifiche architettoniche, come backbone modificati, nuove funzioni di perdita o framework di diffusione. Ciò confonde i risultati, rendendo impossibile isolare il contributo quantitativo specifico della guida testuale da altri miglioramenti architettonici.

Metodologia

Per isolare l'impatto del condizionamento testuale, questo studio conduce uno studio di ablazione controllato confrontando due distinti livelli architettonici. In entrambi i livelli, l'unica variabile modificata è la presenza del condizionamento testuale; tutte le altre iper-parametri, i dataset e le procedure di addestramento sono mantenuti costanti.

Dataset:
Gli esperimenti utilizzano il dataset Open Image Preferences v1 (7.459 coppie prompt–immagine). Una divisione deterministica alloca il 90% per l'addestramento e il 10% per la valutazione, garantendo l'assenza di leakage nel set di test.

Livello Architetturale 1: U-Net

• Modello Base (UN-NP): Una U-Net personalizzata addestrata da zero su input in scala di grigi per predire output RGB. Utilizza la perdita MSE e contiene circa 13,4 milioni di parametri.
• Condizionato dal Testo (UN-P): Un backbone identico aumentato con strati di cross-attention a specifiche profondità dell'encoder/decoder. Questi strati effettuano l'attenzione verso gli embedding da un encoder CLIP ViT-B/32 congelato. Il modello contiene circa 16,4 milioni di parametri.
• Addestramento: Entrambi i modelli utilizzano l'ottimizzazione Adam. UN-P è addestrato con un dropout del 10% per prompt vuoti per prevenire l'overfitting sul testo.

Livello Architetturale 2: Stable Diffusion 1.5

• Modello Base (SD-NP): Un checkpoint di Stable Diffusion 1.5 fine-tuned dove ogni didascalia è sostituita con una stringa vuota, addestrando efficacemento un modello incondizionato.
• Condizionato dal Testo (SD-P): Lo stesso checkpoint fine-tuned con didascalie reali.
• Configurazione: Entrambe le varianti operano nello spazio CIELAB (predicendo i canali ab). Fondamentalmente, entrambi utilizzano un guidance scale di 1.0 (nessuna amplificazione tramite Classifier-Free Guidance). Questa scelta di design isola l'effetto del condizionamento testuale attraverso la cross-attention da sola, evitando il rischio che i segnali testuali sovrastino il condizionamento in scala di grigi, come osservato in precedenti esperimenti con scale elevate.

Metriche di Valutazione:
Le prestazioni sono misurate su un set di test non visto di 745 immagini utilizzando:

1. PSNR & SSIM: Fedeltà dei pixel e strutturale.
2. LPIPS: Similarità percettiva (valori più bassi sono migliori).
3. Colorfulness: Indice di Hasler–Süsstrunk (valori più alti sono più vivaci).
   Tutte le metriche sono calcolate a risoluzione 512×512 (le predizioni della U-Net sono sovracampionate bilinearmente per un confronto equo).

Contributi Chiave

1. Ablazione Controllata: Il primo studio a quantificare l'impatto del condizionamento testuale sulla colorazione mantenendo costanti tutte le altre variabili attraverso due scale architettoniche molto diverse (una U-Net da ~13M di parametri e un modello Stable Diffusion da ~859M di parametri).
2. Valutazione Quantitativa: Un'analisi statistica rigorosa tramite t-test accoppiati sulle metriche per immagine per determinare la significatività dei miglioramenti.
3. Analisi Qualitativa: Un esame di scenari specifici in cui il condizionamento testuale fornisce il maggior beneficio (disambiguazione di oggetti ambigui) rispetto a dove offre un vantaggio limitato (scene stereotipate).

Risultati

Lo studio dimostra che il condizionamento testuale fornisce miglioramenti costanti e misurabili attraverso entrambe le scale architettoniche.

Livello U-Net (UN-NP vs. UN-P):

• PSNR: Miglioramento del +5,6% (19,13 → 20,21).
• SSIM: Miglioramento del +1,2%.
• LPIPS: Riduzione del -7,6% (miglioramento).
• Colorfulness: Aumento del +36,6%.
• Significatività: Tutti i miglioramenti sono altamente significativi dal punto di vista statistico ($p < 10^{-13}$) con dimensioni dell'effetto medie.

Livello Stable Diffusion (SD-NP vs. SD-P):

• PSNR: Miglioramento del +5,8% (19,65 → 20,79).
• SSIM: Miglioramento del +1,5%.
• LPIPS: Riduzione del -11,3% (miglioramento).
• Colorfulness: Aumento dello +0,6% (statisticamente insignificante, $p=0,71$).
• Significatività: I miglioramenti di PSNR, SSIM e LPIPS sono altamente significativi.

Analisi Comparativa:
Seb/] Mentre i guadagni di PSNR sono comparabili tra i livelli (~5,6–5,8%), la natura del miglioramento differisce. Il livello U-Net mostra un aumento drammatico della colorfulness, suggerendo che il testo fornisca una fonte critica di informazione semantica esterna per i modelli addestrati da zero. Al contrario, il livello Stable Diffusion, che possiede ricchi prior visivi pre-addestrati su miliardi di coppie testo-immagine, mostra una maggiore riduzione dell'errore percettivo (LPIPS) ma un guadagno minimo in colorfulness, poiché il backbone codifica già forti associazioni di colore.

Significato e Rivendicazioni

Il paper conclude che il condizionamento testuale è un meccanismo indipendente dall'architettura che migliora la qualità della colorazione. La coerenza dei miglioramenti di PSNR e LPIPS attraverso una differenza di 50 volte nel numero di parametri suggerisce che il beneficio non è solo una funzione della capacità del modello, ma una risoluzione fondamentale della natura mal posta del problema.

Gli autori sostengono che per i modelli addestrati da zero (come la U-Net), il condizionamento testuale agisce come un segnale necessario per risolvere l'ambiguità del colore che i pixel in scala di grigi da soli non possono fornire, rompendo efficacemente un collo di bottiglia informativo piuttosto che un collo di bottiglia di capacità. Per i grandi modelli pre-addestrati (Stable Diffusion), il condizionamento testuale raffina l'output per renderlo semanticamente più accurato e percettivamente più vicino alla verità del terreno (ground truth), anche se il guadagno marginale in vividezza del colore è inferiore.

Lo studio enfatizza che le precedenti rivendicazioni di superiorità guidata dal testo erano difficili da attribuire esclusivamente al testo a causa dei cambiamenti architettonici concomitanti. Isolando la variabile, questo lavoro conferma che la guida tramite linguaggio naturale è un contributore distinto e potente alla colorazione automatica delle immagini.