NumColor: Precise Numeric Color Control in Text-to-Image Generation

1. Il Problema

I modelli di diffusione da testo a immagine (T2I) attuali, come FLUX, Stable Diffusion 3 (SD3) e PixArt, eccellono nella generazione di immagini basate su descrizioni linguistiche naturali. Tuttavia, falliscono sistematicamente nell'interpretare colori numerici precisi, come i codici esadecimali (es. #FF5733) o i valori RGB (es. rgb(255, 87, 51)).

Le cause principali di questo limite sono due:

1. Frammentazione dei token (Tokenization): Gli encoder di testo standard (come CLIP e T5) utilizzano la tokenizzazione a sotto-parole. Un codice colore viene spezzato in token frammentati e privi di significato semantico (es. #FF5733 diventa #, FF, 57, 33). Questi token non mappano a rappresentazioni coerenti nello spazio degli embedding e interrompono il meccanismo di cross-attention, facendo sì che il modello non associ il colore all'oggetto target.
2. Mancanza di dati di addestramento: I dataset su larga scala (come LAION) descrivono i colori principalmente con nomi (es. "rosso", "blu"), raramente con codici numerici. Inoltre, le immagini fotografiche introducono ambiguità dovute a illuminazione e materiali, rendendo difficile l'apprendimento di una corrispondenza precisa tra colore specificato e pixel.

2. Metodologia: NumColor

Gli autori propongono NumColor, un framework plug-and-play che abilita il controllo numerico preciso dei colori su diverse architetture di diffusione. Il sistema si compone di due fasi principali e di un nuovo dataset sintetico.

A. Color Token Aggregator (CTA)

Per risolvere il problema della frammentazione, viene introdotto un modulo leggero e agnostico rispetto al tokenizzatore.

• Funzionamento: Analizza la sequenza di token a livello di caratteri. Utilizza un layer di embedding dei caratteri seguito da convoluzioni 1D parallele e un encoder Transformer per identificare i pattern numerici.
• Output: Classifica i token usando lo schema BIO (Begin, Inside, Outside) per unificare i frammenti di un codice colore in un singolo token semantico coerente, indipendentemente da come il tokenizer originale ha spezzato la stringa.

B. ColorBook

Poiché i token unificati (es. #FF5733) non esistono nel vocabolario pre-addestrato dell'encoder, NumColor introduce un Codebook di colori.

• Struttura: Un insieme compatto di 6.707 embedding apprendibili che mappano i colori dallo spazio CIE Lab (uniforme dal punto di vista percettivo) allo spazio degli embedding del testo.
• Inizializzazione: Gli embedding sono inizializzati usando i centroidi delle categorie di colori ISCC-NBS e nomi CSS3/X11 filtrati per evitare bias semantici (es. evitare "salmone" che evoca il pesce).
• Interpolazione Soft: Per gestire colori non presenti nel codebook, viene utilizzata un'interpolazione ponderata sui k-vicini (k=8) nello spazio Lab, permettendo transizioni fluide e generazione di colori fuori campione.
• Iniezione: Gli embedding del colore vengono iniettati prima dei layer di self-attention del Transformer (pre-contextualization). Questo è cruciale per permettere al token dell'oggetto e al token del colore di interagire bidirezionalmente durante l'attenzione, garantendo un corretto legame colore-oggetto.

C. NumColor-Data

Per addestrare il ColorBook senza ambiguità, gli autori hanno creato un dataset sintetico di 500.000 immagini.

• Generazione: Utilizza mesh 3D da Objaverse-XL e scene da BlenderKit.
• Precisione: Ogni oggetto riceve un materiale Lambertiano uniforme con un'albedo corrispondente esattamente a un colore target Lab. Questo elimina le ambiguità di illuminazione e materiale presenti nelle foto reali, fornendo una supervisione "color-to-pixel" inequivocabile.

D. Funzione di Loss

L'addestramento del ColorBook utilizza tre obiettivi:

1. Flow Matching Loss: Per garantire che l'immagine generata corrisponda al colore richiesto.
2. Directional Alignment Loss: Per allineare le direzioni degli spostamenti nello spazio degli embedding con gli spostamenti nello spazio Lab.
3. Interpolation Consistency Loss: Per garantire che i punti medi nello spazio Lab corrispondano ai punti medi nello spazio degli embedding, preservando la geometria percettiva.

3. Contributi Chiave

1. Framework NumColor: La prima soluzione che risolve il problema della frammentazione dei token e del disallineamento degli embedding per i colori numerici, funzionando su modelli FLUX, SD3, SD3.5, PixArt-α e PixArt-Σ.
2. Color Token Aggregator: Un modulo di rilevamento robusto che unifica i frammenti di colore indipendentemente dallo schema di tokenizzazione sottostante.
3. ColorBook: Un codebook apprendibile basato su CIE Lab che mappa 6.707 colori ancoraggi nello spazio degli embedding, permettendo un controllo continuo e preciso.
4. NumColor-Data: Il primo dataset su larga scala (500k immagini) con corrispondenza precisa colore-pixel, essenziale per l'addestramento supervisionato di colori numerici.

4. Risultati

Il metodo è stato valutato sul benchmark GenColorBench utilizzando 9.800 prompt che coprono oltre 400 colori.

• Accuratezza del Colore: NumColor migliora l'accuratezza numerica del colore di un fattore 4-9x rispetto ai modelli baseline su cinque architetture diverse. Ad esempio, su FLUX, l'accuratezza sale dal 13.82% al 55.71% (livello ISCC-L1).
• Armonia del Colore: Migliora i punteggi di armonia cromatica di un fattore 10-30x, dimostrando che il controllo preciso non compromette la coestetica dell'immagine.
• Trasferimento Zero-Shot: Il ColorBook addestrato esclusivamente su FLUX viene trasferito con successo (zero-shot) su SD3, SD3.5, PixArt-α e PixArt-Σ senza necessità di riaddestramento specifico per modello.
• Analisi dello Spazio degli Embedding: L'analisi geometrica mostra che NumColor riorganizza lo spazio degli embedding per riflettere la vicinanza percettiva (spazio Lab) piuttosto che la semplice categorizzazione linguistica, mantenendo la coerenza strutturale.

5. Significato e Implicazioni

Il lavoro di NumColor è significativo perché supera una limitazione fondamentale dei modelli di generazione attuali, rendendoli utilizzabili in contesti professionali dove la fedeltà del colore è critica, come nel design pubblicitario, nella creazione di contenuti basati su brand e nella visualizzazione di prodotti.

A differenza di approcci precedenti che richiedevano l'addestramento di nuovi token per ogni colore o si limitavano a un insieme fisso di nomi, NumColor offre un controllo continuo e preciso su tutto lo spazio sRGB. La capacità di funzionare senza modificare i backbone dei modelli di diffusione (fissando CLIP, T5 e il DiT) e di trasferirsi tra architetture diverse lo rende una soluzione scalabile e pratica per l'industria creativa.

Le limitazioni attuali includono il "color leakage" (il colore che si espande oltre i confini dell'oggetto) e il "memory color bias" (la tendenza del modello a ignorare un colore se l'oggetto ha un colore canonico forte, come un girasole giallo), ma questi sono problemi intrinseci ai modelli di diffusione pre-addestrati e non specifici di NumColor.