Riassunto Tecnico: Generazione di Immagini Creative con Modelli di Diffusione

1. Definizione del Problema

Gli attuali modelli generativi da testo a immagine (ad es. Stable Diffusion, DALL-E) eccellono nel produrre immagini di alta qualità che si allineano alle distribuzioni dei dati di addestramento. Tuttavia, essi esibiscono un fondamentale "bias contro la creatività". Le loro funzioni di perdita e le metriche di valutazione (come FID) danno priorità alla tipicità e alla fedeltà di ricostruzione, portando a output che sono spesso convenzionali, noiosi o meramente replicativi di concetti esistenti.

Il problema centrale affrontato è come indurre una vera creatività — definita come la generazione di output innovativi e di alta qualità con una bassa probabilità di esistenza — senza fare affidamento sul prompt engineering manuale, sulla miscelazione esplicita di concetti o sull'esclusione di sottocategorie note. Gli approcci esistenti spesso faticano a bilanciare il compromesso tra qualità dell'immagine e novità, risultando frequentemente in rumore "fuori dominio" di bassa qualità o in immagini sicure ma non creative.

2. Metodologia

Gli autori propongono un framework che inquadra la creatività come un problema probabilistico: le immagini creative risiedono nelle code a bassa probabilità della distribuzione degli embedding delle immagini. Il metodo opera su un Modello di Diffusione Latente (specificamente Kandinsky 2.1) e consiste in quattro componenti primari:

2.1. Campionamento della Distribuzione Prior

Il sistema stabilisce innanzitutto una distribuzione di base degli embedding delle immagini ($e$) generati dal prior di diffusione $\epsilon_\theta$ per un dato prompt testuale.

• Processo: Un gran numero di campioni viene estratto, proiettato in uno spazio a dimensione inferiore tramite Analisi delle Componenti Principali (PCA) e adattato a una distribuzione gaussiana multivariata $\hat{G}$.
• Obiettivo: Questo $\hat{G}$ rappresenta la regione "tipica" o "noiosa" dello spazio semantico.

2.2. Ottimizzazione Creativa

Per generare output creativi, il modello viene ottimizzato per allontanarsi dalla media di $\hat{G}$ verso le sue code.

• Spazio Concettuale: L'ottimizzazione avviene su uno spazio combinato di un token embedding apprendibile (ad es. il soggetto "veicolo") e sui parametri di LoRA (Low-Rank Adaptation) del prior di diffusione.
• Perdita Creativa ($L_{creative}$): L'obiettivo è minimizzare la log-verosimiglianza dell'embedding generato sotto la distribuzione di base:
  $$L_{creative}(\tilde{e}) = \log \hat{G}(\tilde{e})$$
  Minimizzare questa perdita spinge l'embedding verso regioni di minore probabilità, aumentando teoricamente il "potenziale di arousal" (novità e sorpresa).

2.3. Meccanismi di Pullback (Ritorno)

Per evitare che il modello degeneri in rumore incoerente (fallimento fuori dominio) mentre cerca regioni a bassa probabilità, vengono applicati due vincoli:

1. Perdita di Ancoraggio ($L_{anchor}$): Impone l'allineamento semantico massimizzando la similarità del coseno tra l'embedding dell'immagine generata e l'embedding testuale del prompt originale ($P_{pos}$).
2. Verificatore di Validità Semantica (MLLM): Periodicamente, un'immagine generata viene renderizzata e interrogata da un Modello Linguistico Multimodale (ad es. Janus o LLaVA) con il prompt: "È ancora un {soggetto}? Sì o No." Se l'MLLM rifiuta l'immagine, il tentativo di ottimizzazione viene terminato. Questo funge da robusto guardiano contro i fallimenti di tipo avversario che i semplici vincoli CLIP potrebbero mancare.

2.4. Controllo della Direzionalità

Per evitare di convergere su regioni a bassa probabilità che siano semplicemente "brutte" o indesiderabili, il sistema impiega il Modellamento di Cluster Negativi.

• Se l'ottimizzazione produce output visivamente poco attraenti, i loro embedding vengono raccolti per formare una distribuzione gaussiana negativa $\hat{G}_{neg}$.
• Un termine di penalità ($L_{neg}$) viene aggiunto alla funzione di perdita per respingere il modello da queste specifiche direzioni "sfavorevoli", guidando l'esplorazione verso regioni creative ma esteticamente piacevoli.

3. Contributi Chiave

1. Prospettiva Probabilistica sulla Creatività: Il paper introduce un framework in cui la creatività è esplicitamente definita come l'inversa della probabilità di esistenza di un'immagine nello spazio degli embedding CLIP, allontanandosi dalla miscelazione manuale di concetti.
2. Ottimizzazione Orientata alla Creatività: È stata progettata una funzione di perdita specializzata per spingere il modello verso regioni di embedding a bassa probabilità, ottimizzando direttamente la novità.
3. Pullback e Controllo Direzionale: L'introduzione di perdite di ancoraggio e di controllori semantici basati su MLLM assicura che l'alta creatività non avvenga a scapito della fedeltà semantica o della coerenza visiva. Inoltre, il modellamento dei cluster negativi indirizza il modello lontano da direzioni creative indesiderabili.
4. Efficienza: Il metodo dimostra una rapida convergenza, producendo risultati creativi entro pochi minuti (circa 50 step), significativamente più velocemente dei metodi basati sull'esclusione iterativa di sottocategorie.

4. Risultati Sperimentali

• Qualità Visiva: Il metodo genera con successo immagini innovative attraverso diverse categorie (ad es. edifici, veicoli, alieni, frutta) che sono visivamente intriganti e distinte dagli output standard.
• Spostamento della Distribuzione: La visualizzazione dello spazio degli embedding conferma che la distribuzione generata si sposta progressivamente verso le code della distribuzione di base durante l'addestramento.
• Valutazione Umana: In uno studio sugli utenti condotto su otto soggetti, il metodo proposto è stato preferito rispetto al baseline (ConceptLab) nella maggior parte dei casi (ad es. 70,8% di preferenza per le immagini di alieni, 75% per i veicoli). Gli utenti hanno valutato gli output come più creativi e coinvolgenti.
• Studi di Ablazione:
  • Target di Ottimizzazione: L'ottimizzazione dei parametri LoRA e dei token del soggetto ha prodotto risultati creativi coerenti, mentre l'ottimizzazione diretta degli embedding delle immagini ha portato a una rapida degradazione della qualità.
  • Necessità del Pullback: La rimozione del verificatore MLLM ha causato un'aderenza "ingannevole" ai prompt (ad es. trasformare un frutto in una figura umana con motivi fruttati), mentre la rimozione della perdita di ancoraggio ha causato una deriva totale del modello fuori dal dominio.
  • Direzionalità: Il modellamento dei cluster negativi ha impedito con successo al modello di stabilizzarsi su stili estetici poco attraenti, costringendolo a scoprire direzioni creative più diverse e piacevoli.
• Confronto: A differenza di ConceptLab, che richiede l'identificazione ed l'esclusione di sottocategorie (inefficace per concetti senza sottoclassi chiare come "alieni"), questo metodo opera direttamente sulla distribuzione di probabilità, ottenendo la creatività in modo più efficiente e ampio.

5. Significato e Rivendicazioni

Il paper sostiene di fornire una nuova prospettiva sulla creatività nei modelli generativi, spostando il focus dalla imitazione delle distribuzioni di addestramento all'esplorazione delle code a bassa probabilità dello spazio degli embedding. Gli autori sostengono che il loro approccio offre un metodo rigoroso per favorire l'innovazione nella sintesi di contenuti visivi senza dipendere dall'ingegneria dei prompt umani o dall'esclusione esplicita di sottocategorie.

Il lavoro è presentato come un passo fondamentale verso sistemi IA più espressivi e flessibili, dimostrando che è possibile definire matematicamente e ottimizzare il "potenziale di arousal" (un concetto psicologico di novità e sorpresa) mantenendo al contempo la validità semantica attraverso robusti meccanismi di pullback. Gli autori lo pongono come il primo framework di creatività probabilistica per la generazione di immagini da testo che non dipende dall'esistenza di sottocategorie note.