Towards Controllable Image Generation through Representation-Conditioned Diffusion Models

Riepilogo Tecnico: Verso la Generazione di Immagini Controllabile tramite Modelli Diffusivi Condizionati da Rappresentazioni

Enunciato del Problema
Sebbene i modelli diffusivi abbiano rivoluzionato la sintesi e la modifica di immagini di alta qualità, il loro controllo per produrre output specifici rimane una sfida significativa. A differenza delle Reti Generative Avversariali (GAN), che offrono spazi latenti ben strutturati e disaccoppiati facilitando modifiche precise e a grana fine, i modelli diffusivi mancano di uno spazio latente altrettanto efficace per il controllo diretto. I metodi di condizionamento esistenti, come prompt testuali o mappe semantiche, spesso dipendono da dataset ampiamente annotati o da un complesso ingegnerizzazione dei prompt, il che può limitare la precisione e l'adattabilità ai dati non strutturati. Inoltre, sebbene i modelli diffusivi condizionati da rappresentazioni siano stati esplorati per migliorare la qualità della generazione incondizionata, il loro potenziale nel fornire uno spazio latente controllabile non è stato testato approfonditamente.

Metodologia
Gli autori propongono un Modello Diffusivo Condizionato da Rappresentazioni (RCDM) che sfrutta un modello auto-supervisionato pre-addestrato per guidare il processo di generazione. L'architettura è composta da due componenti principali (illustrate nella Figura 1):

1. Estrazione della Rappresentazione: Un encoder auto-supervisionato pre-addestrato (nello specifico DINO) mappa le immagini di input in una distribuzione di rappresentazioni a dimensionalità ridotta.
2. Generazione Condizionata: Una U-Net di denoising (basata sul Modello Diffusivo Latente, LDM) viene addestrata per mappare una distribuzione di rumore alla distribuzione delle immagini, condizionata dalle rappresentazioni estratte dall'encoder.

La pipeline di addestramento coinvolge due fasi: prima, la mappatura delle immagini nello spazio delle rappresentazioni utilizzando l'encoder SSL; seconda, l'addestramento del modello diffusivo per il denoising mentre è condizionato da queste rappresentazioni. Gli autori adattano metodi da lavori precedenti (utilizzando MoCo v3 e MAGE) ma li applicano all'interno del framework LDM condizionato dalle rappresentazioni DINO. Gli esperimenti sono stati condotti sui dataset LSUN Churches e Celeb-A.

Principali Contributi ed Esperimenti
Il paper presenta esperimenti iniziali per validare l'efficacia dello spazio delle rappresentazioni per la generazione controllata, concentrandosi su tre proprietà chiave:

• Robustezza alle Perturbazioni: Gli autori hanno testato la stabilità del modello perturbando i vettori di rappresentazione con rumore gaussiano ($\hat{C} = C + \lambda\epsilon$). I risultati indicano che, mentre l'Inversione Diffusiva subisce un significativo degrado della qualità a livelli di rumore più elevati ($\lambda > 0.4$), l'RCDM mantiene la qualità e la coerenza dell'immagine mentre modifica il contenuto.
• Lisciatura dell'Interpolazione: È stata eseguita un'interpolazione lineare tra due vettori di rappresentazione ($\hat{C} = \alpha C_1 + (1-\alpha)C_2$). L'RCDM ha dimostrato transizioni semanticamente più lisce tra le immagini di riferimento rispetto all'Inversione Diffusiva (che diventava indistinguibile a metà) e a Stable Diffusion (che presentava transizioni improvvise).
• Scoperta di Direzioni Semantiche:
  • Supervisionata: Calcolando la media delle rappresentazioni di attributi specifici (ad esempio, capelli biondi in Celeb-A) e aggiungendola a un vettore di riferimento, il modello ha modificato con successo le caratteristiche. Tuttavia, gli autori hanno notato che le correlazioni del dataset (ad esempio, la calvizie correlata al genere maschile) potevano influenzare cambiamenti di attributi non intenzionali.
  • Non Supervisionata: Utilizzando l'Analisi delle Componenti Principali (PCA) sullo spazio delle rappresentazioni, gli autori hanno identificato direzioni corrispondenti a variazioni semantiche come la dimensione della fronte, la lunghezza dei capelli e il colore dello sfondo. Sebbene queste direzioni non abbiano raggiunto lo stesso livello di disaccoppiamento delle GAN, hanno dimostrato la fattibilità della scoperta di direzioni non supervisionata.

Risultati e Affermazioni
Il paper afferma che i modelli diffusivi condizionati da rappresentazioni esibiscono proprietà promettenti nel loro spazio di condizionamento, in particolare lisciatura e un grado di disaccoppiamento. Gli esperimenti suggeriscono che l'uso di rappresentazioni da un modello auto-supervisionato pre-addestrato non solo migliora la qualità della generazione di immagini incondizionata, ma stabilisce anche uno spazio latente adatto alla generazione controllata.

Significato
Gli autori posizionano questo lavoro come un'esplorazione preliminare di una direzione promettente per la modellazione generativa. Sostengono che il condizionamento tramite rappresentazioni offre un approccio convincente per migliorare sia la qualità che la controllabilità dei modelli diffusivi senza la forte dipendenza da dataset annotati richiesta dal condizionamento basato su testo. Il paper conclude che il lavoro futuro potrebbe concentrarsi sull'adattamento delle rappresentazioni per migliorare ulteriormente il disaccoppiamento e sull'applicazione di queste scoperte alla modifica delle immagini e all'aumento dei dati nei modelli diffusivi incondizionati.