Riepilogo Tecnico: REGLUE Your Latents with Global and Local Semantics for Entangled Diffusion

Problematica

I modelli di diffusione latente (LDM) hanno stabilito prestazioni allo stato dell'arte nella sintesi di immagini spostando il paradigma generativo verso uno spazio latente VAE compatto. Tuttavia, l'addestramento di questi modelli presenta una sfida fondamentale: l'attuale obiettivo di denoising basato sulla ricostruzione fornisce solo una supervisione semantica indiretta. Di conseguenza, la semantica di alto livello (oggetti, layout, relazioni) emerge lentamente durante l'addestramento, limitando sia la qualità del campione che la velocità di convergenza.

I recenti tentativi di affrontare questo problema iniettando la semantica dai Vision Foundation Models (VFM) sono stati subottimali. Gli approcci esistenti si affidano interamente all'allineamento delle rappresentazioni esterne (distillazione delle caratteristiche come insegnante esterno) o modellano congiuntamente i segnali semantici all'interno del processo di diffusione, ma li limitano a strette porzioni delle caratteristiche VFM. Nello specifico:

• REG modella un singolo token globale a livello di immagine ([CLS]), mancando di granularità spaziale.
• ReDi modella le caratteristiche a livello di patch (locali), ma si affida a una proiezione PCA lineare, che vincola le rappresentazioni a un sottospazio lineare a bassa dimensionalità, scartando ricche informazioni spaziali non lineari e multi-layer.

Gli autori sostengono che per sfruttare efficacemente le caratteristiche VFM sia necessario modellare congiuntamente la semantica spaziale all'interno del modello di diffusione, preservando al contempo le loro informazioni non lineari e multi-layer attraverso rappresentazioni compatte e apprese.

Metodologia: REGLUE

Il documento introduce REGLUE (Representation Entanglement with Global–Local Unified Encoding), un framework di diffusione latente unificato che modella congiuntamente tre modalità all'interno di un unico backbone SiT (Scalable Interpolant Transformer):

1. Latenti d'immagine VAE: Lo standard spazio latente ottimizzato per la ricostruzione.
2. Semantica Locale (livello patch): Caratteristiche VFM compresse e strutturate spazialmente.
3. Semantica Globale (livello immagine): Il token [CLS] del VFM.

Componenti Chiave

1. Compressore Semantico Leggero
Per affrontare il disallineamento dimensionale tra le caratteristiche VFM ad alta dimensionalità ($D_f \gg D_z$) e i latenti VAE, REGLUE impiega un compressore semantico convoluzionale non lineare leggero ($E_\psi$).

• Architettura: Un autoencoder convoluzionale superficiale pre-addestrato offline per ricostruire le caratteristiche VFM multi-layer.
• Funzione: Aggrega le caratteristiche patch-level multi-layer (tramite concatenazione channel-wise) e le mappa in una rappresentazione compatta e spazialmente strutturata ($s^*$) con una dimensionalità significativamente ridotta ($D_s \ll \sum D_\ell$).
• Vantaggio: A differenza della PCA lineare, questa compressione non lineare preserva l'informazione semantica essenziale pur riequilibrando la capacità del modello di diffusione, evitando che la modalità semantica domini i latenti VAE.

2. Modellazione della Diffusione Unificata
Il backbone SiT modella congiuntamente i latenti VAE ($z_t$), la semantica compressa locale ($s_t$) e il token globale ($cls_t$).

• Processo Forward: Il rumore indipendente viene iniettato in tutte e tre le modalità utilizzando uno schedule condiviso.
• Tokenizzazione: I latenti VAE e la semantica compressa vengono patchificati e proiettati a una dimensione di token comune. Vengono uniti tramite concatenazione dei canali per mantenere una singola griglia di $N$ token, evitando l'overhead quadratico della concatenazione di sequenze. Il token globale rimane un token separato.
• Obiettivo: Il modello è addestrato con una perdita di velocità multimodale, prevedendo la velocità per tutte e tre le modalità simultaneamente.

3. Allineamento della Rappresentazione Esterna
Come segnale ausiliario, REGLUE incorpora una perdita di allineamento delle caratteristiche (ispirata a REPA). In un blocco Transformer selezionato, i token nascosti vengono proiettati per corrispondere ai target VFM congelati (sia globali che locali) tramite una perdita di similarità del coseno. Questo regolarizza le rappresentazioni interne verso il VFM insegnante senza richiedere al modello di diffusione di generare direttamente le caratteristiche VFM grezze.

Contributi Chiave

1. Framework Unificato: REGLUE è il primo framework che modella congiuntamente la semantica VFM a livello di immagine (globale) e a livello di patch (locale) insieme ai latenti VAE all'interno di un singolo backbone di diffusione.
2. Compressione Semantica Non Lineare: La proposta di un compressore semantico non lineare leggero che aggrega le caratteristiche multi-layer VFM in uno spazio compatto e preservante la semantica. Ciò consente guadagni significativi tramite la modellazione congiunta a livello di patch, superando i metodi di proiezione lineare.
3. Design Sinergico: Il documento dimostra che la semantica a livello di patch, i token globali e l'allineamento esterno agiscono sinergicamente. I principali guadagni di prestazione derivano dalla modellazione spaziale congiunta delle caratteristiche patch compresse, mentre i token globali e l'allineamento fungono da potenziamenti complementari.
4. Efficienza: Il metodo migliora le prestazioni generative e accelera la convergenza senza aumentare il numero di parametri del modello di diffusione o il calcolo al tempo di inferenza (il throughput rimane paragonabile ai baseline).

Risultati Sperimentali

Gli esperimenti sono stati condotti sul benchmark di generazione ImageNet 256×256 utilizzando backbone SiT-B/2 e SiT-XL/2.

Miglioramenti delle Prestazioni:

• Riduzione FID: REGLUE supera costantemente i baseline. Su SiT-B/2 a 400K step, REGLUE raggiunge un FID di 12.9, rispetto a 33.0 per il vanilla SiT, 24.4 per REPA, 21.4 per ReDi e 15.2 per REG.
• Velocità di Convergenza: REGLUE raggiunge le prestazioni di 1M-step di ReDi e REG utilizzando meno del 30% e dell'80% delle rispettive iterazioni di addestramento. Ad esempio, SiT-XL/2+REGLUE raggiunge un FID di 2.5 a 1M step, superando REG (2.7) e ReDi (5.1).
• Generazione Incondizionata: In scenari incondizionati, REGLUE raggiunge un FID di 28.7 su SiT-B/2, superando il baseline condizionale (33.0) e altri metodi SOTA.

Approfondimenti dall'Ablazione:

• Locale vs Globale: La semantica a livello di patch (locale) è critica; modellarla da sola produce guadagni maggiori rispetto alla modellazione dei soli token globali.
• Compressione: La compressione non lineare è essenziale. La PCA lineare (usata in ReDi) produce risultati subottimali (FID 21.4 rispetto a 14.3 per la compressione non lineare senza allineamento).
• Aggregazione dei Layer: Aggregare gli ultimi quattro layer del VFM (9–12) prima della compressione fornisce il segnale migliore, mentre l'inclusione di layer superficiali degrada le prestazioni.
• Diffusibilità: L'analisi delle frequenze (DCT) rivela che il compressore non lineare sopprime le componenti ad alta frequenza che i modelli di diffusione faticano a modellare, creando una rappresentazione "amica della diffusione" pur preservando l'accuratezza semantica.

Significato e Rivendicazioni

Il documento sostiene che REGLUE rappresenti un avanzamento significativo nella diffusione latente "intrecciando" efficacemente le rappresentazioni ottimizzate per la ricostruzione e quelle ottimizzate per la semantica. Gli autori affermano che la scelta progettuale critica per sfruttare i VFM non è semplicemente l'allineamento esterno delle caratteristiche o la modellazione di un singolo token, ma piuttosto la modellazione congiunta della semantica spaziale all'interno del processo di diffusione utilizzando rappresentazioni non lineari e compatte.

Il lavoro dimostra che:

1. La semantica spaziale del VFM è cruciale per catturare la struttura fine.
2. La compressione non lineare è il meccanismo chiave per sbloccare il pieno beneficio di queste ricche caratteristiche multi-layer.
3. I token globali e l'allineamento esterno agiscono come potenziamenti complementari e leggeri che raffinano ulteriormente il processo di generazione.

Raggiungendo risultati allo stato dell'arte con meno iterazioni di addestramento e senza aumentare il costo di inferenza, REGLUE offre una via scalabile ed efficiente verso una sintesi di immagini di qualità superiore. Il codice è pubblicamente disponibile per facilitare ulteriori ricerche nella sintesi congiunta immagine-caratteristica.