Sintesi Tecnica: Allineamento Contrastivo Condizionale-Incondizionale per Modelli di Diffusione a Coda Lunga

Problema

I dati di addestramento per la sintesi di immagini condizionali per classe esibiscono frequentemente una distribuzione a coda lunga, caratterizzata da una scarsità di immagini per le classi "tail" (coda) rispetto alle classi "head" (testa). Questo squilibrio causa nei modelli di diffusione fenomeni di mode collapse (collasso della moda) e una ridotta diversità nella generazione di immagini per le classi meno rappresentate. I metodi esistenti, inclusi i modelli di diffusione probabilistica di denoising (DDPM) standard e i modelli di diffusione basati su score (SBDM), spesso non riescono a generare immagini ad alta fedeltà e diversità per queste classi sottorappresentate senza compromettere la qualità della generazione delle classi "head". Sebbene l'apprendimento contrastivo si sia dimostrato efficace per il riconoscimento a coda lunga e la generazione basata su GAN, la sua applicazione ai modelli di diffusione per la generazione con classi sbilanciate richiede un nuovo adattamento per affrontare la specifica meccanica del processo di denoising.

Metodologia: Allineamento Contrastivo Condizionale–Incondizionale (CCUA)

Gli autori propongono CCUA, un framework composto da due funzioni di perdita sinergiche progettate per migliorare la diversità e la fedeltà delle immagini delle classi "tail", mantenendo al contempo la qualità delle classi "head". Il metodo è compatibile sia con architetture basate su U-Net che con i Diffusion Transformers (DiT/SiT).

1. Perdita Contrastiva Non Supervisionata (UCL) per la Generazione Incondizionale

Per affrontare il mode collapse, gli autori introducono una perdita contrastiva non supervisionata applicata ai latenti della generazione incondizionale.

• Meccanismo: La rete di stima del rumore viene divisa in un encoder latente $e(\cdot)$ e un decoder $d(\cdot)$. L'encoder mappa le immagini rumorose $x_t$ in latenti a bassa dimensionalità $h$.
• Formulazione della Perdita: La perdita utilizza una formulazione di tipo InfoNCE con solo campioni negativi. All'interno di un mini-batch, ogni immagine funge da ancora (anchor), e tutte le altre immagini nel batch fungono da campioni negativi. Non vengono creati accoppiamenti positivi tramite data augmentation; l'ancora è trattata come il proprio vettore positivo.
• Obiettivo: Questo crea una "forza repulsiva" nello spazio latente, massimizzando la distanza tra le immagini sintetiche indipendentemente dalla loro classe. Ciò costringe il modello a diversificare i latenti incondizionali, impedendo che collassino in un vettore costante o si sovra-adattino (overfitting) ai campioni limitati di addestramento.
• Giustificazione Teorica: Applicare direttamente la perdita contrastiva ai latenti condizionali può portare a una soluzione banale in cui il modello massimizza la diversità inter-classe (separando le classi) ignorando la diversità intra-classe. Applicando la perdita ai latenti incondizionali, il modello è costretto a diversificare tutti i campioni, il che viene poi distillato nella generazione condizionale tramite la seconda perdita.

2. Perdita di Allineamento (AL) per l'Allineamento Condizionale-Incondizionale

La seconda componente allinea la generazione condizionale con la generazione incondizionale diversificata.

• Meccanismo: La perdita minimizza la divergenza KL tra la distribuzione condizionale $p_\theta(x_{t-1}|x_t, c)$ e la distribuzione incondizionale $p_\theta(x_{t-1}|x_t)$. In pratica, questo viene semplificato in una perdita MSE tra il rumore stimato $\epsilon_\theta(x_t, t, c)$ e $\epsilon_\theta(x_t, t, \emptyset)$.
• Pesatura Temporale (Time-Weighting): Fondamentalmente, questo allineamento è pesato maggiormente ai tempi elevati (i passi iniziali del processo inverso).
• Motivazione: Gli autori osservano che durante i passi iniziali di denoising, le componenti a bassa frequenza delle immagini di diverse classi (e tra la generazione condizionale e quella incondizionale) sono altamente simili. Allineando questi passi iniziali, il modello facilita lo scambio di conoscenza (knowledge sharing) dalle classi "head" (dati abbondanti) alle classi "tail" (dati scarsi). Ciò consente alle classi "tail" di beneficiare della ricca diversità appresa dalle classi "head" durante le prime fasi della generazione.

3. Sinergia

Il framework combina la perdita standard DDPM con la proposta perdita CCUA:
$$\mathcal{L}_{total} = \mathcal{L}_{ddpm} + \alpha \cdot \mathcal{L}_{ucl} + \gamma \cdot \mathcal{L}_{al}$$
La sinergia risiede nel fatto che la UCL diversifica lo spazio latente incondizionale, e la AL allinea lo spazio latente condizionale a questo spazio incondizionale diversificato. Questa diversificazione indiretta dei latenti condizionali è empiricamente dimostrata essere più efficace rispetto all'applicazione diretta della perdita contrastiva ai latenti condizionali.

Contributi Chiave

1. Framework CCUA: Un nuovo metodo per i modelli di diffusione con classi sbilanciate che combina l'apprendimento contrastivo non supervisionato sui latenti incondizionali con una perdita di allineamento condizionale-incondizionale.
2. Strategia di Allineamento: La proposta di allineare la generazione condizionale e incondizionale specificamente ai tempi elevati (passi iniziali di denoising) per sfruttare la somiglianza delle componenti a bassa frequenza e abilitare il trasferimento di conoscenza dalle classi "head" alle classi "tail".
3. Regolarizzazione Contrastiva Non Supervisionata: L'uso di una perdita contrastiva non supervisionata con soli campioni negativi sui latenti incondizionali per massimizzare la diversità intra-classe e inter-classe senza richiedere etichette di classe per le coppie contrastive.
4. Agnosticismo Architetturale: Il metodo è dimostrato essere efficace sia su architetture basate su U-Net che su Diffusion Transformers (SiT).

Risultati Sperimentali

Il metodo è stato valutato sui dataset ImageNet-LT (256×256), TinyImageNet-LT (64×64), Places-LT (64×64) e CIFAR-LT.

• Prestazioni Quantitative:
  • Su ImageNet-LT, CCUA supera significativamente i baseline inclusi SiT, CBDM, REPA e Dispersive Loss.
  • A 900k passi di addestramento, CCUA ha raggiunto un FID di 15.1 (rispetto a 19.9 per SiT) e un FIDtail di 22.5 (rispetto a 33.9 per SiT), rappresentando un miglioramento di circa 11.4 punti nella fedeltà delle classi "tail".
  • Il metodo ha inoltre migliorato le metriche di Recall (diversità) e Precision (fedeltà) in tutto il campo.
  • Su TinyImageNet-LT, CCUA ha ottenuto il miglior FID (12.0) e FIDtail (20.8), superando DDPM, CBDM e OCLT.
• Risultati Qualitativi: Le visualizzazioni mostrano che CCUA genera immagini con maggiore diversità e fedeltà per le classi "tail" (es. 'red wine', 'espresso', 'window shade') rispetto allo standard SiT, che spesso produce immagini ripetitive o di bassa qualità per queste classi.
• Studi di Ablazione:
  • La combinazione di entrambe le perdite è necessaria; l'uso di una sola produce risultati subottimali.
  • L'applicazione della perdita di allineamento ai tempi elevati (pesatura lineare) è superiore alla pesatura costante o quadratica.
  • L'uso di rappresentazioni latenti dal blocco N/4 del transformer offre generalmente il miglior compromesso tra FID complessivo e FID spaziale/Recall.

Significato e Rivendicazioni

Il paper sostiene che CCUA affronti efficacemente il problema della generazione a coda lunga adattando i principi delle GAN a coda lunga (specificamente l'addestramento incondizionale a risoluzioni inferiori/fasi iniziali) al paradigma della diffusione. Decoupling (decoupling) il compito di diversificazione (gestito dalla perdita contrastiva incondizionale) dal compito di condizionamento (gestito dall'allineamento), il metodo evita le insidie della regolarizzazione contrastiva condizionale diretta.

Gli autori sottolineano che il loro approccio:

• Migliora la generazione delle classi "tail" senza degradare la qualità delle classi "head".
• È facile da implementare all'interno degli esistenti pipeline DDPM e SBDM.
• Supera i lavori concorrenti come Dispersive Loss e DiffROP, particolarmente in scenari di estremo squilibrio di classe (es. ImageNet-LT con un fattore di squilibrio di 0.001).
• Fornisce una giustificazione teorica ed empirica sul perché l'allineamento della generazione condizionale e incondizionale nei primi passi del processo inverso sia benefico per lo scambio di conoscenza in contesti a coda lunga.