Sparse-to-Sparse Training of Diffusion Models

Sintesi Tecnica: Addestramento Sparse-to-Sparse di Modelli di Diffusione

Definizione del Problema
I Modelli di Diffusione (DM) hanno raggiunto prestazioni allo stato dell'arte in compiti generativi, inclusa la sintesi di immagini, l'elaborazione del linguaggio naturale e la modellazione di dati temporali. Tuttavia, la loro adozione diffusa è ostacolata da costi computazionali significanti sia durante l'addestramento che durante l'inferenza. Mentre la ricerca precedente si è concentrata ampiamente sull'accelerazione della fase di inferenza (ad esempio, attraverso la distillazione o il campionamento rapido), il processo di addestramento rimane esteso e dispendioso in termini di risorse. Inoltre, le tecniche di compressione di rete esistenti, come la quantizzazione post-training o la potatura (pruning) di modelli densi pre-addestrati, richiedono comunque l'iniziale costoso addestramento di reti dense a scala completa. È necessario un metodo che riduca i costi computazionali e l'impronta di memoria sin dall'inizio del processo di addestramento.

Metodologia
Questo articolo introduce il paradigma dell'addestramento sparse-to-sparse ai Modelli di Diffusione, con l'obiettivo di addestrare reti sparse da zero piuttosto che comprimere quelle dense pre-addestrate. Lo studio si concentra sulla sparsità non strutturata e valuta tre specifiche strategie di addestramento applicate a due architetture di DM all'avanguardia: Latent Diffusion (per dati di immagine continui) e ChiroDiff (per dati di schizzi spazio-temporali discreti).

I tre metodi proposti sono:

1. Static-DM (Addestramento Sparso Statico): La connettività della rete è fissata all'inizializzazione in base a un rapporto di sparsità. Gli autori utilizzano strategie Erdős–Rényi (ER) ed ERK per allocare i pesi non nulli, garantendo che gli strati più grandi abbiano una maggiore sparsità. Il pattern di connettività rimane invariato durante l'addestramento.
2. RigL-DM (Addestramento Sparso Dinamico): Questo metodo utilizza uno schema dinamico di potatura e crescita (prune-and-grow). I pesi vengono potati in base alla loro grandezza e le nuove connessioni vengono rigenerate in base alla grandezza dei gradienti (crescita basata sul gradiente).
3. MagRan-DM (Addestramento Sparso Dinamico): Simile a RigL-DM per quanto riguarda la potatura (basata sulla grandezza), ma la rigenerazione è determinata casualmente anziché dai gradienti.

Gli esperimenti coprono sei dataset (LSUN-Bedrooms, CelebA-HQ, Imagenette, QuickDraw, KanjiVG e VMNIST) attraverso vari livelli di sparsità ($S \in \{0.1, 0.25, 0.5, 0.75, 0.9\}$). Gli autori investigano inoltre l'impatto del tasso di potatura e rigenerazione ($p$) e della frequenza di esplorazione ($\Delta T_e$) per i metodi dinamici.

Contributi Chiave

• Prima Applicazione dell'Addestramento Sparse-to-Sparse ai DM: L'articolo stabilisce la fattibilità dell'addestramento di Modelli di Diffusione incondizionati da zero utilizzando la connettività sparsa, coprendo sia le strategie statiche che quelle dinamiche.
• Valutazione Empirica Esaustiva: Lo studio confronta tre metodi di addestramento sparso rispetto ai baseline densi su due diverse architetture di modelli e sei dataset, fornendo una visione ampia degli effetti della sparsità sulle prestazioni dei DM.
• Identificazione degli Iperparametri Ottimali: La ricerca identifica che, sebbene l'addestramento sparso dinamico (DST) funzioni generalmente bene, la scelta del tasso di potatura e rigenerazione è critica. Un tasso conservativo ($p=0.05$) produce risultati migliori nei regimi di alta sparsità rispetto al tasso più aggressivo ($p=0.5$) spesso utilizzato in altri contesti.
• Trade-off tra Prestazioni ed Efficienza: Il lavoro dimostra che i DM sparsi possono eguagliare o superare le prestazioni dei rispettivi modelli densi riducendo significativamente il numero di parametri addestrabili e le operazioni in virgola mobile (FLOPs).

Risultati Sperimentali

• Prestazioni: Nella maggior parte dei casi, almeno una configurazione sparsa ha superato il proprio equivalente denso. Ad esempio, sul dataset CelebA-HQ, RigL-DM con una sparsità del 25% ha ottenuto un punteggio FID inferiore (32.12) rispetto al modello denso (32.74), riducendo al contempo i parametri del 25% e i FLOPs del 10%. Su QuickDraw, MagRan-DM con il 90% di sparsità ha mantenuto prestazioni comparabili al modello denso riducendo i FLOPs dell'88%.
• Livelli di Sparsità: Livelli di sparsità moderata (25%–50%) hanno generalmente offerto il miglior equilibrio tra prestazioni ed efficienza. La sparsità estremamente elevata (ad esempio, 90%) ha spesso portato a un degrado delle prestazioni, sebbene ciò variasse in base al dataset e all'architettura del modello.
• Dinamico vs. Statico: Sebbene i metodi di Addestramento Sparso Dinamico (DST) (RigL-DM, MagRan-DM) abbiano spesso superato Static-DM nei regimi di sparsità moderata, Static-DM ha mostrato risultati competitivi o superiori nelle impostazioni di altissima sparsità ($S > 0.5$) utilizzando il tasso aggressivo $p=0.5$. Tuttavia, utilizzando il tasso conservativo $p=0.05$, i metodi DST hanno recuperato la superiorità anche nei regimi di alta sparsità.
• Dinamiche di Addestramento: I modelli sparsi hanno esibito dinamiche di addestramento stabili simili ai loro omologhi densi, suggerendo che il paradigma sparse-to-sparse non destabilizza il processo di addestramento della diffusione.
• Generazione Condizionale: Esperimenti preliminari su modelli a generazione condizionale (ImageNet e QuickDraw) hanno indicato che l'addestramento sparse-to-sparse è efficace anche in contesti condizionali, sebbene i modelli densi abbiano generalmente mantenuto un leggero vantaggio in ImageNet.

Significato e Rivendicazioni
L'articolo sostiene che l'addestramento sparse-to-sparse offre una via promettente per migliorare l'efficienza dei Modelli di Diffusione senza sacrificare la qualità della generazione. Addestrando reti sparse da zero, l'approccio affronta sia i costi di addestramento che quelli di inferenza, riducendo potenzialmente l'impronta di carbonio e i requisiti di memoria associati ai DM. Gli autori sottolineano che la selezione del metodo appropriato (Statico vs. Dinamico), del livello di sparsità e degli iperparametri (specificamente il tasso di potatura/rigenerazione) è fondamentale per il successo. Il lavoro suggerisce che, con la giusta configurazione, i DM sparsi possono essere un'alternativa valida ai modelli densi, consentendo un'implementazione più ampia e un'iterazione più rapida nella ricerca sull'IA generativa. Gli autori osservano che, sebbene l'hardware attuale spesso limiti l'accelerazione pratica della sparsità non strutturata, la riduzione del numero di parametri e dei FLOPs rimane un vantaggio teorico e pratico significativo, specialmente man mano che il supporto hardware per le operazioni sparse evolve.