Sintesi Tecnica: Quando due punteggi sono migliori di uno? Investigazione sugli ensemble di modelli di diffusione

Definizione del Problema

Sebbene l'ensembling sia una tecnica ben consolidata nell'apprendimento supervisionato per migliorare la robustezza e l'accuratezza del modello aggregando molteplici predittori, la sua applicazione ai modelli di diffusione basati sul punteggio (score-based) non condizionali rimane ampiamente inesplorata. Le strategie standard per migliorare i modelli di diffusione implicano tipicamente l'aumento della profondità del modello o della durata dell'addestamento, il che comporta costi computazionali significativi. Gli autori investigano se l'ensemble di molteplici modelli di diffusione — specificamente aggregando le loro stime delle funzioni di punteggio (score functions) — fornisca benefici tangibili per la modellazione generativa, in particolare in termini di qualità percettiva dei campioni.

Metodologia

Lo studio impiega un framework di ensemble "democratico" in cui $K$ modelli addestrati indipendentemente contribuiscono equamente al processo di aggregazione. La ricerca copre sia approcci basati sul deep learning (reti neurali) che approcci non deep (alberi decisionali).

1. Costruzione dell'Ensemble

• Deep Ensembles (DE): Gli autori addestrano $K$ U-Net (o architetture ADM) indipendentemente sullo stesso dataset utilizzando diversi seed casuali. Esplorano anche il Monte Carlo (MC) Dropout come alternativa leggera all'addestramento di reti separate.
• Ensemble di Alberi Decisionali: Per i dati tabulari, utilizzano Random Forest, addestrando alberi distinti a vari livelli di rumore per approssimare la funzione di punteggio.

2. Strategie di Aggregazione

Il fulcro dell'indagine risiede nel modo in cui combinare i $K$ predittori di punteggio $\{s^{(k)}_\theta(x, t)\}_{k=1}^K$ ad ogni timestep $t$ durante il processo di diffusione inversa. Il documento valuta diverse regole di aggregazione:

• Media Aritmetica: L'approccio standard, che media i punteggi per coordinata.
• Media Geometrica e Mediana: Alternative di aggregazione per coordinata.
• Caratteristica Dominante (Dominant Feature): Selezionare la componente con il valore assoluto maggiore tra tutti gli esperti per ogni coordinata.
• Mixture of Experts (MoE): Selezionare casualmente un singolo modello esperto prima della fase di campionamento.
• Campionamento Alternato: Selezionare casualmente un diverso esperto ad ogni livello di rumore $t_n$.
• Somma dei Punteggi: Sommare i punteggi (interpretati come un prodotto di esperti non normalizzato).

3. Analisi Teorica

Gli autori forniscono approfondimenti teorici sulla relazione tra l'aggregazione del punteggio e la composizione della densità. Analizzano se la media dei punteggi corrisponda al campionamento da una distribuzione "Product of Experts" (PoE). Dimostrano che la diffusione (aggiunta di rumore) e la composizione della densità (PoE) non commutano, il che significa che la media dei punteggi ai passi intermedi non corrisponde strettamente al campionamento dalla media geometrica delle distribuzioni iniziali dei dati.

4. Setup Sperimentale

Gli esperimenti sono stati condotti su:

• Dataset di Immagini: CIFAR-10 (32x32) e FFHQ (256x256).
• Dataset Tabulari: Iris, Airfoil Self-Noise e Wine Quality.
• Metriche: Fréchet Inception Distance (FID), Kernel Inception Distance (KID), perdita di Denoising Diffusion Score Matching (LDDSM) e distanza di Wasserstein (per i dati tabulari).

Risultati Chiave

1. Miglioramento Limitato della Qualità Percettiva

Contrariamente al successo dell'ensembling nell'apprendimento supervisionato, gli autori riscontrano che l'ensemble di modelli di diffusione non riesce a migliorare costantemente le metriche di qualità percettiva (FID, KID).

• Su CIFAR-10 e FFHQ, la media aritmetica dei punteggi produce generalmente un miglioramento marginale o nullo rispetto alla media dei singoli modelli e non supera mai il miglior singolo modello.
• In alcuni casi (ad esempio, CIF_AR-10 con configurazioni specifiche), l'ensemble ha performato peggio del modello individuale più debole.
• Ciò è vero per varie strategie di aggregazione (Media geometrica, Mediana, Caratteristica dominante), con l'eccezione della Mixture of Experts (MoE) in contesti specifici.

2. Miglioramento dell'Obiettivo di Addestramento

Mentre le metriche percettive ristagnano, la perdita LDDSM diminuisce costantemente all'aumentare della dimensione dell'ensemble $K$. Ciò si allinea alle aspettative teoriche basate sulla disuguaglianza di Jensen, dove la media degli stimatori riduce la varianza nell'obiettivo di score matching. Tuttavia, questa riduzione della perdita di addestramento non si traduce in una migliore qualità del campione.

3. Casi di Successo Specifici

• Mixture of Experts (MoE): Su FFHQ, la MoE ha superato persino il miglior modello individuale. Ciò suggerisce che sfruttare la variabilità inter-modello campionando da un singolo esperto per esecuzione può essere benefico, sebbene non costituisca un vero "ensemble" nel senso di combinare le predizioni per un singolo campione.
• Dati Tabulari (Caratteristica Dominante): Per le Random Forest sui dati tabulari, la strategia di aggregazione Dominant Feature ha superato significativamente la media aritmetica e altri metodi. Gli autori attribuiscono ciò a una sottostima sistematica dell'entità del rumore da parte della semplice media, che la strategia Dominant corregge.

4. Il Disconnessione tra Perdita e Qualità

Lo studio evidenzia una fondamentale disconnessione: la perdita di score matching (ciò che il modello ottimizza) e le metriche di qualità percettiva (come il modello viene valutato) evolvono in modo diverso. Perturbare la funzione di punteggio ha portato a variazioni caotiche della FID che non potevano essere previste dai cambiamenti nella perdita, rafforzando l'idea che un'alta verosimiglianza o un basso errore di score-matching non garantiscano un'alta qualità percettiva.

Significato e Rivendicazioni

Il contributo primario del documento è un'investigazione empirica e teorica rigorosa che dimostra come le tecniche standard di ensembling non forniscano gli stessi benefici per i modelli di diffusione come per i modelli supervisionati.

• Guadagni Modesti: Gli autori affermano che l'ensemble produce solo miglioramenti marginali, se non nulli, nella qualità del campione, nonostante le costanti riduzioni dell'obiettivo di addestramento.
• Approfondimento Teorico: Chiariscono che la media dei punteggi passo dopo passo non equivale al campionamento da una distribuzione Product of Experts a causa della non-commutatività tra diffusione e composizione della densità.
• Analisi Costo-Beneficio: Dato il sostanziale aumento dei costi di addestramento e campionamento, l'ensemble standard offre ritorni limitati per i modelli di diffusione non condizionali.
• Eccezioni: Il documento identifica nicchie specifiche in cui l'ensemble aiuta: (1) quando i modelli sono sufficientemente complementari (MoE), e (2) quando si utilizzano regole di aggregazione specifiche per i dati tabulari (Dominant Feature) per correggere il bias.

Gli autori concludono che, sebbene l'ensemble migliori la stima del punteggio, il divario tra lo score matching e la qualità percettiva impedisce a questi miglioramenti di manifestarsi in immagini generate migliori, suggerendo che i progressi futuri richiedano strategie che vadano oltre la semplice aggregazione del punteggio.