Sintesi Tecnica: Verso un Controllo Più Generale dei Modelli di Diffusione Utilizzando la Guida di Jeffrey

1. Definizione del Problema

I modelli di diffusione offrono una significativa flessibilità nei compiti generativi, permettendo il controllo dell'output durante la fase di campionamento attraverso meccanismi di guida senza dover riaddestrare la rete neurale sottostante. Sebbene le tecniche di guida standard (ad esempio, la guida tramite classificatore) gestiscano efficacemente il campionamento condizionato per classi specifiche, esse spesso falliscono nel rispondere a obiettivi più complessi dove la distribuzione target è implicita o definita solo tramite euristiche.

Gli approcci attuali per compiti quali l'equità (fairness), il controllo dei concetti e la generazione compositiva si affidano frequentemente a modifiche euristiche della dinamica di campionamento. Questi metodi inclinano la distribuzione originale ma mancano di una distribuzione target esplicitamente definita, rendendo l'obiettivo reale difficile da caratterizzare o interpretare. Esiste la necessità di un framework principato che possa aggiornare le distribuzioni marginali verso un target prescritto preservando la struttura condizionale del modello, abilitando così il controllo su proprietà statistiche complesse (ad esempio, l'indipendenza degli attributi o il matching della distribuzione degli embedding) che il condizionamento standard non può esprimere.

2. Metodologia: Guida di Jeffrey

Il paper propone la guida di Jeffrey, un framework che sfrutta la regola di condizionamento di Jeffrey per aggiornare i modelli di diffusione. A differenza degli approcci basati su Bayes che si condizionano su eventi specifici (condizionamento standard), la regola di Jeffrey permette di condizionarsi su predicati complessi, come il matching di una specifica distribuzione marginale.

Fondamento Teorico

Dato un modello congiunto $p(x, y)$ dove $x$ rappresenta lo spazio delle immagini e $y$ rappresenta gli attributi/caratteristiche, l'obiettivo è aggiornare la marginale $p(y)$ verso una distribuzione target $p^\star(y)$ preservando la struttura condizionale $p(x|y)$. Sotto la regola di Jeffrey, la distribuzione congiunta aggiornata è definita come:
$$p^\star(x, y) = p(x|y)p^\star(y)$$
Questo aggiornamento minimizza la perturbazione della distribuzione congiunta originale (una proiezione informativa) pur soddisfacendo il vincolo marginale.

Il paper deriva una formulazione di riponderazione per la marginale su $x$:
$$p^\star(x) = p(x) \int p(y|x)\rho(y) dy$$
dove $\rho(y) = p^\star(y)/p(y)$ è il rapporto di densità. Nei casi in cui le caratteristiche sono derivate deterministicamente dalle immagini ($y = u(x)$), ciò si semplifica in:
$$p^\star(x) = p(x)\rho(u(x))$$

Implementazione nei Modelli di Diffusione

Per applicare questo approccio ai modelli di diffusione basati su score, gli autori derivano una funzione di score guidata. Lo score standard $\nabla_{x_t} \log p_t(x_t)$ viene aumentato con un termine di correzione basato sul rapporto di densità:
$$\nabla_{x_t} \log \tilde{p}^\star_t(x_t) = \nabla_{x_t} \log p_t(x_t) + \nabla_{x_t} \log \int p(y|\hat{x}_0(x_t, t))\rho(y) dy$$
dove $\hat{x}_0(x_t, t)$ è una stima del campione pulito ottenuta tramite la formula di Tweedie.

Per mappature di caratteristiche deterministiche (ad esempio, spazi di embedding), la guida si semplifica in:
$$\nabla_{x_t} \log \tilde{p}^\star_t(x_t) = \nabla_{x_t} \log p_t(x_t) + \nabla_{x_t} \log \rho(u(\hat{x}_0(x_t, t)))$$

Il framework introduce un iperparametro $\lambda$ per scalare il termine di correzione, controllando il compromesso tra qualità del campione e fedeltà alla distribuzione target. Il rapporto di densità $\rho$ è stimato utilizzando un classificatore binario addestrato per distinguere tra campioni della distribuzione target e la distribuzione attuale del modello.

3. Contributi Principali

Il paper apporta tre contributi primari:

1. Framework di Guida di Jeffrey: Un nuovo metodo di guida "plug-and-play" che generalizza la guida tramite classificatore standard. Utilizza la regola di Jeffrey per far corrispondere le distribuzioni di output generate a arbitrarie distribuzioni target, abilitando il controllo su obiettivi precedentemente inaccessibili alla guida standard.
2. Matching della Distribuzione degli Embedding: Una prova di concetto che dimostra la capacità di far corrispondere le distribuzioni di output del modello a una distribuzione target in uno spazio di embedding (specificamente, gli embedding Inception). Questa applicazione riduce significativamente la Fréchet Inception Distance (FID) senza richiedere riaddestramento.
3. Controllo della Distribuzione degli Attributi per l'Equità: Una dimostrazione del controllo delle distribuzioni degli attributi delle immagini per raggiungere obiettivi di equità. Il metodo implementa con successo la parità di genere (matching di distribuzione) e decorrela gli attributi (ad esempio, "Maschio" e "Giovane") nei volti generati, compiti che la guida standard del classificatore non può affrontare direttamente.

4. Risultati Sperimentali

Gli autori hanno valutato la guida di Jeffrey su dataset CIFAR-10, FFHQ e CelebA-HQ.

Guida degli Embedding (Riduzione della FID)

• Configurazione: Il metodo ha preso come target la distribuzione degli embedding Inception dei dati di training.
• Risultati: Su CIFAR-10, la FID è migliorata da $\approx 5.88$ a $\approx 2.55$ (set di training) e da $\approx 9.76$ a $\approx 6.71$ (set di test). Su FFHQ, la FID è scesa da $\approx 20.13$ a $\approx 12.91$.
• Osservazione: Gli autori notano che, sebbene la FID sia diminuita drasticamente, i cambiamenti visivi alle immagini generate sono stati minimi, suggerendo limitazioni della FID come metrica puramente percettiva. I migliori risultati sono stati ottenuti applicando la guida solo agli ultimi step di denoising ($\delta=10$).

Applicazioni di Equità (Fairness)

• Parità di Genere (Matching di Distribuzione): Su CelebA-HQ, il metodo ha regolato la proporzione degli attributi "Maschio" da $\approx 0.296$ a $\approx 0.522$ (target 0.5), riducendo la Discrepanza di Equità (FD) da $0.288$a$0.032$. Ciò è stato ottenuto con una degradazione minima della FID ($21.61$ contro $22.30$ del baseline).
• Decorrelazione degli Attributi: Il metodo ha decorrelato con successo gli attributi "Maschio" e "Giovane", riducendo il coefficiente di correlazione di Pearson da $-0.541$ a quasi zero ($0.005$) con $\lambda=3.0$. Questo è stato ottenuto riducendo il modo congiunto dominante (campioni femmine giovani) mantenendo le distribuzioni marginali relativamente stabili, con un lieve aumento della FID di circa un punto.
• Confronto: Rispetto a un baseline di campionamento ancestrale combinato con la guida standard, la guida di Jeffrey ha ottenuto metriche di equità simili con costi di FID inferiori e ha modificato meno campioni, poiché bilancia le direzioni di classe continuamente lungo la traiettoria di campionamento invece di spingere i campioni interamente verso una singola classe.

5. Significato e Rivendicazioni

Il paper posiziona la guida di Jeffrey come un'estensione principesca del controllo dei modelli di diffusione. La sua importanza risiede in:

• Generalizzazione: Recontestualizza la guida tramite classificatore standard come un caso speciale del condizionamento di Jeffrey, unificando così questi approcci sotto un quadro teorico più ampio.
• Espressività: Abilita la specifica di distribuzioni target esplicite per obiettivi complessi (come l'indipendenza degli attributi) che prima erano raggiungibili solo attraverso metodi euristici o impliciti.
• Praticità: Il metodo non richiede riaddestramento del modello di diffusione, richiedendo solo l'aggiunta di un termine di correzione durante il campionamento e l'addestramento di un leggero stimatore del rapporto di densità.

Gli autori mantengono un tono modesto, inquadrando il lavoro come una "prova di concetto". Riconoscono che l'attuale implementazione si affida a un classificatore per stimare i rapporti di densità, similmente a come funzionava la prima guida tramite classificatore, ed esprimono la speranza che il lavoro futuro evolverà verso varianti classifier-free. Notano inoltre che, sebbene il metodo offra una nuova potenza espressiva per applicazioni benefiche (equità, mitigazione della memorizzazione), porta anche il rischio di potenziare attori malintenzionati nel generare output nefandi.