Riepilogo Tecnico: Guida Libera da Classificatori Fattorizzata

Enunciato del Problema

La generazione controfattuale mira a simulare esiti ipotetici realistici sotto interventi causali (ad esempio, "Come apparirebbe la progressione della malattia di questo paziente se avesse ricevuto il trattamento A invece del B?"). Sebbene i modelli di diffusione combinati con l'inversione DDIM e la Guida Libera da Classificatori (CFG) siano diventati lo stato dell'arte per questo compito, gli autori identificano una limitazione critica nella CFG standard: l'amplificazione degli attributi.

La CFG standard applica un singolo peso di guida globale ($\omega$) all'intero embedding di condizionamento. Nella generazione controfattuale, questo rafforzamento uniforme amplifica involontariamente non solo gli attributi intervenuti, ma anche gli attributi che dovrebbero rimanere invarianti sotto l'intervento causale. Questa amplificazione "fuori bersaglio" viola il grafo causale previsto, modifica attributi al di fuori del percorso causale e fa sì che la traiettoria di generazione si discosti dalla varietà dei dati originali, degradando così la preservazione dell'identità e la validità assiomatica dei controfattuali inferiti.

Metodologia: Guida Libera da Classificatori Fattorizzata (FCFG)

Per mitigare l'amplificazione spuria degli attributi senza alterare il modello di diffusione sottostante, gli autori propongono la Guida Libera da Classificatori Fattorizzata (FCFG). Si tratta di una tecnica flessibile, agnostica rispetto al modello, eseguita al momento dell'inferenza, che consente un controllo per attributo seguendo un grafo causale.

1. Embedding di Condizionamento Diviso per Attributi

Il metodo introduce un cambiamento strutturale nel meccanismo di condizionamento. Invece di intrecciare più attributi in un singolo vettore, la FCFG impiega un encoder diviso per attributi. Ogni attributo genitore semantico $pa_i$ viene incorporato indipendentemente tramite una Multi-Layer Perceptron (MLP) dedicata, $E_i$. Il vettore di condizionamento finale $c$ è formato concatenando questi embedding indipendenti:
$$c = \text{concat}(E_1(pa_1), E_2(pa_2), \dots, E_K(pa_K))$$
Questa architettura preserva l'identità di ciascun attributo nello spazio di embedding, permettendo la null-tokenizzazione selettiva o la modulazione di singoli attributi durante l'inferenza.

2. Formulazione della Guida per Gruppi

La FCFG partiziona gli attributi semantici in $M$ gruppi disgiunti (ad esempio, un gruppo "interessato" contenente gli attributi intervenuti e i loro discendenti, e un gruppo "invariante" contenente gli attributi che ci si aspetta rimangano invariati). Sotto l'ipotesi che questi gruppi siano condizionalmente indipendenti data la variabile latente $x_t$, gli autori derivano una posterior proxy fattorizzata:
$$p_\omega(x_t | pa) \propto p(x_t) \prod_{m=1}^M p(pa^{(m)} | x_t)^{\omega_m}$$
dove $\omega_m$ è un peso di guida distinto per il gruppo $m$.

La previsione del rumore guidata $\epsilon_{\text{FCFG}}$ è calcolata sommando la previsione incondizionata alle differenze ponderate per ciascun gruppo:
$$\epsilon_{\text{FCFG}}(x_t, t, c) = \epsilon_\theta(x_t, t, \emptyset) + \sum_{m=1}^M \omega_m \left( \epsilon_\theta(x_t, t, c^{(m)}) - \epsilon_\theta(x_t, t, \emptyset) \right)$$
Qui, $c^{(m)}$ è un embedding mascherato in cui solo gli attributi appartenenti al gruppo $m$ sono mantenuti, mentre gli altri sono sostituiti con token nulli.

3. Integrazione con l'Inferenza Controfattuale

La FCFG è integrata nella pipeline standard di inferenza controfattuale in tre passaggi (Abduzione, Azione, Predizione):

• Abduzione: Utilizza l'inversione DDIM per stimare il rumore esogeno $u$ dall'immagine osservata e dagli attributi fattuali.
• Azione: Applica l'intervento causale per generare attributi controfattuali.
• Predizione: Utilizza la traiettoria DDIM inversa guidata dalla FCFG. Crucialmente, il passaggio di predizione applica pesi distinti ($\omega_{\text{aff}}$ per gli attributi interessati, $\omega_{\text{inv}}$ per gli attributi invarianti) per indirizzare la generazione verso l'intervento preservando al contempo i fattori invarianti.

Il framework è progettato per essere compatibile con schemi di guida avanzati, inclusi CFG++ e Guida Proiettata Adattiva (APG), applicando la stessa decomposizione per gruppi alle rispettive formulazioni del punteggio.

Contributi Chiave

1. Identificazione del Fallimento Indotto dalla CFG: Gli autori analizzano e dimostrano che il meccanismo di guida globale nella CFG standard è una fonte primaria di amplificazione degli attributi, causando cambiamenti spurii negli attributi invarianti anche quando il grafo causale è noto.
2. Proposta della FCFG: Introducono la Guida Libera da Classificatori Fattorizzata, una semplice estensione che assegna pesi di guida separati ai gruppi di attributi. Ciò consente un controllo fine-granulare e interpretabile sul processo generativo senza richiedere modifiche all'architettura del modello o riaddestramento.
3. Validazione Empirica: Attraverso esperimenti estensivi su dataset di immagini naturali (CelebA-HQ) e mediche (EMBED, MIMIC-CXR), il documento dimostra che la FCFG riduce significativamente l'amplificazione fuori bersaglio, mantenendo o migliorando l'efficacia dell'intervento.

Risultati Sperimentali

Gli autori valutano la FCFG rispetto alla CFG standard e ad altri metodi di generazione controfattuale (HVAE, HVAE-soft, SA-DCG) su tre dataset:

• CelebA-HQ: Negli interventi mirati ad attributi come "Sorridente", "Maschio" o "Giovane", la CFG globale con pesi di guida elevati ($\omega \ge 2.0$) ha causato cambiamenti involontari significativi negli attributi non intervenuti (ad esempio, cambiando età o identità quando era stato preso di mira solo il sorriso). La FCFG, utilizzando un peso inferiore per gli attributi invarianti ($\omega_{\text{inv}} \approx 1.0-1.2$) e un peso superiore per gli attributi interessati ($\omega_{\text{aff}} \ge 2.0$), ha ottenuto cambiamenti comparabili nell'attributo target mantenendo stabili gli attributi invarianti. Ciò ha portato a un Errore Assoluto Medio (MAE) e a punteggi LPIPS inferiori per la reversibilità, indicando una migliore preservazione dell'identità.
• EMBED (Mammografia al Seno): Interventi sulla densità mammaria hanno portato, con la CFG globale, ad amplificare involontariamente la presenza di marcatori cutanei circolari. La FCFG ha soppresso questo spostamento spurio, mantenendo prestazioni stabili sull'attributo non intervenuto.
• MIMIC-CXR (Radiografie del Torace): Interventi sui reperti di malattia ("finding") con CFG globale hanno portato a cambiamenti involontari negli attributi di razza e sesso. La FCFG ha localizzato con successo i cambiamenti sul reperto di malattia, riducendo le variazioni AUC fuori bersaglio da valori positivi elevati (che indicavano amplificazione) a valori vicini allo zero o negativi.

In tutti i casi, la FCFG ha migliorato il compromesso tra efficacia dell'intervento e amplificazione fuori bersaglio. Inoltre, la FCFG ha dimostrato compatibilità con CFG++ e APG, mitigando anche l'amplificazione degli attributi intrinseca a tali metodi avanzati.

Significato e Affermazioni

Il documento afferma che la FCFG affronta una limitazione fondamentale nei modelli di diffusione guidati per il ragionamento causale. Decoppiando il segnale di guida attraverso gruppi definiti semanticamente o causalmente, la FCFG consente la generazione di controfattuali che sono assiomaticamente più solidi (aderenti al grafo causale) e più reversibili (preservando fedelmente l'identità).

Gli autori sottolineano che la FCFG è un rimedio semplice, eseguito al momento dell'inferenza, che non richiede:

• Obiettivi di addestramento aggiuntivi basati su predittori (a differenza delle varianti HVAE).
• Framework complessi di diffusione-autoencoder (a differenza di SA-DCG).
• Scoperta causale (presuppone l'accesso a un grafo causale pre-specificato o a una raggruppamento semantico).

Il lavoro suggerisce che la natura "globale" della CFG standard è un collo di bottiglia per un'inferenza controfattuale affidabile e che fattorizzare il segnale di guida è un passo necessario per una modifica delle immagini precisa e controllata in contesti causali. Gli autori notano le limitazioni, specificamente che la FCFG dipende da variabili di condizionamento strutturate e raggruppamenti pre-specificati, e che i pesi di guida sono attualmente scelti empiricamente piuttosto che in modo adattivo.