Sintesi Tecnica: FairDiffuseVQVAE

Definizione del Problema

I dati tabulari sintetici sono fondamentali per la condivisione che preservi la privacy, l'aumento dei dati e la mitigazione del bias dei classificatori a valle. Sebbene i modelli di diffusione allo stato dell'arte come TabDDPM e TabSyn raggiungano un'elevata fedeltà distributiva, essi ereditano i bias statistici dai dati di addestramento senza meccanismi per l'equità (fairness). Al contrario, gli esistenti generatori orientati alla fairness (ad es., DECAF, FairTGAN, FairTabDDPM) impongono tipicamente penalità esplicite di fairness durante l'addestramento. Questo approccio spesso costringe il modello a bilanciare la ricostruzione con perdite avversarie o ausiliarie, risultando in modesti guadagni di fairness a scapito di una significativa degradazione della qualità del campione (errore di stima della densità) o dell'utilità a valle.

Metodologia: FairDiffuseVQVAE

Gli autori propongono FairDiffuseVQVAE, un'architettura a due stadi che disaccoppia la fedeltà dalla fairness. Invece di termini di perdita competitivi, la fairness viene imposta come una proprietà della distribuzione di campionamento tramite raffinamento condizionale.

Stadio 1: Autoencoder VQ (Vector-Quantized) per la Fairness

Questo stadio si concentra esclusivamente sull'apprendimento di una rappresentazione fedele e compatta di dati tabulari di tipo misto, senza alcun vincolo di fairness.

• Architettura: Un autoencoder in stile VQGAN composto da un encoder ($E_\phi$), un codebook discreto ($Z$), un decoder ($G_\theta$) e un discriminatore a livello di riga ($D_\xi$).
• Processo: L'encoder mappa una riga $\bar{x}$ in token latenti $z_e$, che vengono quantizzati al valore più vicino nel codebook $z_q$. Il decoder ricostruisce la riga condizionata dall'attributo protetto $s$, mentre l'encoder rimane non condizionato.
• Perdite (Losses): Il modello minimizza la perdita di ricostruzione (MSE per i continui, Cross-Entropy per i categorici), la perdita di impegno del codebook (commitment loss) e una perdita GAN avversaria. Fondamentalmente, nessun termine di fairness è incluso in questo stadio.

Stadio 2: Raffinatore di Diffusione Condizionato nello Spazio di Input

Questo stadio raffina la ricostruzione dello Stadio 1 nello spazio di input per imporre la fairness.

• Architettura: Un raffinatore di diffusione continuo (stile DiffuseVAE) utilizzando una formulazione EDM (Elucidating the Design Space). Utilizza un denoiser MLP a 5 strati ($D_\psi$).
• Condizionamento: Il denoiser è condizionato su tre input:
  1. La ricostruzione congelata dello Stadio 1 ($\hat{\bar{x}}_{VQ}$).
  2. Il livello di rumore $\sigma$.
  3. L'attributo protetto $s$.
• Addestramento: Il modello è addestrato con Classifier-Free Guidance (CFG). Durante l'addestramento, il segnale di condizionamento $s$ viene rimosso stocasticamente (con probabilità $p_{cfg}=0.3$) per apprendere sia le distribuzioni condizionate $p(\bar{x}|s)$ che quelle non condizionate $p(\bar{x})$.
• Campionamento e Imposizione della Fairness:
  1. L'attributo protetto $s$ viene estratto da una distribuzione uniforme (ad es., $Bernoulli(0.5)$), anziché dalla marginale dei dati distorti.
  2. Indici casuali del codebook vengono decodificati per formare un tentativo iniziale.
  3. Un campionatore Heun EDM a 50 step raffina questo tentativo condizionato dal valore uniforme di $s$ e dalla ricostruzione dello Stadio 1.
  4. La scala di guida $w_{cfg}$ funge da manopola regolabile per controllare la forza del manifold condizionato.

Campionando $s$ in modo uniforme e condizionando il processo di diffusione su di esso, la distribuzione congiunta sintetica $p_{synth}(\bar{x}, s) = Unif(s) \cdot p(\bar{x}|s)$ soddisfa la Parità Demografica per costruzione.

Contributi Chiave

1. Architettura Innovativa: Introduzione di un framework a due stadi che combina un autoencoder in stile VQGAN con un raffinatore DiffuseVAE nello spazio di input, progettato specificamente per la sintesi tabulare equa.
2. Fairness al Tempo di Campionamento: Dimostrazione che la fairness può essere raggiunta senza esplicite penalità di perdita, sfruttando la Classifier-Free Guidance e il campionamento uniforme dell'attributo protetto durante l'inferenza.
3. Prestazioni allo Stato dell'Arte: Il metodo raggiunge il più alto rapporto medio di Parità Demografica (DPR) e il rapporto di Equalized Odds (EOR) più elevato sul benchmark di Yang et al. (2025), superando significativamente i precedenti baselines orientati alla fairness.
4. Alta Fedeltà: L'architettura ottiene l'errore medio di correlazione tra coppie di colonne più basso tra tutti i metodi pubblicati, superando persino l'alta fedeltà di TabSyn.
5. Riproducibilità: Una pipeline riproducibile integrata nel repository di TabSyn, che copre otto dataset e riporta una suite completa di metriche (densità, correlazione, AUC, DPR, EOR, DCR).

Risultati Sperimentali

Valutati sul benchmark di Yang et al. (2025) (Adult, Bank, COMPAS) e sul benchmark di TabSyn:

• Metriche di Fairness: FairDiffuseVQVAE ha raggiunto un DPR medio di 0.702 (un miglioramento del +47% rispetto a FairTabDDPM) e un EOR medio di 0.686 (un miglioramento del +100%).
• Metriche di Qualità: Ha ottenuto l'errore di correlazione tra coppie più basso (0.034), superando TabSyn (0.041).
• Trade-off di Utilità: Il metodo scambia esplicitamente l'utilità a valle per la fairness. Il TSTR (Train on Synthetic, Test on Real) AUC medio è stato di 0.708, circa 15 punti inferiore ai più forti baselines generativi profondi (ad es., TabSyn a 0.860). Gli autori attribuiscono ciò al disaccoppiamento delle feature dall'attributo protetto, impedendo ai classificatori a valle di sfruttare il bias.
• Privacy: I punteggi di Distanza dal Record Più Vicino (DCR) sono stati vicini all'ideale (0.5) per Adult e Bank, ma elevati (0.81) per il dataset più piccolo COMPAS, indicando una parziale memorizzazione nei regimi di dati ridotti.

Significato e Rivendicazioni

L'articolo sostiene che FairDiffuseVQVAE offra un'alternativa pratica ai metodi con base causale (come DECAF) che richiedono specifiche grafiche causali esplicite. Disaccoppiando la fedeltà (Stadio 1) dalla fairness (Stadio 2), l'architettura permette al modello di ottimizzare la ricostruzione senza competere con vincoli di fairness durante l'addestramento.

Gli autori sottolineano che il trade-off utilità-fairness è esplicito e quantificabile. Sostengono che per la sintesi orientata alla fairness, sia il "comportamento corretto" che un classificatore a valle addestrato su dati sintetici perda accuratezza se tale accuratezza derivava da correlazioni distorte nei dati reali. Il metodo fornisce un meccanismo regolabile (tramite la guida CFG) per controllare questo trade-off senza dover riaddestrare il modello.

Il documento conclude che, sebbene l'approccio sia empirico e manchi di garanzie teoriche (a differenza dei metodi causali), esso fornisce forti risultati empirici e un framework flessibile per il controllo del comportamento generativo al tempo di campionamento. Gli autori avvertono che i dati sintetici non dovrebbero essere trattati come una soluzione di fairness autonoma e raccomandano di combinare il loro metodo con audit qualitativi e interventi lato classificatore.