Riepilogo Tecnico: Geometry-Aware Tabular Diffusion (GATD)

Definizione del Problema

I dati tabulari rimangono il formato dominante nelle applicazioni aziendali, sanitarie e scientifiche, eppure sintetizzare dati tabulari realistici per la condivisione preservando la privacy e l'aumento dei dati presenta sfide uniche. A differenza di immagini o testo, i dati tabulari esibiscono tipi di colonne eterogenei, complesse dipendenze inter-colonna e distribuzioni marginali altamente non gaussiane. Sebbene i modelli di diffusione siano emersi come una soluzione promettente (ad es., TabDDPM, TabSyn, TabDiff), essi si affidano tipicamente a meccanismi impliciti — come l'auto-attenzione nelle architetture transformer — per inferire le relazioni inter-colonna. Questo articolo postula che lasciare la struttura relazionale alla sola inferenza tramite l'obiettivo di denoising sia subottimale e si chiede se una struttura relazionale esplicita possa essere fornita come segnale di supervisione ausiliario capace di trasferirsi attraverso diverse architetture di denoising.

Metodologia

Gli autori introducono Geometry-Aware Tabular Diffusion (GATD), un framework che aumenta i denoiser di diffusione tabulare con caratteristiche geometriche di coppia esplicite calcolate direttamente dai valori delle colonne.

Rappresentazione delle Caratteristiche Geometriche

L'innovazione principale consiste nel mappare tutte le colonne (continue e categoriche) in uno spazio unificato normalizzato $v \in [-1, 1]$. Da questo spazio, il modello calcola due caratteristiche di coppia per ogni coppia di colonne $(i, j)$:

1. Angolo di Coppia ($\theta_{ij}$): $\theta_{ij} = \arctan(v_j - v_i)$. Cattura la relazione direzionale tra le colonne, limitata nell'intervallo $(-\pi/2, \pi/2)$.
2. Lunghezza di Coppia ($\ell_{ij}$): $\ell_{ij} = \frac{1}{2} \log(1 + (v_j - v_i)^2)$. Cattura l'entità della differenza, con una compressione logaritmica per le grandi differenze.

Architettura e Addestramento

GATD è implementato come un modulo "drop-in" attraverso tre distinti backbone di diffusione:

• MLP Residuo: L'istanza primaria, che estende un MLP residuo con input geometrici e teste ausiliarie.
• GNN: Utilizza il passaggio di messaggi condizionato dagli archi su un grafo completo di colonne, con le caratteristiche geometriche come attributi degli archi.
• Transformer: Utilizza un encoder transformer per colonna, con le caratteristiche geometriche proiettate e concatenate alla rappresentazione.

Input e Augmentation:
Il modello riceve input concatenati che includono embedding temporali, dati rumorosi e le caratteristiche geometriche calcolate ($\theta_{input}, \ell_{input}$). Fondamentalmente, l'architettura include teste di predizione ausiliarie per angoli e lunghezze.

• Addestramento: Il modello è addestrato con una funzione di perdita composta:
  $$L = L_{cont} + L_{cat} + \lambda_\theta L_{angle} + \lambda_\ell L_{length} + \lambda_c L_{consistency}$$
  Le perdite geometriche ($L_{angle}, L_{length}$) forniscono una supervisione diretta. Una perdita di consistenza ($L_{consistency}$) assicura che la geometria predetta corrisponda all'output denoisato. Gli autori notano che i termini geometrici costituiscono circa il 95% della perdita totale alla convergenza, un'inversione deliberata delle tipiche gerarchie di perdita per forzare la rete a interiorizzare la struttura inter-colonna.
• Inferenza: Durante il campionamento, le caratteristiche geometriche sono calcolate dallo stato corrente e fornite come input. L'angolo predetto ($\hat{\theta}$) viene concatenato allo stato nascosto per formare una rappresentazione aumentata ($h_{aug}$) che alimenta le teste di denoising. La testa della lunghezza è staccata durante la generazione, servendo solo come regolarizzatore durante l'addestramento.

Contributi Chiave

1. Supervisione Geometrica Esplicita: L'introduzione di caratteristiche di angolo e lunghezza di coppia sia come input che come target di predizione ausiliari per la diffusione tabulare.
2. Ablazione tra Supervisione e Capacità: Un'ablatore accoppiato all'architettura che dimostra che il guadagno di prestazioni è guidato dalla supervisione, non semplicemente dall'aggiunta di input geometrici o dall'aumento della capacità del modello. Una configurazione "InputsOnly" (caratteristiche geometriche presenti ma senza perdita geometrica) ha performato in modo indistinguibile da un baseline senza geometria ($d = -0.08$), mentre la versione supervisionata ha mostrato un effetto significativo ($d = 0.81$).
3. Portabilità Cross-Architettura: Il segnale geometrico agisce come un bias induttivo portabile, migliorando le prestazioni attraverso i backbone MLP, GNN e Transformer senza necessità di tuning specifico per l'architettura.
4. Istanza MLP Efficiente: Un compatto MLP-based GATD che eguaglia o supera lo stato dell'arte TabDiff (basato su Transformer) pur utilizzando in media 3,5 volte meno parametri (fino a 25 volte meno per i compiti di classificazione).
5. Guida Pratica: Risultati empirici sul tuning del peso della perdita, i passi di campionamento e la gestione di tipi di dati misti.

Risultati Sperimentali

Il metodo è stato valutato su 10 dataset benchmark (5 classificazione, 5 regressione) contro i baseline inclusi TabDiff, TabDDPM e STaSy.

• Fedeltà: GATD (istanza MLP) ha vinto in 8/10 i dataset su Shape (fedeltà della distribuzione marginale) e in 7/10 su Trend (preservazione della correlazione) rispetto a TabDiff. Su tutti e tre i backbone (MLP, GNN, Transformer), +GEOM ha vinto 27/30 celle Shape e 25/30 celle Trend.
• Utilità Downstream: Il metodo ha ridotto l'errore di Shape del 27% e l'errore di Trend del 20% in media rispetto a TabDiff. Ha colmato il 58,2% del divario rispetto alle prestazioni dei dati reali per AUROC/R2 e il 42,0% per F1/RMSE.
• Efficienza: Nonostante l'uso di 2,5 volte più epoche di addestramento (20.000 contro 8.000) e 20 volte più passi di campionamento (1000 contro 50), il backbone MLP più piccolo ha garantito un tempo di addestramento end-to-end mediamente 1,7 volte più veloce rispetto a TabDiff.
• Scalabilità: Su un dataset a tabella larga (APS Failure, $d=171$), GATD ha mantenuto prestazioni competitive, sebbene l'uso della memoria sia scalato quadraticamente ($O(d^2)$), in linea con i meccanismi di auto-attenzione.

Significato e Rivendicazioni

L'articolo sostiene che la supervisione relazionale esplicita è un bias induttivo portabile per la diffusione tabulare. Gli autori sostengono che, sebbene i meccanismi di attenzione possano apprendere implicitamente le relazioni tra le colonne, fornire target geometrici espliciti riduce il carico sul denoiser e accelera l'apprendimento.

I punti chiave enfatizzati dagli autori includono:

• La Supervisione è Essenziale: Il guadagno deriva dal compito di predizione ausiliario che forza la rete a interiorizzare la struttura, non dai soli input geometrici.
• Complementarità: La supervisione geometrica e l'attenzione sono complementari, non mutuamente esclusive; il segnale migliora i denoiser basati su transformer tanto quanto quelli basati su MLP.
• Modestia sulla Privacy: Il documento dichiara esplicitamente che la generazione di dati sintetici non fornisce garanzie formali di privacy. Avverte contro il "privacy-washing" e incoraggia l'accoppiamento della generazione sintetica con framework formali come la differential privacy (DPSGD).
• Limitazioni: Il metodo comporta una scalabilità computazionale $O(d^2)$ a causa delle caratteristiche di coppia, che diventa un collo di bottiglia per la memoria per tabelle molto larghe, pur rimanendo fattibile nei regimi valutati. I pesi della perdita sono euristici e potrebbero richiedere un tuning per dataset specifici (ad esempio, dataset con prevalenza di dati continui).