Cascaded Flow Matching for Heterogeneous Tabular Data with Mixed-Type Features

1. Enunciato del Problema

Il documento affronta la sfida di generare dati sintetici ad alta fedeltà per dataset tabulari eterogenei. Questi dataset contengono una miscela di:

• Caratteristiche categoriali (stati discreti).
• Caratteristiche numeriche continue.
• Caratteristiche di tipo misto: Caratteristiche numeriche che esibiscono sia distribuzioni continue che masse puntuali discrete (ad esempio, valori a zero inflazionati, a uno inflazionati o valori mancanti).

Principali Sfide Identificate:

• Disallineamento Strutturale: I modelli esistenti basati su diffusione e flussi spesso impongono un obiettivo generativo unificato su tutti i tipi di caratteristiche. Tuttavia, i dati categoriali e continui si basano su ipotesi strutturali diverse (supporto discreto vs. densità continua, massa di probabilità vs. funzioni di densità).
• Ripesatura Implicita: Combinare questi tipi sotto un unico obiettivo porta a una ripesatura implicita delle caratteristiche, dove un tipo domina il processo di apprendimento, degradando la qualità dell'altro.
• Complessità del Tipo Misto: I modelli standard faticano a generare caratteristiche con esiti discreti (come valori mancanti o zeri inflazionati) incorporati all'interno di una distribuzione continua. Spesso non riescono a catturare la specifica massa di probabilità richiesta per questi stati discreti.
• Bilanciamento della Loss: Gli approcci precedenti richiedono la regolazione manuale dei pesi relativi della loss tra caratteristiche categoriali e numeriche per prevenire la dominanza di una sull'altra, il che è difficile da scalare e ottimizzare.

2. Metodologia: TabCascade

Gli autori propongono TabCascade, un nuovo framework di flow matching a cascata che scompone il compito di generazione in fasi a bassa e alta risoluzione.

A. Quadro Concettuale: Risoluzione nei Dati Tabulari

Invece della risoluzione visiva (pixel), gli autori definiscono la risoluzione in base alla granularità delle caratteristiche:

• Bassa Risoluzione ($x_{low}$): Comprende tutte le caratteristiche categoriali ($x_{cat}$) e una rappresentazione discretizzata, categoriale ($z$) delle caratteristiche numeriche ($x_{num}$).
• Alta Risoluzione ($x_{high}$): I dettagli continui a grana fine delle caratteristiche numeriche.

B. La Pipeline a Cascata

La distribuzione congiunta è fattorizzata come:
$$p_\theta(x_{cat}, x_{num}) = \sum_{z} p_\theta^{high}(x_{num} | z, x_{cat}) \cdot p_\theta^{low}(z, x_{cat})$$

1. Modello a Bassa Risoluzione ($p_\theta^{low}$):

   • Apprende la distribuzione congiunta delle caratteristiche categoriali e dei latenti numerici discretizzati ($z$).
   • Codificatore: Utilizza un Albero di Regressione Distribuzionale (DT) (o un Modello a Mistura Gaussiana) per mappare i valori numerici continui $x_{num}$ in categorie discrete $z$.
   • Gestione dei Tipi Misti: La discretizzazione $z$ codifica esplicitamente stati speciali come "mancante" ($c_{miss}$) o "inflazionato" ($c_{infl}$). Se $z$ indica uno stato mancante, il modello ad alta risoluzione produce deterministicamente un valore mancante, eliminando la necessità di apprendere questa complessa massa di probabilità durante la fase ad alta risoluzione.
   • Scelta del Modello: Gli autori utilizzano CDTD (Continuous Diffusion for Mixed-Type Tabular Data) come generatore a bassa risoluzione.

2. Modello ad Alta Risoluzione ($p_\theta^{high}$):

   • Genera i valori numerici dettagliati $x_{num}$ condizionati all'output a bassa risoluzione ($x_{low} = (x_{cat}, z)$).
   • Mascheramento: Se $z$ indica uno stato discreto (ad esempio, mancante), la loss per quella specifica caratteristica viene mascherata, permettendo al modello di concentrare la capacità sull'apprendimento dei dettagli continui delle caratteristiche non discrete.
   • Flow Matching: Utilizza il Flow Matching per apprendere un campo vettoriale che trasforma una distribuzione sorgente nella distribuzione target.

C. Innovazioni Tecniche Novose

Per migliorare la generazione ad alta risoluzione, TabCascade introduce due meccanismi chiave:

1. Accoppiamento Dipendente dai Dati:

   • Invece di campionare il rumore sorgente $x_0$ da una Gaussiana standard $N(0, I)$, la sorgente è condizionata su $z$.
   • $x_0 = \mu(z) + \sigma(z)\epsilon$, dove $\mu(z)$ e $\sigma(z)$ sono la media e la varianza della specifica componente Gaussiana nel codificatore DT che ha generato $z$.
   • Vantaggio: Questo sposta la distribuzione sorgente più vicina alla distribuzione target nello spazio latente, riducendo significativamente il costo di trasporto (la distanza che il flusso deve percorrere). Gli autori dimostrano formalmente che questo stringe il limite del costo di trasporto rispetto all'accoppiamento indipendente.

2. Percorso di Probabilità Condizionato Guidato:

   • Introduce programmi temporali specifici per le caratteristiche e apprendibili $\gamma_t(x_{low})$.
   • Il percorso di probabilità è definito come:
     $$x_t = \gamma_t(x_{low})x_1 + (1 - \gamma_t(x_{low}))[\mu(z) + \sigma(z)\epsilon]$$
   • Ciò permette al modello di apprendere traiettorie non lineari adattate a specifici gruppi di caratteristiche definiti dalle informazioni a bassa risoluzione, piuttosto che utilizzare un percorso lineare fisso.

3. Principali Contributi

1. Primo Modello di Diffusione a Cascata per Dati Tabulari: Propone il primo framework per applicare un approccio a cascata (da bassa ad alta risoluzione) alla generazione di dati tabulari.
2. Generazione di Caratteristiche di Tipo Misto: Il primo modello di diffusione progettato esplicitamente per gestire caratteristiche di tipo misto (continue + masse puntuali discrete come valori mancanti/inflazionati) separando la generazione dello stato discreto dal raffinamento continuo.
3. Garanzia Teorica: Fornisce una prova formale che l'accoppiamento dipendente dai dati proposto stringe il limite del costo di trasporto, giustificando teoricamente i guadagni di efficienza.
4. Bilanciamento Senza Loss: Separando i compiti, il modello evita la necessità di regolare i pesi relativi della loss tra i tipi di caratteristiche, poiché il modello a bassa risoluzione gestisce la struttura "facile" categoriale/discreta, e il modello ad alta risoluzione si concentra esclusivamente sui dettagli numerici.

4. Risultati Sperimentali

Il modello è stato valutato su 12 dataset diversificati (inclusi Adult, Airlines, Diabetes, ecc.) rispetto a baseline all'avanguardia (CTGAN, TVAE, TabDDPM, TabSyn, TabDiff, CDTD).

• Punteggio di Rilevamento (Metrica Principale): TabCascade ha ottenuto un miglioramento del 51,9% nel punteggio di rilevamento rispetto alla migliore baseline (CDTD). Questa metrica misura quanto bene un classificatore può distinguere i dati reali da quelli sintetici; un punteggio più alto indica che i dati sintetici sono indistinguibili da quelli reali.
• Fedeltà Distribuzionale:
  • Caratteristiche Numeriche: Miglioramenti significativi nella Distanza di Wasserstein (WD) e nei punteggi di Forma per le caratteristiche numeriche, indicando una migliore cattura delle distribuzioni continue e delle strutture di tipo misto.
  • Caratteristiche Categoriali: Le prestazioni sono rimaste competitive con CDTD, confermando che il modello a bassa risoluzione gestisce efficacemente i dati categoriali.
• Dipendenze tra Caratteristiche: Migliorati i punteggi Trend (misto), dimostrando che l'approccio a cascata cattura con successo le dipendenze tra caratteristiche categoriali e numeriche senza la penalità "dividi e conquista" spesso osservata nei modelli sequenziali.
• Utilità a valle: Ha ottenuto un punteggio di Efficienza dell'Apprendimento Automatico (MLE) inferiore del 30%, il che significa che i modelli addestrati sui dati sintetici di TabCascade hanno funzionato più vicino ai modelli addestrati su dati reali nelle attività a valle.
• Studi di Ablazione: Hanno confermato che sia l'accoppiamento dipendente dai dati che i percorsi non lineari sono critici per le prestazioni. Il codificatore ad Albero di Regressione Distribuzionale (DT) ha superato il codificatore a Modello a Mistura Gaussiana (GMM) grazie a una granularità più fine e a una minore sovrapposizione nei cluster.

5. Significato e Impatto

• Realismo: TabCascade stabilisce un nuovo stato dell'arte per la generazione di dati tabulari sintetici realistici, in particolare per dataset complessi contenenti valori mancanti, zeri o altre anomalie discrete nelle colonne numeriche.
• Efficienza: Scomponendo il problema, il modello apprende i difficili "dettagli" (distribuzioni numeriche) in modo più efficiente, poiché non spreca capacità tentando di apprendere strutture categoriali grezze simultaneamente.
• Generalizzabilità: Il framework è modulare; il componente a bassa risoluzione può essere sostituito con altri generatori categoriali (ad esempio ARF), e l'approccio si generalizza a strutture di tipo misto arbitrarie.
• Compromesso sulla Privacy: Il documento nota che una fedeltà più elevata (migliori punteggi di rilevamento) avvicina naturalmente i campioni alla distribuzione dei dati originali, il che potrebbe aumentare i rischi per la privacy (misurati tramite Attacchi di Inferenza di Appartenenza). Tuttavia, gli autori sottolineano che il modello stesso è uno strumento per la generazione e che le garanzie di privacy richiederebbero meccanismi aggiuntivi come la privacy differenziale.

In sintesi, TabCascade rappresenta un cambiamento di paradigma nella modellazione generativa tabulare trattando la generazione dei dati come un processo gerarchico, sfruttando le informazioni strutturali a bassa risoluzione per guidare la generazione dei dettagli ad alta risoluzione, risolvendo così il problema di lunga data della generazione di caratteristiche di tipo misto.