Evaluating Inter-Column Logical Relationships in Synthetic Tabular Data Generation

Sintesi Tecnica: Valutazione delle Relazioni Logiche Inter-Colonna nella Generazione di Dati Tabellari Sintetici

Enunciato del Problema
Le valutazioni attuali dei dati tabellari sintetici si concentrano prevalentemente sulla modellazione delle distribuzioni congiunte e sulla valutazione di statistiche di ordine inferiore (ad esempio, stima della densità, punteggi di correlazione) o di ordine superiore (ad esempio, $\alpha$-Precisione, $\beta$-Recall). Tuttavia, queste metriche spesso trascurano la preservazione di sequenze di eventi realistiche e relazioni coerenti tra entità attraverso le colonne. I dati tabellari sono intrinsecamente eterogenei, caratterizzati da tipi di variabili diversi e interdipendenze complesse (Wang et al., 2024). I modelli generativi esistenti, inclusi i GAN (ad esempio, CTGAN), i modelli di diffusione (ad esempio, TabDDPM, TabSyn) e i modelli autoregressivi (ad esempio, GReaT), faticano a catturare esplicitamente dipendenze condizionali specifiche come $P(x_1 | x_2)$. Ad esempio, i modelli di diffusione spesso assumono un'aggiunta di rumore isotropo, che non tiene conto delle dipendenze semantiche non lineari e non ordinate presenti nei dati tabellari, a differenza delle correlazioni spaziali nelle immagini. Allo stesso modo, sebbene i Modelli Linguistici di Grande Formato (LLM) sfruttino conoscenze pre-addestrate, potrebbero non modellare esplicitamente le distribuzioni marginali, portando a un campionamento distorto. Di conseguenza, manca una serie di metriche di valutazione contestuali e a grana fine per valutare se i dati sintetici preservino relazioni logiche critiche, come strutture gerarchiche (ad esempio, città $\to$ paese) o dipendenze matematiche/temporali.

Metodologia
Per colmare il divario nella valutazione della coerenza logica, gli autori propongono tre nuove metriche di valutazione progettate per quantificare le relazioni inter-colonna:

1. Punteggio di Coerenza Gerarchica (HCS): Questa metrica quantifica la preservazione delle relazioni gerarchiche attraverso le colonne. È definita come il rapporto delle righe in cui le tuple di attributi all'interno di un gruppo specifico $G_k$ (ad esempio, città, stato, paese) appartengono a un insieme di combinazioni valide $C_{k,j}$.
   $$HCS = \frac{1}{M \times N} \sum_{k=1}^{N} \sum_{j=1}^{M} \mathbb{1}((x_{i,j})_{i \in G_k} \in C_{k,j})$$
   dove $M$ è il numero di righe, $N$ è il numero di gruppi di coerenza e $\mathbb{1}(\cdot)$ è la funzione indicatrice.

2. Indice di Dipendenza Multivariata (MDI): Questo indice valuta le dipendenze multivariate, incluse relazioni temporali o matematiche. Misura la proporzione di righe in cui gli attributi soddisfano una specifica funzione di dipendenza booleana $F$ rispetto ad altri attributi in un gruppo di dipendenza $G_g$.
   $$MDI = \frac{1}{M \times N} \sum_{g=1}^{N} \sum_{j=1}^{M} \mathbb{1}(D_{g,j})$$
   dove $D_{g,j}$ rappresenta la condizione per cui gli attributi nel gruppo $G_g$ soddisfano la funzione di dipendenza $F$.

3. Indice di Similarità Distribuzionale (DSI): Per catturare relazioni non lineari in cui è difficile definire regole esplicite, il DSI confronta le verosimiglianze logaritmiche di Mixture Models Gaussiani (GMM) adattati alle righe dei dati sintetici rispetto a quelle dei dati reali. Calcola la differenza relativa nelle verosimiglianze logaritmiche per riflettere differenze distribuzionali a grana fine.
   $$DSI = \frac{1}{K} \sum_{i=1}^{K} \left( 1 - \frac{|\log L(\hat{X}^*_{syn,i}) - \log L(\hat{X}^*_{real})|}{|\log L(\hat{X}^*_{real})|} \right)$$

Setup Sperimentale e Risultati
Lo studio ha valutato cinque metodi di generazione rappresentativi sul dataset DataCo, un dataset industriale reale su larga scala contenente circa 140.000 campioni con caratteristiche complesse, ad alta dimensionalità e relazioni inter-colonna diversificate. I metodi valutati includevano:

• Basati sull'interpolazione: SMOTE
• Basati sulla rappresentazione nello spazio latente: CTGAN, TabDDPM, TabSyn
• Basati su LLM: GReaT

Ogni metodo ha generato 140.000 campioni e le valutazioni sono state ripetute dieci volte per garantire robustezza.

Principali Risultati:

• Metriche Statistiche: SMOTE e TabSyn hanno ottenuto le migliori prestazioni nelle accuratezze statistiche di ordine inferiore (ad esempio, Stima della Densità, Punteggio di Correlazione, $\alpha$-Precisione). TabSyn ha eccelso nella modellazione delle distribuzioni congiunte, mentre SMOTE ha superato gli altri nel bilanciare le categorie di dati ($\beta$-Recall).
• Coerenza Logica (HCS): SMOTE (98,09%) e GReaT (98,01%) hanno superato significativamente i metodi basati su spazio latente (CTGAN: 39,23%, TabDDPM: 16,07%) nella preservazione della coerenza gerarchica.
• Dipendenze Multivariate (MDI): GReaT ha ottenuto la massima accuratezza (97,37%) nella cattura di dipendenze temporali e matematiche, seguito da SMOTE (87,03%). I metodi basati su spazio latente hanno faticato significativamente, con TabDDPM che ha ottenuto 59,08% e CTGAN 38,87%.
• Similarità Distribuzionale (DSI): GReaT (85,55%) e TabSyn (83,62%) hanno ottenuto i migliori risultati, mentre CTGAN (11,10%) ha mostrato un allineamento distribuzionale scarso.
• Analisi Qualitativa: Un'ispezione dettagliata dei campioni generati ha rivelato che CTGAN e TabDDPM hanno frequentemente prodotto errori logici (ad esempio, gerarchie geografiche errate, sequenze temporali violate e formule matematiche rotte). Al contrario, GReaT e SMOTE hanno mantenuto una coerenza logica quasi perfetta, sebbene GReaT abbia occasionalmente generato valori di attributo mai visti (ad esempio, nomi di città errati), indicando potenziali problemi di controllabilità.

Significato e Contributi
Il contributo principale di questo lavoro è l'introduzione di HCS, MDI e DSI come metriche specializzate per valutare la preservazione delle relazioni logiche nei dati tabellari sintetici, andando oltre la fedeltà distribuzionale standard. I risultati sperimentali dimostrano che i metodi esistenti all'avanguardia, in particolare quelli basati su rappresentazioni nello spazio latente, spesso non riescono a mantenere rigorosamente la coerenza gerarchica e le dipendenze multivariate, aspetti cruciali per il realismo a grana fine dei dati reali.

Il documento conclude che, sebbene i metodi attuali possano modellare distribuzioni generali, mancano di meccanismi espliciti per imporre vincoli logici. I percorsi futuri suggeriti dagli autori includono:

• Per i metodi basati su LLM: Utilizzare grafi della conoscenza o reti bayesiane per riordinare le sequenze di tokenizzazione o ristrutturare la serializzazione delle colonne per sfruttare la conoscenza preesistente.
• Per i metodi basati su spazio latente: Impiegare il ragionamento degli LLM per analizzare nomi e descrizioni delle colonne al fine di individuare relazioni semantiche, o raggruppare i dati in base a relazioni logiche prima di inserirli in uno spazio latente condiviso.
• Approcci ibridi: Incorporare tecniche di interpolazione come SMOTE per bilanciare le classi di dati, in particolare per l'apprendimento di relazioni logiche minoritarie.

Gli autori sottolineano che queste direzioni sono necessarie per progettare modelli generativi che catturino efficacemente le relazioni logiche inter-colonna, un passo critico per l'avanzamento della generazione di dati tabellari sintetici.