ReTabSyn: Realistic Tabular Data Synthesis via Reinforcement Learning

Il paper presenta ReTabSyn, un metodo di sintesi tabulare basato sul reinforcement learning che, focalizzandosi sulla distribuzione condizionale $P(y\mid \bm{X})$ anziché su quella congiunta completa, migliora l'efficienza dei dati e le prestazioni dei modelli predittivi in scenari con campioni limitati e squilibrio delle classi.

L'essenziale

🎭 Il Problema: Copiare senza capire

Immagina di dover insegnare a un bambino a riconoscere le regole del mondo, ma gli dai solo tre foto di persone che lavorano.

• Foto 1: Un CEO con uno stipendio alto.
• Foto 2: Un impiegato con uno stipendio basso.
• Foto 3: Un CEO con uno stipendio basso (forse è un errore di battitura o un caso raro).

Se chiedi a un'intelligenza artificiale "classica" di creare nuove foto basandosi su queste tre, potrebbe impazzire. Potrebbe generare un'immagine di un CEO che guadagna 50 dollari al mese, perché ha visto quella singola foto e pensa che sia normale. Il risultato? Dati finti che sembrano realistici ma sono assurdi e inutili per prendere decisioni reali.

Questo è il problema dei modelli attuali: cercano di memorizzare tutto (chi è CEO, chi ha i capelli biondi, chi guadagna quanto) invece di capire la logica fondamentale (i CEO di solito guadagnano molto).

🚀 La Soluzione: ReTabSyn (L'allenatore intelligente)

Gli autori propongono ReTabSyn. Immagina che non sia un semplice fotocopiatore, ma un allenatore sportivo che usa un metodo speciale chiamato "Apprendimento per Rinforzo" (Reinforcement Learning).

Ecco come funziona, passo dopo passo:

1. Non imparare tutto, ma imparare la "Regola d'Oro"

Invece di cercare di copiare ogni singolo dettaglio della foto originale (che è difficile quando hai poche foto), ReTabSyn si concentra su una cosa sola: la relazione tra causa ed effetto.

• Analogia: Invece di chiedersi "Di che colore sono le scarpe del CEO?", si chiede: "Se una persona è un CEO, qual è la probabilità che guadagni tanto?".
• Il modello impara che CEO = Soldi, indipendentemente dal colore dei capelli o dall'età.

2. Il gioco del "Sì/No" (Senza un giudice esterno)

Qui sta la genialità. Per insegnare al modello, non serve un umano che guarda ogni foto e dice "Bravo" o "Sbagliato" (che costerebbe troppo e richiederebbe tempo).
ReTabSyn crea i suoi stessi esercizi:

• Prende una riga di dati reale (es. "CEO, 45 anni, 100k$").
• Crea una versione "finta" e sbagliata della stessa riga (es. "CEO, 45 anni, 10k$").
• Chiede al modello: "Quale delle due è più logica?".
• Il modello impara a dire: "La prima! La seconda è assurda!".

Questo processo si chiama Ottimizzazione delle Preferenze Dirette (DPO). È come se il modello si correggesse da solo, imparando a scartare le risposte "allucinate" (quelle che non hanno senso) e a rafforzare quelle corrette.

3. Perché funziona meglio quando i dati sono pochi?

Quando hai pochi dati, è come cercare di ricostruire un puzzle con solo 10 pezzi. Se provi a indovinare ogni singolo pezzo (tutti i dettagli), sbagli tutto.
ReTabSyn invece dice: "Ok, non so esattamente quanti pezzi ci sono in totale, ma so che il pezzo del 'Cielo' va sopra il pezzo della 'Montagna'".
Si concentra sulla struttura logica (la montagna sotto il cielo) piuttosto che sul numero esatto di nuvole. Questo rende i dati sintetici molto più utili per addestrare altri computer a prendere decisioni.

🏆 I Risultati: Cosa hanno scoperto?

Gli autori hanno testato questo metodo su molti problemi reali (dalla sanità alla finanza) dove i dati erano:

• Pochissimi (come avere solo 32 esempi invece di migliaia).
• Sbilanciati (molti casi "normali", pochissimi casi "rari" da trovare).
• Cambiati (i dati di oggi sono diversi da quelli di ieri).

Il risultato?
ReTabSyn ha creato dati finti che, usati per addestrare altri modelli, hanno funzionato meglio di tutti gli altri metodi esistenti, persino meglio di alcuni modelli addestrati sui dati reali (quando i dati reali erano troppo pochi).

Inoltre, i dati creati:

1. Non sono "bugiardi": Non creano CEO poveri o pazienti sani con malattie terminali (rispetta le regole logiche).
2. Sono sicuri: Non rivelano i segreti delle persone reali (protezione della privacy).

💡 In sintesi

ReTabSyn è come un insegnante che, invece di far memorizzare a memoria un libro intero a un bambino (cosa impossibile se il libro è piccolo e frammentato), gli insegna le regole del gioco.
Grazie a questo, anche con pochissimi esempi, il bambino (il modello) impara a giocare bene e a non fare mosse assurde, rendendo i dati sintetici uno strumento potente per il futuro, specialmente in settori delicati come la medicina e la finanza.

Sommario tecnico

Ecco una sintesi tecnica dettagliata del paper "ReTabSyn: Realistic Tabular Data Synthesis via Reinforcement Learning" in italiano.

1. Il Problema

I modelli generativi profondi (DGM) sono stati ampiamente utilizzati per generare dati sintetici al fine di affrontare la scarsità di dati e le questioni di privacy. Tuttavia, nel contesto dei dati tabulari, specialmente in scenari con pochi dati (low-data), squilibrio di classe o spostamento della distribuzione (distribution shift), i metodi esistenti falliscono spesso nel catturare le distribuzioni complesse necessarie per un'alta utilità nei task a valle (downstream).

Il paper identifica un disallineamento fondamentale: i modelli generativi standard tentano di apprendere l'intera distribuzione congiunta $P(X, y)$, un compito che richiede molti dati e che, in regimi di scarsità, porta a generare dati irrealistici (es. un CEO con un reddito basso) che degradano le prestazioni dei modelli predittivi. La teoria suggerisce invece che per massimizzare l'utilità predittiva, non è necessario un matching perfetto della distribuzione congiunta, ma è cruciale modellare accuratamente la distribuzione condizionale $P(y | X)$.

2. Metodologia: ReTabSyn

ReTabSyn è una pipeline di sintesi tabulare potenziata dall'apprendimento per rinforzo, progettata per allineare esplicitamente il generatore alla distribuzione condizionale $P(y | X)$ senza ricorrere a modelli esterni o etichette umane.

A. Fondamenti Teorici

Basandosi su un'analisi teorica (Xu et al., 2023), il paper dimostra che il "gap di utilità" tra dati reali e sintetici è dominato dall'errore di regressione (mismatch della distribuzione condizionale $\|\tilde{\eta} - \eta\|$) piuttosto che dal mismatch delle caratteristiche marginali. Pertanto, la strategia ottimale in scenari a pochi dati è prioritizzare l'apprendimento dei confini decisionali ($P(y|X)$).

B. Costruzione delle Coppie di Preferenza (Oracle-Free)

A differenza dei metodi RLHF che richiedono un modello di ricompensa (oracle) o annotazioni umane, ReTabSyn utilizza una strategia nativa per le tabelle per creare coppie di preferenza (scelto/rifiutato) tramite perturbazioni deterministiche:

1. Perturbazione del Target (Type I): Per una riga con caratteristiche $X$, il target $y$ viene perturbato in un valore $\tilde{y}$ diverso (campionato dalla distribuzione marginale). La riga originale $(X, y)$ è "scelta" e quella perturbata $(X, \tilde{y})$ è "rifiutata". Questo forza il modello a imparare la logica corretta tra caratteristiche e target.
2. Perturbazione delle Caratteristiche (Type II): Vengono perturbate coppie di caratteristiche fortemente correlate (es. spostando un valore numerico in un quantile diverso) per penalizzare co-occorrenze irrealistiche, mantenendo la coerenza strutturale.

C. Ottimizzazione Diretta delle Preferenze (DPO)

Il generatore (basato su un modello linguistico come GPT-2, ad es. GReaT) viene fine-tunato utilizzando Direct Preference Optimization (DPO).

• Obiettivo: Massimizzare il margine di verosimiglianza tra le righe coerenti (scelte) e quelle incoerenti (rifiutate) per la stessa condizione di prompt.
• Vantaggio: Questo approccio elimina la necessità di un modello di ricompensa esterno, riducendo il bias, i costi computazionali e i rischi per la privacy associati all'uso di classificatori esterni.

D. Preparazione dei Dati

Per mitigare l'overfitting su dataset piccoli, viene utilizzata una tecnica di augmentation che interpola i dati all'interno di bucket categorici prima dell'addestramento del generatore base.

3. Contributi Chiave

1. Costruzione di Preferenze Senza Oracle: Introduce una strategia di perturbazione basata sullo schema dei dati che genera coppie di addestramento per DPO senza bisogno di modelli di reward esterni o etichette umane.
2. Allineamento Condizionale Focalizzato sulla Decisione: Il fine-tuning con DPO priorizza esplicitamente la distribuzione condizionale $P(y|X)$, chiudendo il gap di utilità nei regimi a pochi dati e per eventi rari.
3. Benchmark Robusti e Diagnostica: Valutazione estensiva su scenari difficili (tassi di positività dello 0.5%, shift di distribuzione) con metriche complete di utilità downstream, fedeltà marginale e congiunta.

4. Risultati Sperimentali

Il metodo è stato testato su 10 dataset reali (es. Adult, Churn, Titanic) confrontato con baselines come SMOTE, TVAE, TabSyn, GReaT e metodi RL guidati da oracle (PTA, SynRL).

• Scarsità di Dati: In scenari con 32-128 righe di training, ReTabSyn supera costantemente tutte le baselines, ottenendo spesso prestazioni superiori all'uso dei soli dati reali grazie alla quantità di campioni sintetici ad alta utilità.
• Dati Squilibrati: Su dataset con prevalenza del 1% della classe minoritaria, ReTabSyn ottiene i migliori punteggi PR-AUC, preservando meglio il segnale della classe minoritaria rispetto a SMOTE e altri generatori.
• Robustezza allo Shift di Distribuzione: In scenari di distribuzione shift (addestramento su un sottogruppo demografico, test su un altro), ReTabSyn mantiene le prestazioni più vicine al limite superiore dei dati reali, dimostrando una migliore conservazione delle dipendenze feature-target.
• Fedeltà Statistica: ReTabSyn ottiene i punteggi più alti in Recall, similarità di forma (Shape) e similarità di correlazione, indicando che i dati sintetici coprono bene le regioni ad alta densità e preservano le relazioni tra le caratteristiche.
• Privacy: Rispetto a SMOTE (che soffre di alto rischio di leakage per interpolazione), ReTabSyn riduce significativamente il rischio di inferenza dell'appartenenza (Membership Inference), mantenendo un ottimo compromesso tra privacy e utilità.

5. Significato e Impatto

ReTabSyn rappresenta un cambio di paradigma nella sintesi di dati tabulari:

• Efficienza Teorica: Sposta il focus dall'apprendimento della distribuzione congiunta (costosa e instabile con pochi dati) all'apprendimento della distribuzione condizionale, che è ciò che realmente guida l'utilità predittiva.
• Praticità: Elimina la dipendenza da modelli di reward esterni o annotatori umani, rendendo il processo scalabile, economico e più sicuro per la privacy.
• Applicabilità: Offre una soluzione robusta per settori critici come sanità, finanza e scienze sociali, dove i dati sono spesso limitati, sbilanciati e soggetti a vincoli di privacy rigorosi.

In sintesi, ReTabSyn dimostra che un allineamento guidato dalle preferenze, focalizzato sulle relazioni decisionali e privo di oracle, può generare dati sintetici di alta qualità che superano lo stato dell'arte in scenari reali e difficili.