Hierarchical Synthetic Tabular Data Generation: A Hybrid Top-Down and Bottom-Up Framework

Riepilogo Tecnico: Generazione Gerarchica di Dati Tabulari Sintetici

Enunciato del Problema
Gli approcci attuali alla generazione di dati tabulari sintetici affrontano limitazioni significative quando applicati a scenari complessi su scala aziendale. I metodi esistenti ricadono generalmente in due categorie: modelli puramente generativi (ad es. CTGAN, TVAE, TabDDPM) e approcci basati su Modelli Linguistici di Grande Dimensione (LLM) (ad es. GReaT, REaLTabFormer).

• Modelli Generativi: Sebbene efficaci nell'approssimare le distribuzioni, richiedono spesso dati di addestramento sostanziali, faticano a gestire tipi di funzionalità eterogenei e soffrono di collasso delle modalità. Di conseguenza, spesso non riescono a catturare eventi rari e code delle distribuzioni, aspetti critici in domini come il rilevamento delle frodi. In regimi a bassa disponibilità di dati, questi modelli tendono a sovradattarsi e a produrre campioni a bassa diversità.
• Metodi Basati su LLM: Questi sfruttano l'apprendimento in contesto e i prior semantici, ma spesso non riescono a imporre coerenza strutturale, vincoli logici o dipendenze funzionali tra gli attributi. La generazione autoregressiva di token può portare a campioni non validi o incoerenti, e la tokenizzazione sequenziale delle righe indebolisce la modellazione delle interazioni numerico-categoriche eterogenee.
• La Sfida Principale: Una questione più profonda, spesso trascurata, è che la generazione di dati sintetici viene frequentemente trattata come un problema puramente generativo, ignorando la natura altamente strutturata, eterogenea e multimodale dei dati aziendali reali. Fare affidamento esclusivamente su dati generati dal modello introduce rischi di collasso della distribuzione, dove l'addestramento ricorsivo su output sintetici erode progressivamente la distribuzione dei dati sottostante, in particolare nelle code.

Metodologia: Il Framework H-TDBU
Gli autori propongono un framework Gerarchico Ibrido Top-Down e Bottom-Up (H-TDBU). Questo approccio disaccoppia le strutture semantiche dalla texture stocastica, integrando le capacità generative con la costruzione gerarchica di regole. Il framework opera attraverso tre fasi distinte:

1. Percorso Top-Down (Struttura):

   • Obiettivo: Definire lo scheletro logico e la struttura semantica dei dati.
   • Meccanismo: Le regole strutturali sono definite tramite istruzioni umane o prompt LLM. Ciò crea un template strutturale $S$ che funge da spina dorsale, scomponendo fattori astratti in attributi concreti e campionabili.
   • Ruolo degli LLM: Gli LLM sono utilizzati solo in questa fase per generare lo schema che rappresenta le regole strutturali (ad es. mappare variabili target su testo di sentiment). Non generano le righe tabulari effettive.

2. Percorso Bottom-Up (Texture):

   • Obiettivo: Apprendere modelli statistici locali e una "texture" realistica dai dati reali.
   • Meccanismo: Generatori tabulari leggeri e a basso costo computazionale (ad es. metodi di ensemble come Random Forest o XGBoost, o modelli generativi come CTGAN) vengono addestrati su dati reali ($D_{real}$).
   • Output: Questi modelli producono una rappresentazione nello spazio latente ($Z$) che cattura modelli dettagliati e complessi simili ai dati reali, ma che potrebbero non seguire intrinsecamente le regole logiche definite nella fase top-down.

3. Sintesi e Riconciliazione:

   • Obiettivo: Unificare lo scheletro logico ($S$) con la texture latente ($Z$).
   • Meccanismo: Un motore di sintesi unificato, indicato come $X_{Syn} := G(z \in Z | S)$, genera dati da rumore latente coerente con i vincoli logici di $S$. Questo generatore condizionale riconcilia i due percorsi.
   • Ciclo di Feedback: Il sistema impiega un ciclo di feedback iterativo. Se i dati sintetici ($D_{syn}$) non superano le metriche di fedeltà cross-modale ($X_{Modal}$), viene attivato un segnale "Riaddestra Modello". Se fallisce la validazione dei vincoli, viene attivato un segnale "Regola Vincoli" verso il provider Top-Down. Ciò garantisce l'integrità logica e previene il drift del modello.

Contributi Chiave

• Disaccoppiamento di Struttura e Texture: Il documento introduce un framework che separa la definizione di regole semantiche/logiche dalla generazione della texture statistica, affrontando le limitazioni dei modelli generativi monolitici.
• Architettura Ibrida: Integra organicamente il potere generativo di agenti leggeri (Random Forest, XGBoost) con il ragionamento strutturale degli LLM, utilizzando gli LLM strettamente per la definizione delle regole piuttosto che per la generazione diretta dei dati.
• Meccanismo di Feedback Iterativo: L'inclusione di un ciclo di riconciliazione che valida le metriche cross-modali e i vincoli logici consente un affinamento dinamico sia delle regole top-down che dei modelli bottom-up.
• Benchmarking Multimodale Debole: Gli autori valutano il framework su benchmark multimodali deboli finanziari che combinano dati tabulari con dati di testo sentiment, uno scenario in cui i metodi esistenti faticano con allineamento e coerenza.

Risultati Sperimentali
Il framework è stato valutato su quattro benchmark: due benchmark multimodali deboli (generati manualmente e da Gemini) e due benchmark solo tabulari (Reddito Adulto e Credito Tedesco).

• Utilità a valle (TSTR): Nel benchmark multimodale debole specificato manualmente, i metodi condizionali basati su alberi (RandomForest e XGBoost) hanno superato le basi neurali (CTGAN, TVAE). Ad esempio, RandomForest ha raggiunto un AUROC di 0,9188 e un F1 di 0,6122, rispetto all'AUROC di 0,8827 e all'F1 di 0,5581 di TVAE.
• Allineamento Rigido (Benchmark Gemini): Quando si utilizza un provider di regole generato da LLM che imponeva un allineamento più stretto (Target 1 allineato solo con testo positivo), i generatori condizionali hanno mostrato un miglioramento significativo. RandomForest ha raggiunto metriche quasi perfette (0,9998 AUROC, 0,9878 F1), superando le basi neurali che hanno mostrato miglioramenti ma sono rimaste leggermente inferiori.
• Fedeltà Cross-Modale: È stato osservato un compromesso tra utilità a valle e fedeltà cross-modale ($X_{Modal}$). Mentre RandomForest ha eccellato nell'utilità, Gaussian Copula e TVAE hanno talvolta raggiunto valori $X_{Modal}$ più bassi (migliore allineamento distribuzionale di testo e target tabulari).
• Studi di Ablazione: I risultati hanno indicato che le prestazioni sono guidate dall'interazione tra il numero di colonne di condizionamento e la rigidità delle regole top-down. Le regole generate da Gemini (più rigide) hanno beneficiato di meno colonne di condizionamento, mentre le regole manuali (più permissive) hanno beneficiato di contesti di condizionamento più ricchi.

Significato e Affermazioni
Il documento afferma che la sintesi guidata da regole gerarchiche fornisce un meccanismo efficace per bilanciare controllabilità, coerenza semantica e fedeltà statistica nella generazione di dati sintetici.

Gli autori sottolineano che il loro approccio non si basa su una generazione LLM ricorsiva e costosa per ogni punto dati. Invece, utilizzando gli LLM solo per la costruzione top-down dello "spazio di copertura" e impiegando modelli di agenti più economici per la generazione bottom-up, il framework raggiunge alto realismo e coerenza logica. I risultati suggeriscono che questo approccio ibrido è particolarmente efficace nei regimi a bassa disponibilità di dati e in scenari multimodali complessi, dove i modelli puramente generativi non riescono a catturare eventi rari o dipendenze logiche, e dove la generazione pura tramite LLM manca di rigore strutturale. Il framework non viene presentato come il dominio universale di un tipo di generatore, ma come un framework di benchmark flessibile in cui il flusso di lavoro si adatta alla struttura specifica del dataset.