Evaluating Inter-Column Logical Relationships in Synthetic Tabular Data Generation

Technische Samenvatting: Evaluatie van Logische Relaties tussen Kolommen bij het Genereren van Synthetische Tabulaire Data

Probleemstelling
Huidige evaluaties van synthetische tabulaire data richten zich voornamelijk op het modelleren van gezamenlijke verdelingen en het beoordelen van statistieken van lage orde (bijvoorbeeld dichtheidsschatting, correlatiescores) of statistieken van hoge orde (bijvoorbeeld $\alpha$-Precisie, $\beta$-Recall). Deze metrieken negeren echter vaak de behoud van realistische gebeurtenissequenties en coherente entiteitsrelaties tussen kolommen. Tabulaire data is van nature heterogeen, met diverse variabeletypes en complexe onderlinge afhankelijkheden (Wang et al., 2024). Bestaande generatieve modellen, waaronder GAN's (bijvoorbeeld CTGAN), diffusiemodellen (bijvoorbeeld TabDDPM, TabSyn) en autoregressieve modellen (bijvoorbeeld GReaT), worstelen met het expliciet vastleggen van specifieke conditionele afhankelijkheden zoals $P(x_1 | x_2)$. Diffusiemodellen gaan bijvoorbeeld vaak uit van isotrope ruis toevoeging, wat geen rekening houdt met de niet-lineaire, niet-geordende semantische afhankelijkheden die in tabulaire data voorkomen, in tegenstelling tot de ruimtelijke correlaties in afbeeldingen. Evenzo, hoewel Large Language Models (LLM's) gebruikmaken van vooraf getrainde kennis, modelleren ze mogelijk niet expliciet marginale verdelingen, wat leidt tot bevooroordeeld bemonsteren. Bijgevolg ontbreekt het aan fijnmazige, contextbewuste evaluatiemetrieken om te beoordelen of synthetische data kritieke logische relaties behoudt, zoals hiërarchische structuren (bijvoorbeeld stad $\to$ land) of wiskundige/temporele afhankelijkheden.

Methodologie
Om de kloof in het evalueren van logische consistentie aan te pakken, stellen de auteurs drie nieuwe evaluatiemetrieken voor die zijn ontworpen om inter-kolomrelaties te kwantificeren:

1. Hiërarchische Consistentiescore (HCS): Deze metriek kwantificeert het behoud van hiërarchische relaties tussen kolommen. Het wordt gedefinieerd als de verhouding van rijen waarbij attribuut-tupels binnen een specifieke groep $G_k$ (bijvoorbeeld stad, staat, land) behoren tot een set van geldige combinaties $C_{k,j}$.
   $$HCS = \frac{1}{M \times N} \sum_{k=1}^{N} \sum_{j=1}^{M} \mathbb{1}((x_{i,j})_{i \in G_k} \in C_{k,j})$$
   waarbij $M$ het aantal rijen is, $N$ het aantal consistentiegroepen, en $\mathbb{1}(\cdot)$ de indicatorfunctie is.

2. Multivariate Dependentie-index (MDI): Deze index evalueert multivariate afhankelijkheden, inclusief temporele of wiskundige relaties. Het meet het aandeel rijen waarbij attributen een specifieke Boolese afhankelijkheidsfunctie $F$ voldoen ten opzichte van andere attributen in een dependentiegroep $G_g$.
   $$MDI = \frac{1}{M \times N} \sum_{g=1}^{N} \sum_{j=1}^{M} \mathbb{1}(D_{g,j})$$
   waarbij $D_{g,j}$ de voorwaarde vertegenwoordigt dat attributen in groep $G_g$ voldoen aan de afhankelijkheidsfunctie $F$.

3. Verdelingsgelijkheidsindex (DSI): Om niet-lineaire relaties te vangen waarvoor expliciete regels moeilijk te definiëren zijn, vergelijkt DSI de log-likelihoods van Gaussische Mixtuermodellen (GMM) die zijn gefit op synthetische versus echte datarijen. Het berekent het relatieve verschil in log-likelihoods om fijnmazige verdelingsverschillen weer te geven.
   $$DSI = \frac{1}{K} \sum_{i=1}^{K} \left( 1 - \frac{|\log L(\hat{X}^*_{syn,i}) - \log L(\hat{X}^*_{real})|}{|\log L(\hat{X}^*_{real})|} \right)$$

Experimentele Opzet en Resultaten
De studie evalueerde vijf representatieve generatiemethoden op de DataCo-dataset, een grote, real-world industriële dataset met ongeveer 140.000 samples met complexe, hoogdimensionale kenmerken en diverse inter-kolomrelaties. De geëvalueerde methoden omvatten:

• Op interpolatie gebaseerd: SMOTE
• Op latenterepresentatie gebaseerd: CTGAN, TabDDPM, TabSyn
• Op LLM gebaseerd: GReaT

Elke methode genereerde 140.000 samples, en evaluaties werden tien keer herhaald om robuustheid te waarborgen.

Belangrijkste Bevindingen:

• Statistische Metrieken: SMOTE en TabSyn behaalden de beste prestaties in statistische nauwkeurigheden van lage orde (bijvoorbeeld Dichtheidsschatting, Correlatiescore, $\alpha$-Precisie). TabSyn excelleerde in het modelleren van gezamenlijke verdelingen, terwijl SMOTE de anderen overtrof in het balanceren van datacategorieën ($\beta$-Recall).
• Logische Consistentie (HCS): SMOTE (98,09%) en GReaT (98,01%) presteerden aanzienlijk beter dan op latenterepresentatie gebaseerde methoden (CTGAN: 39,23%, TabDDPM: 16,07%) in het behoud van hiërarchische consistentie.
• Multivariate Dependenties (MDI): GReaT behaalde de hoogste nauwkeurigheid (97,37%) in het vastleggen van temporele en wiskundige afhankelijkheden, gevolgd door SMOTE (87,03%). Op latenterepresentatie gebaseerde methoden worstelden aanzienlijk, met TabDDPM die scoorde op 59,08% en CTGAN op 38,87%.
• Verdelingsgelijkheid (DSI): GReaT (85,55%) en TabSyn (83,62%) presteerden het beste, terwijl CTGAN (11,10%) een slechte verdelingsuitlijning vertoonde.
• Kwalitatieve Analyse: Een gedetailleerde inspectie van gegenereerde samples onthulde dat CTGAN en TabDDPM frequent logische fouten produceerden (bijvoorbeeld onjuiste geografische hiërarchieën, geschonden temporele sequenties en gebroken wiskundige formules). Daarentegen behielden GReaT en SMOTE een bijna perfecte logische consistentie, hoewel GReaT af en toe onbekende attribuutwaarden genereerde (bijvoorbeeld onjuiste stadsnamen), wat wijst op potentiële problemen met controleerbaarheid.

Betekenis en Bijdragen
De primaire bijdrage van dit werk is de introductie van HCS, MDI en DSI als gespecialiseerde metrieken om het behoud van logische relaties in synthetische tabulaire data te evalueren, verdergaand dan standaard verdelingsgetrouwheid. De experimentele resultaten tonen aan dat bestaande state-of-the-art methoden, met name die gebaseerd op latenterepresentaties, vaak falen in het rigoureus handhaven van hiërarchische consistentie en multivariate afhankelijkheden, wat cruciaal is voor de fijnmazige realisme van real-world data.

Het artikel concludeert dat hoewel huidige methoden algemene verdelingen kunnen modelleren, ze ontberen de expliciete mechanismen om logische beperkingen af te dwingen. Toekomstige paden voorgesteld door de auteurs omvatten:

• Voor op LLM gebaseerde methoden: Het gebruik van kennisgrafieken of Bayesiaanse netwerken om tokenisatievolgorde te herschikken of kolomserialisatie te herstructureren om voorafgaande kennis te benutten.
• Voor op latenterepresentatie gebaseerde methoden: Het inzetten van LLM-resoneren om kolomnamen en beschrijvingen te analyseren op semantische relaties, of het groeperen van data op basis van logische relaties voordat ze worden ingebed in een gedeelde latente ruimte.
• Hybride benaderingen: Het integreren van interpolatietechnieken zoals SMOTE om dataklassen te balanceren, met name voor het leren van minderheidlogische relaties.

De auteurs benadrukken dat deze richtingen noodzakelijk zijn om generatieve modellen te ontwerpen die inter-kolom logische relaties effectief vastleggen, een kritieke stap voor het vooruitbrengen van de generatie van synthetische tabulaire data.