Evaluating Inter-Column Logical Relationships in Synthetic Tabular Data Generation

Technische Zusammenfassung: Evaluierung interkolumnarer logischer Beziehungen bei der Generierung synthetischer tabellarischer Daten

Problemstellung
Die aktuellen Evaluierungen synthetischer tabellarischer Daten konzentrieren sich überwiegend auf die Modellierung gemeinsamer Verteilungen und die Bewertung von Statistiken niedriger Ordnung (z. B. Dichteschätzung, Korrelationswerte) oder Statistiken höherer Ordnung (z. B. $\alpha$-Präzision, $\beta$-Recall). Diese Metriken übersehen jedoch häufig die Erhaltung realistischer Ereignissequenzen und kohärenter Entitätsbeziehungen über die Spalten hinweg. Tabellarische Daten sind inhärent heterogen und weisen diverse Variablentypen sowie komplexe Interdependenzen auf (Wang et al., 2024). Bestehende generative Modelle, einschließlich GANs (z. B. CTGAN), Diffusionsmodelle (z. B. TabDDPM, TabSyn) und autoregressive Modelle (z. B. GReaT), haben Schwierigkeiten, spezifische bedingte Abhängigkeiten wie $P(x_1 | x_2)$ explizit zu erfassen. Beispielsweise gehen Diffusionsmodelle oft von einer isotropen Rauschaddition aus, was die nicht-linearen, nicht-geordneten semantischen Abhängigkeiten in tabellarischen Daten, im Gegensatz zu den räumlichen Korrelationen in Bildern, nicht berücksichtigt. Ebenso nutzen Large Language Models (LLMs), obwohl sie auf vortrainiertem Wissen basieren, möglicherweise keine explizite Modellierung von Randverteilungen, was zu verzerrter Stichprobenziehung führt. Folglich fehlt es an feingranularen, kontextbewussten Evaluierungsmetriken, um zu beurteilen, ob synthetische Daten kritische logische Beziehungen wie hierarchische Strukturen (z. B. Stadt $\to$ Land) oder mathematische/zeitliche Abhängigkeiten bewahren.

Methodik
Um die Lücke bei der Evaluierung der logischen Konsistenz zu schließen, schlagen die Autoren drei neue Evaluierungsmetriken vor, die darauf ausgelegt sind, interkolumnare Beziehungen zu quantifizieren:

1. Hierarchical Consistency Score (HCS): Diese Metrik quantifiziert die Erhaltung hierarchischer Beziehungen über die Spalten hinweg. Sie ist definiert als das Verhältnis von Zeilen, bei denen Attribut-Tupel innerhalb einer spezifischen Gruppe $G_k$ (z. B. Stadt, Bundesstaat, Land) zu einer Menge gültiger Kombinationen $C_{k,j}$ gehören.
   $$HCS = \frac{1}{M \times N} \sum_{k=1}^{N} \sum_{j=1}^{M} \mathbb{1}((x_{i,j})_{i \in G_k} \in C_{k,j})$$
   wobei $M$ die Anzahl der Zeilen, $N$ die Anzahl der Konsistenzgruppen und $\mathbb{1}(\cdot)$ die Indikatorfunktion ist.

2. Multivariate Dependency Index (MDI): Dieser Index bewertet multivariate Abhängigkeiten, einschließlich zeitlicher oder mathematischer Beziehungen. Er misst den Anteil der Zeilen, bei denen Attribute eine spezifische boolesche Abhängigkeitsfunktion $F$ im Verhältnis zu anderen Attributen in einer Abhängigkeitsgruppe $G_g$ erfüllen.
   $$MDI = \frac{1}{M \times N} \sum_{g=1}^{N} \sum_{j=1}^{M} \mathbb{1}(D_{g,j})$$
   wobei $D_{g,j}$ die Bedingung darstellt, dass Attribute in der Gruppe $G_g$ die Abhängigkeitsfunktion $F$ erfüllen.

3. Distributional Similarity Index (DSI): Um nicht-lineare Beziehungen zu erfassen, bei denen explizite Regeln schwer zu definieren sind, vergleicht DSI die Log-Likelihoods von Gaußschen Mischmodellen (GMM), die auf synthetische versus reale Datenzeilen angepasst wurden. Es berechnet die relative Differenz der Log-Likelihoods, um feingranulare Verteilungsunterschiede widerzuspiegeln.
   $$DSI = \frac{1}{K} \sum_{i=1}^{K} \left( 1 - \frac{|\log L(\hat{X}^*_{syn,i}) - \log L(\hat{X}^*_{real})|}{|\log L(\hat{X}^*_{real})|} \right)$$

Experimenteller Aufbau und Ergebnisse
Die Studie evaluierte fünf repräsentative Generierungsmethoden auf dem DataCo-Datensatz, einem groß angelegten realen industriellen Datensatz mit etwa 140.000 Proben, komplexen hochdimensionalen Merkmalen und diversen interkolumnaren Beziehungen. Die evaluierten Methoden umfassten:

• Interpolationsbasiert: SMOTE
• Latent-Space-Repräsentationsbasiert: CTGAN, TabDDPM, TabSyn
• LLM-basiert: GReaT

Jede Methode generierte 140.000 Proben, und die Evaluierungen wurden zehnmal wiederholt, um Robustheit zu gewährleisten.

Hauptergebnisse:

• Statistische Metriken: SMOTE und TabSyn erzielten die beste Leistung bei Statistiken niedriger Ordnung (z. B. Dichteschätzung, Korrelationswert, $\alpha$-Präzision). TabSyn glänzte bei der Modellierung gemeinsamer Verteilungen, während SMOTE andere bei der Balance der Datenkategorien ($\beta$-Recall) übertraf.
• Logische Konsistenz (HCS): SMOTE (98,09 %) und GReaT (98,01 %) schnitten bei der Erhaltung der hierarchischen Konsistenz deutlich besser ab als latentraum-basierte Methoden (CTGAN: 39,23 %, TabDDPM: 16,07 %).
• Multivariate Abhängigkeiten (MDI): GReaT erzielte die höchste Genauigkeit (97,37 %) bei der Erfassung zeitlicher und mathematischer Abhängigkeiten, gefolgt von SMOTE (87,03 %). Latentraum-basierte Methoden hatten erhebliche Schwierigkeiten, wobei TabDDPM 59,08 % und CTGAN 38,87 % erreichte.
• Verteilungsähnlichkeit (DSI): GReaT (85,55 %) und TabSyn (83,62 %) schnitten am besten ab, während CTGAN (11,10 %) eine schlechte Verteilungsausrichtung zeigte.
• Qualitative Analyse: Eine detaillierte Inspektion der generierten Proben ergab, dass CTGAN und TabDDPM häufig logische Fehler produzierten (z. B. falsche geographische Hierarchien, verletzte zeitliche Sequenzen und defekte mathematische Formeln). Im Gegensatz dazu behielten GReaT und SMOTE eine nahezu perfekte logische Konsistenz bei, wobei GReaT gelegentlich nicht gesehene Attributwerte generierte (z. B. falsche Stadtnamen), was auf potenzielle Probleme mit der Steuerbarkeit hindeutet.

Bedeutung und Beiträge
Der primäre Beitrag dieser Arbeit ist die Einführung von HCS, MDI und DSI als spezialisierte Metriken zur Evaluierung der Erhaltung logischer Beziehungen in synthetischen tabellarischen Daten, die über die Standard-Verteilungstreue hinausgehen. Die experimentellen Ergebnisse zeigen, dass bestehende State-of-the-Art-Methoden, insbesondere solche auf Basis von Latent-Space-Repräsentationen, oft versagen, hierarchische Konsistenz und multivariate Abhängigkeiten strikt aufrechtzuerhalten, was für die feingranulare Realitätsnähe realer Daten entscheidend ist.

Die Studie schließt, dass aktuelle Methoden zwar allgemeine Verteilungen modellieren können, aber über keine expliziten Mechanismen verfügen, um logische Constraints durchzusetzen. Von den Autoren vorgeschlagene zukünftige Wege umfassen:

• Für LLM-basierte Methoden: Die Nutzung von Wissensgraphen oder Bayes'schen Netzen zur Neuordnung von Tokenisierungssequenzen oder zur Umstrukturierung der Spaltenserialisierung, um Vorwissen zu nutzen.
• Für latentraum-basierte Methoden: Den Einsatz von LLM-Reasoning zur Analyse von Spaltennamen und -beschreibungen auf semantische Beziehungen oder die Gruppierung von Daten nach logischen Beziehungen vor dem Einbetten in einen gemeinsamen Latent Space.
• Hybridansätze: Die Einbeziehung von Interpolationstechniken wie SMOTE zum Ausgleichen von Datenklassen, insbesondere für das Erlernen von Minderheiten-logischen Beziehungen.

Die Autoren betonen, dass diese Richtungen notwendig sind, um generative Modelle zu entwerfen, die interkolumnare logische Beziehungen effektiv erfassen, ein kritischer Schritt für die Weiterentwicklung der Generierung synthetischer tabellarischer Daten.