🤖 machine learning

TabKDE: Simple and Scalable Tabular Data Generation with Kernel Density Estimates

TabKDE führt eine hochskalierbare und effiziente Methode zur Erzeugung synthetischer tabellarischer Daten ein, die Copula-Transformationen mit Kernel-Dichteschätzungen kombiniert und dabei eine Genauigkeit erreicht, die mit komplexen Deep-Learning-Modellen vergleichbar ist, während gleichzeitig vernachlässigbare Trainingszeiten und Speicherplatz erforderlich sind.

Ursprüngliche Autoren: Meysam Alishahi, Yan Zheng, Junpeng Wang, Chin-Chia Michael Yeh, Jeff M. Phillips

Veröffentlicht 2026-05-19

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Meysam Alishahi, Yan Zheng, Junpeng Wang, Chin-Chia Michael Yeh, Jeff M. Phillips

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben eine riesige, sensible Tabellenkalkulation mit echten Kundendaten – Dinge wie Alter, Gehalt, Bildungsstand und ob sie ein Haus besitzen. Sie möchten diese Daten mit Forschern oder Entwicklern teilen, damit diese bessere Software entwickeln können, aber Sie können die echten Daten nicht teilen, da sie private Informationen enthalten.

Sie müssen eine „gefälschte" Version dieser Tabellenkalkulation erstellen, die genau so aussieht und sich genauso verhält wie die echte, wobei jedoch jede einzelne Zeile eine neue, erfundene Person darstellt, die nie wirklich existiert hat. Dies wird als Tabellendatengenerierung bezeichnet.

In den letzten Jahren waren die besten Werkzeuge dafür wie der Versuch, ein Meisterwerk mit einem superkomplexen, langsam bewegenden Roboterarm zu malen (denken Sie an Diffusionsmodelle oder VAEs). Sie produzieren großartige Kunst, benötigen aber Stunden zum Lernen, erfordern massive Supercomputer und laufen oft bei zu vielen verschiedenen Kategorien in der Tabelle (wie Tausende von verschiedenen Postleitzahlen) aus dem Speicher.

Dann kommt TabKDE, eine neue Methode, die in diesem Papier beschrieben wird. Die Autoren schlagen einen viel einfacheren, schnelleren und leichteren Ansatz vor. So funktioniert es, unter Verwendung alltäglicher Analogien:

1. Der „Universalübersetzer" (Codierung)

Zunächst stellt das Papier fest, dass Tabellenkalkulationen unordentlich sind. Einige Spalten sind Zahlen (Alter), einige sind Kategorien (Bildung: Gymnasium, Hochschule) und einige sind geordnete Ränge (Note: A, B, C).

Der alte Weg: Viele Methoden versuchen, jede Kategorie in eine lange Liste von Nullen und Einsen umzuwandeln (wie aus „Gymnasium" 001 und aus „Hochschule" 010 zu machen). Wenn Sie 10.000 Kategorien haben, wird Ihre Liste 10.000 Zahlen lang. Das ist wie der Versuch, eine Bibliothek in der Hosentasche zu tragen; es ist zu schwer und verlangsamt alles.
Der Weg von TabKDE: Anstatt eine riesige Liste zu erstellen, verwendet TabKDE einen cleveren Trick namens Principal-Guided Encoding (durch Hauptkomponenten geleitete Codierung). Stellen Sie sich ein Lineal vor, das aus dem „Vibe" der numerischen Daten (wie dem Gehalt) gefertigt ist. Es platziert jede Kategorie (wie „Gymnasium") an einer bestimmten Stelle auf diesem Lineal, basierend darauf, wie sie normalerweise mit den Zahlen zusammenhängt. Jetzt ist „Gymnasium" keine Liste von 10.000 Nullen mehr, sondern einfach eine einzelne Zahl auf einer Linie. Dies hält die Daten kompakt und verhindert, dass der Computer den Speicher erschöpft.

2. Die „Klebezettel-Karte" (Copula-Transformation)

Sobald alles in Zahlen umgewandelt wurde, befinden sich die Daten immer noch in ihren ursprünglichen, unordentlichen Formen.

Die Analogie: Stellen Sie sich einen Haufen Ton mit verschiedenen Formen vor. Sie möchten sie alle zu perfekten, identischen Quadraten flachdrücken, damit Sie leicht damit arbeiten können, aber Sie möchten die Beziehungen zwischen den Stücken nicht verlieren (z. B. wenn zwei Stücke zusammengeklebt waren, sollten sie weiterhin zusammenkleben).
Der Weg von TabKDE: Es verwendet eine Copula-Transformation. Dies ist wie eine magische Flachdrückmaschine. Sie quetscht jede Spalte von Daten in einen ordentlichen, standardisierten Bereich (von 0 bis 1), während sie die „Klebrigkeit" (Korrelationen) zwischen den Spalten intakt hält. Jetzt lebt die Daten in einem sauberen, einheitlichen „Einheitsquadrat", in dem Entfernungen leicht gemessen werden können.

3. Der „Nachbarschaftswanderer" (Kernschätzdichte)

Jetzt kommt die Magie der Erstellung neuer Daten.

Der alte Weg (Diffusion): Stellen Sie sich vor, Sie versuchen, eine neue Statue zu formen, indem Sie mit einem Block aus Rauschen beginnen und stundenlang daran feilen, bis sie wie ein Mensch aussieht. Es ist präzise, aber unglaublich langsam.
Der Weg von TabKDE: Stellen Sie sich eine Karte vor, auf der verzeichnet ist, wo alle echten Menschen wohnen (die Trainingsdaten). Um eine neue Person zu erstellen, formen Sie nicht von Grund auf neu. Stattdessen:
1. Wählen Sie eine zufällige echte Person von Ihrer Karte aus.
2. Fragen Sie: „Wie weit ist ihr nächster Nachbar entfernt?" (Dies ist der Abstand zum nächsten Datensatz oder DCR).
3. Machen Sie einen Schritt in eine zufällige Richtung, aber passen Sie die Schrittlänge an diesen typischen „Nachbarabstand" an.
4. Wenn Sie außerhalb der gültigen Karten Grenzen treten (wie ein negatives Alter), machen Sie einfach einen kleinen Schritt zurück ins Innere.
Dies ist Kernschätzdichte (KDE). Es ist so, als würde man sagen: „Neue Menschen wohnen normalerweise in der Nähe alter Menschen, aber nicht auf ihnen." Es ist unglaublich schnell, da es kein komplexes neuronales Netzwerk „trainieren" muss; es lernt einfach den durchschnittlichen Abstand zwischen Nachbarn.

4. Das „Taschengroße Modell" (Coresets)

Normalerweise müssen Sie, um einen Datensatz zu speichern, das Ganze speichern.

Die Innovation von TabKDE: Das Papier führt Coresets ein. Stellen Sie sich vor, Sie haben eine riesige Bibliothek von Büchern, aber Sie müssen nur die Geschichte der Bibliothek merken, nicht jede einzelne Seite. Ein Coreset ist eine winzige, gewichtete Auswahl von Punkten, die die gesamte Bibliothek perfekt repräsentiert.
TabKDE kann sein Modell auf einen winzigen Bruchteil der ursprünglichen Datengröße verkleinern (wie das Speichern einer Zusammenfassung anstelle des ganzen Buches), ohne viel Genauigkeit zu verlieren. Das bedeutet, dass Sie dies sogar auf einem einfachen Laptop ausführen können, selbst mit massiven Datensätzen, die andere Systeme zum Absturz bringen würden.

Die Ergebnisse: Schnell, Genau und Privat

Das Papier vergleicht TabKDE mit den Schwergewichten (wie TABSYN und TabDDPM):

Geschwindigkeit: Während andere Methoden Stunden zum Trainieren benötigen (und manchmal bei großen Daten abstürzen), trainiert TabKDE in Sekunden oder Minuten. Es kann auf einem Standard-Laptop laufen.
Genauigkeit: Es erzeugt gefälschte Daten, die statistisch fast identisch mit den echten Daten sind. Wenn Sie versuchen würden, ein maschinelles Lernmodell auf den gefälschten Daten zu trainieren, würde es genauso gut funktionieren wie wenn es auf den echten Daten trainiert worden wäre.
Privatsphäre: Das Ziel ist es, gefälschte Daten zu erstellen, die nicht versehentlich Informationen über echte Personen preisgeben. Das Papier misst dies, indem es prüft, ob die gefälschten Daten zu nahe an den echten Daten liegen. TabKDE hält einen sicheren Abstand, wodurch sichergestellt wird, dass es neue Muster erstellt und nicht einfach echte Zeilen kopiert und einfügt (ein Problem bei älteren Methoden wie SMOTE).

Kurz gesagt: TabKDE ist ein „einfaches und skalierbares" Werkzeug, das unordentliche, private Tabellenkalkulationen in saubere, gefälschte, aber statistisch perfekte Versionen verwandelt, indem es clevere mathematische Tricks verwendet, um die Notwendigkeit teurer Supercomputer oder stundenlangen Wartens zu vermeiden.

Technische Zusammenfassung: TabKDE

Problemstellung

Die Generierung tabellarischer Daten zielt darauf ab, synthetische Zeilen zu erzeugen, die die statistische Verteilung eines ursprünglichen Datensatzes – einschließlich numerischer, kategorialer und ordinaler Merkmale – replizieren, ohne dabei lediglich bestehende Datensätze zu kopieren. Obwohl neuere Fortschritte in der generativen Modellierung (z. B. VAEs, GANs und Diffusionsmodelle) vielversprechend sind, leiden sie häufig unter erheblichen Einschränkungen:

Skalierbarkeit: Methoden, die für kategoriale Merkmale auf One-Hot-Encoding zurückgreifen, explodieren in ihrer Dimensionalität, was bei Datensätzen mit vielen Kategorien zu einem Erschöpfen des Speichers führt (z. B. der IBM-Datensatz mit ~37.000 Kategorien).
Effizienz: Das Training komplexer Modelle wie Diffusionsmodelle oder VAEs ist rechenintensiv und erfordert oft Stunden oder Tage sowie spezialisierte GPU-Hardware.
Datenschutz: Einige nicht-parametrische Methoden wie SMOTE können versehentlich Trainingsdatenpunkte zu genau replizieren, was Risiken für Datenlecks birgt.
Interpretierbarkeit: Latente Raumtransformationen in Deep-Learning-Modellen verschleiern oft die Beziehung zwischen ursprünglichen Merkmalen und generierten Stichproben.

Methodik: TabKDE

Die Autoren schlagen TabKDE vor, einen skalierbaren, nicht-parametrischen Ansatz, der das Training von Deep Learning vollständig vermeidet. Die Methode folgt einem dreistufigen Paradigma, das auf tabellarische Daten angewendet wird:

1. Kodierung ( $T \to E$ )

Die Methode wandelt alle Merkmale in ein einheitliches numerisches Format um, wobei eine Eins-zu-eins-Abbildung zwischen ursprünglichen Spalten und latenten Dimensionen beibehalten wird (Vermeidung einer Dimensionsexplosion).

Numerisch & Ordinal: Numerische Merkmale werden z-Score-normalisiert; ordinale Merkmale werden auf ganze Zahlen abgebildet, wobei die Rangordnung erhalten bleibt.
Kategorial (Principal-Guided Encoding - PGE): Anstatt One-Hot-Encoding wird jede kategoriale Kategorie mittels PGE auf einen einzelnen Skalarwert abgebildet. Dies wird erreicht durch:
1. Berechnung der ersten Hauptkomponente (PC1) der numerischen Merkmale.
2. Projektion aller Daten auf diese PC1-Richtung.
3. Zuweisung eines Wertes für jede Kategorie, der dem Durchschnittswert der PC1-Scores der Zeilen entspricht, die diese Kategorie enthalten.
  Dies erhält die Abhängigkeit zwischen kategorialen und numerischen Merkmalen, ohne die Dimensionalität zu erhöhen.

2. Copula-Transformation ( $E \to Z$ )

Die kodierten Daten werden mithilfe einer Copula-Transformation in einen kontinuierlichen latenten Raum $Z \subset [0, 1]^d$ abgebildet.

Für jedes Merkmal $j$ wird eine empirische Verteilungsfunktion (CDF) $F_j$ konstruiert.
Der Wert jedes Datenpunkts wird zu $Z_{i,j} = F_j(E_{i,j})$ transformiert, was zu einer Gleichverteilung über $[0, 1]$ für jede Randverteilung führt.
Dieser Schritt entkoppelt Randverteilungen von der Abhängigkeitsstruktur und normalisiert die Daten in einen Einheits-Hyperwürfel.
Die Stichprobenkovarianz $\Sigma$ von $Z$ wird berechnet, um Merkmalskorrelationen zu erfassen.

3. Generative Modellierung via KDE

Synthetische Stichproben werden im latenten Raum mittels Kernel-Dichteschätzung (KDE) generiert, geleitet durch zwei wesentliche gelernte Verteilungen:

Abstand zum nächsten Datensatz (DCR): Die Methode lernt die Verteilung der Abstände zwischen Datenpunkten und ihren nächsten Nachbarn im Trainingsset. Diese Verteilung, modelliert als Mischung von Gauß-Verteilungen, bestimmt den „Radius" der Perturbation für neue Stichproben und stellt sicher, dass sie die natürliche Verteilung der Daten widerspiegeln, ohne spezifische Punkte auswendig zu lernen.
Prozess der Stichprobenziehung:
1. Auswahl eines zufälligen Startpunkts $z_i$ aus den Trainingsdaten in $Z$ .
2. Stichprobenziehung eines Radius $r$ aus der gelernten DCR-Verteilung.
3. Stichprobenziehung eines Richtungsvektors $u$ , proportional zur Kovarianz $\Sigma$ .
4. Generierung eines Kandidatenpunkts $z' = z_i + r \cdot u$ .
5. Randkorrektur: Falls $z'$ außerhalb des Einheits-Hyperwürfels $[0, 1]^d$ liegt, passt eine iterative Verwerfungs-Stichprobenheuristik die außerhalb liegenden Koordinaten an, um die Gültigkeit sicherzustellen.
Decodierung: Der gültige latente Punkt wird durch die Copula-Transformation und die Kodierungskarte invertiert, um zum ursprünglichen tabellarischen Format zurückzukehren.

Coresets für Effizienz

Die Autoren führen CORETABKDE und RANDCORETABKDE ein, die den vollständigen Datensatz durch eine kleine, gewichtete Teilmenge (Coreset) von Punkten ersetzen, um die KDE zu approximieren. Dies reduziert den Speicherbedarf und die Modellgröße erheblich, während die Genauigkeit erhalten bleibt.

Hauptbeiträge

Skalierbarkeit: TabKDE verarbeitet Datensätze mit hochkardinalen kategorialen Merkmalen (z. B. 37.000 Kategorien) auf Standard-Consumer-Laptops, während state-of-the-art Diffusionsmethoden (wie TABSYN) aufgrund von Speicherbeschränkungen durch One-Hot-Encoding scheitern.
Effizienz: Die Methode erfordert nahezu keine Trainingszeit (Sekunden bis Minuten) im Vergleich zu den Stunden, die für das Training von Diffusions- oder VAE-basierten Modellen benötigt werden. Dies wird durch den Einsatz klassischer statistischer Werkzeuge (Copulas, KDE) anstelle iterativer neuronaler Netzwerk-Optimierung erreicht.
Datenschutz: Durch Kalibrierung des Perturbationsradius mittels der DCR-Verteilung und Vermeidung der direkten Replikation von Trainingspunkten mindert TabKDE Datenlecks. Es schneidet bei der Verhinderung der Generierung von fast identischen Kopien von Trainingsdaten deutlich besser ab als SMOTE.
Interpretierbarkeit: Die Kodierung mit einer Dimension pro Merkmal stellt sicher, dass jede ursprüngliche Spalte während des gesamten Prozesses einer spezifischen Koordinate entspricht, was die Interpretierbarkeit des Modells verbessert.
Integration von Coresets: Die Arbeit stellt die erste Anwendung von Coresets speziell für die generative Modellierung tabellarischer Daten vor und ermöglicht so eine kompakte Speicherung von Modellen.

Experimentelle Ergebnisse

Die Autoren bewerteten TabKDE an sechs UCI-Datensätzen und einem großen IBM-Datensatz für Kreditkartenbetrug und verglichen es mit Baselines wie SMOTE, GReaT, CoDi, TabDDPM, TABSYN und TABDIFF.

Genauigkeit:
- Randverteilungs-Alignment: TabKDE erreicht einen Fehler bei der Randverteilungs-Übereinstimmung (Durchschnitt über alle Datensätze) von 1,70, was nahezu dem state-of-the-art TABSYN (1,42) entspricht und SMOTE (2,49) sowie TabDDPM (14,52) deutlich übertrifft.
- Paarweise Korrelation: TabKDE zeigt eine starke Korrelations-Übereinstimmung (durchschnittlicher Fehler 4,67), die mit SMOTE vergleichbar ist und deutlich besser als die meisten Diffusionsmodelle abschneidet, wenn auch etwas höher als bei TABSYN (2,21).
- Globale Verteilung (C2ST): TabKDE erreicht einen Classifier Two-Sample Test (C2ST)-Score von 0,938, was darauf hindeutet, dass Klassifikatoren Schwierigkeiten haben, synthetische Daten von echten Daten zu unterscheiden. Dies ist ein Ergebnis, das mit SMOTE (0,933) vergleichbar ist und leicht unter dem von TABSYN (0,970) liegt.
Effizienz:
- Auf einer Standard-Laptop-CPU trainiert TabKDE in ~43 Sekunden und generiert Stichproben im Durchschnitt in ~3 Sekunden. Im Gegensatz dazu benötigt TABSYN ~8,5 Stunden Trainingszeit.
- Auf dem IBM-Datensatz ist TabKDE in unter 20 Minuten abgeschlossen (einschließlich Training und Stichprobenziehung), während TABSYN und SMOTE den Speicher erschöpfen (OOM).
Datenschutz:
- TabKDE erreicht einen Distance to Closest Record (DCR)-Score von 58,6 % (näher am idealen 50 % als SMOTE mit 95,7 %), was darauf hindeutet, dass synthetische Punkte nicht systematisch näher an den Trainingsdaten liegen als an zurückgehaltenen Daten.
- Die Variante CORETABKDE verbessert den Datenschutz weiter mit einem DCR-Score von 53 %, da sie keine exakten Trainingspunkte speichert.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass TabKDE ein neues Paradigma für die Generierung tabellarischer Daten bietet, das Skalierbarkeit und Effizienz priorisiert, ohne Genauigkeit oder Datenschutz zu opfern. Durch den Einsatz von Copula-Transformationen und Kernel-Dichteschätzungen demonstrieren die Autoren, dass komplexe Deep-Learning-Architekturen für hochpräzise tabellarische Synthese nicht zwingend erforderlich sind.

Die Autoren betonen, dass TabKDE besonders für Szenarien von Bedeutung ist, die eine schnelle Iteration mit sensiblen Daten erfordern (z. B. Finanzwesen und Gesundheitswesen), wo die Rechenkosten für das Training von Diffusionsmodellen prohibitiv sind und das Risiko von Datenlecks durch Methoden wie SMOTE inakzeptabel ist. Die Fähigkeit, auf einem einfachen Laptop zu laufen und massive kategoriale Räume zu bewältigen, macht die Methode für den realen Einsatz zugänglich und praktikabel. Darüber hinaus bietet die Einführung von Coresets für die generative Modellierung einen neuartigen Mechanismus zur Reduzierung von Speicher- und Rechenkosten in zukünftigen Anwendungen.