XGenBoost: Synthesizing Small and Large Tabular Datasets with XGBoost

Die Arbeit stellt XGenBoost vor, ein Paar generativer Modelle auf XGBoost-Basis, die durch die Kombination von Diffusions- und hierarchischen autoregressiven Ansätzen effizient und kostengünstig hochwertige synthetische tabellarische Daten für kleine und große Datensätze erzeugen.

Das Wesentliche

Die große Idee: Der „Koch" für Daten

Stellen Sie sich vor, Sie haben einen riesigen Vorrat an Rezepten (Daten), aber Sie wollen neue, völlig neue Gerichte kochen, die genau so schmecken wie die Originalrezepte, aber keine echten Menschen betreffen. Das nennt man synthetische Datenerzeugung.

Bisher haben die meisten „Köche" (KI-Modelle) dafür riesige, energieintensive Öfen (starke Grafikkarten/GPUs) benutzt, die nur wenige Leute in reichen Ländern haben. Die Autoren dieses Papers sagen: „Warte mal! Wir können das auch mit einem ganz normalen Herd (einem einfachen Computer-Prozessor) und einem bewährten, alten Werkzeug namens XGBoost machen."

XGBoost ist wie ein extrem geschickter, erfahrener Handwerker, der besonders gut mit gemischten Materialien umgehen kann (z. B. Holz, Metall und Plastik gleichzeitig – in der Datenwelt: Zahlen, Kategorien wie „Ja/Nein", und Text).

Zwei verschiedene Werkzeuge für zwei verschiedene Aufgaben

Die Forscher haben zwei verschiedene „Kochrezepte" entwickelt, je nachdem, wie viel Essen (Daten) Sie haben:

1. Für kleine Datenmengen: Der „Diffusions-Künstler" (XGenB-DF)

• Die Analogie: Stellen Sie sich vor, Sie haben ein schönes, klares Foto, aber es ist leicht verschwommen. Sie wollen ein neues, fast identisches Foto daraus machen.
• Wie es funktioniert: Der Algorithmus nimmt das Original und fügt langsam „Rauschen" (wie statisches TV-Bild) hinzu, bis es nur noch ein grauer Nebel ist. Dann lernt das Modell, wie man diesen Nebel wieder zurück in ein scharfes Bild verwandelt.
• Der Clou: Statt eines riesigen neuronalen Netzwerks (das wie ein komplizierter Roboter ist), nutzt XGenBoost hier viele kleine, spezialisierte Helfer. Jeder Helfer kümmert sich nur um eine Sache (z. B. nur um die Farbe oder nur um die Form).
• Vorteil: Es ist sehr schnell, braucht keine teure Hardware und erzeugt Daten, die den Originalen extrem ähnlich sind, ohne dass man sie „einfach kopieren" muss.

2. Für riesige Datenmengen: Der „Baumeister" (XGenB-AR)

• Die Analogie: Stellen Sie sich vor, Sie bauen ein riesiges Hochhaus mit Millionen von Zimmern. Wenn Sie versuchen, das ganze Haus auf einmal zu bauen, wird es chaotisch und dauert ewig.
• Wie es funktioniert: Dieser Ansatz baut das Haus Reihenfolge für Reihenfolge (autoregressiv). Zuerst wird das Fundament gelegt (z. B. das Alter), dann wird basierend darauf das Geschoss gebaut (z. B. das Einkommen), dann das Dach (z. B. die Wohnort-Kategorie).
• Der Clou: Da XGBoost so gut darin ist, Entscheidungen zu treffen (wie ein erfahrener Bauleiter), kann es für jeden Schritt eine einfache Regel aufstellen: „Wenn das Alter zwischen 20 und 30 liegt, dann ist das Einkommen wahrscheinlich zwischen X und Y."
• Vorteil: Es ist extrem skalierbar. Selbst wenn Sie Millionen von Zeilen Daten haben, läuft das Modell in wenigen Minuten auf einem ganz normalen Computer.

Warum ist das so wichtig?

1. Demokratisierung: Bisher brauchte man für solche Aufgaben oft teure Supercomputer. XGenBoost läuft auf ganz normalen Laptops oder Servern. Das bedeutet: Auch Forscher in Entwicklungsländern oder kleine Kliniken können sichere, synthetische Daten erstellen, ohne Millionen zu investieren.
2. Datenschutz: Wenn Sie sensible Daten (z. B. Patientendaten) teilen wollen, können Sie diese nicht einfach verschicken. Mit XGenBoost erstellen Sie eine „Kopie", die statistisch identisch ist, aber keine echten Personen enthält. Niemand kann von der Kopie auf die echte Person zurückrechnen.
3. Effizienz: Die alten Methoden waren oft wie ein Elefant im Porzellanladen – sie waren langsam und ungenau bei gemischten Datentypen. XGenBoost ist wie ein geschickter Taschenspieler, der genau weiß, wie er mit Zahlen und Kategorien umgehen muss, ohne sie zu verzerren.

Zusammenfassung in einem Satz

Die Autoren haben bewiesen, dass man für das Erstellen von künstlichen, aber realistischen Daten keine riesigen, teuren KI-Monster braucht, sondern dass ein cleveres, bewährtes Werkzeug (XGBoost) in zwei verschiedenen Formen (Diffusion für kleine Daten, Reihenfolge-Bau für große Daten) oft besser, schneller und für jeden zugänglich ist.

Technische Zusammenfassung

1. Problemstellung

Die Synthese von gemischten tabellarischen Daten (Mixed-Type Tabular Data), die sowohl numerische als auch kategoriale Merkmale enthalten, ist ein zentrales Forschungsgebiet für Anwendungen wie Daten-Augmentierung, den Austausch sensibler Daten und Federated Learning.

Der aktuelle Stand der Technik (State-of-the-Art) stützt sich überwiegend auf tiefe neuronale Netze (z. B. GANs, VAEs, Diffusionsmodelle). Diese Methoden haben jedoch erhebliche Nachteile:

• Ressourcenbedarf: Sie erfordern leistungsstarke GPUs und lange Trainingszeiten.
• Zugänglichkeit: Der Zugang zu solchen Rechenressourcen ist global ungleich verteilt.
• Induktive Verzerrungen (Inductive Biases): Neuronale Netze sind nicht immer die effizientesten Approximatoren für tabellarische Daten, da sie oft komplexe Hyperparameter-Tuning-Prozesse benötigen und die inhärente Struktur tabellarischer Daten (z. B. diskrete Kategorien) nicht nativ nutzen.

Bisherige Ansätze, die auf Baum-Ensembles (wie Random Forests oder XGBoost) basieren, scheiterten oft an der Skalierbarkeit auf große Datensätze oder erforderten eine massive Erweiterung des Trainingsdatensatzes, um zufällige Ordnungen oder Diffusionsprozesse zu ermöglichen.

2. Methodik: XGenBoost

Die Autoren stellen XGenBoost vor, eine Familie von generativen Modellen, die auf XGBoost basieren und speziell für die Synthese gemischter tabellarischer Daten entwickelt wurden. Das Framework besteht aus zwei komplementären Architekturen, die je nach Datengröße gewählt werden:

A. XGenB-DF (Für kleine Datensätze)

Dies ist ein Denoising Diffusion Implicit Model (DDIM), das XGBoost als Score-Schätzer (Score-Estimator) verwendet.

• Hybride Diffusion: Es kombiniert Gaußsche Diffusion für numerische Merkmale und multinomiale Diffusion für kategoriale Merkmale.
• Vorteil: Kategoriale Daten werden direkt auf den Kategorien gesplittet (native XGBoost-Funktionalität), wodurch eine One-Hot-Encoding entfällt. Dies vermeidet nicht-glatt verteilte Dichten, die bei der One-Hot-Encoding in Gaußschen Räumen entstehen.
• Architektur: Pro Merkmal und Zeitschritt wird ein separates XGBoost-Modell (Regressor oder Klassifikator) trainiert.
• Optimierung: Durch den Wechsel von DDPM zu DDIM können hochwertige Stichproben mit weniger Diffusionsschritten generiert werden. Zudem wird ein Velocity-based Objective verwendet, um glattere Verlustverläufe zu erzielen.
• Privatsphäre: Ein Dropout-Mechanismus für numerische Eingaben verhindert das Auswendiglernen (Memorization) von Trainingsdaten und erhöht die Privatsphäre auf Kosten einer geringfügigen Diversität.

B. XGenB-AR (Für große Datensätze)

Dies ist ein hierarchisches autoregressives Modell, das die gemeinsame Verteilung durch eine Kettenregel-Faktorisierung approximiert.

• Feste Reihenfolge: Im Gegensatz zu random-order Ansätzen (wie bei Unmasking Trees) wird eine feste Feature-Reihenfolge verwendet, um die Notwendigkeit einer massiven Erweiterung des Trainingsdatensatzes zu vermeiden. Dies ermöglicht das Skalieren auf sehr große Datensätze.
• Probabilistische Vorhersage:
  • Kategoriale Merkmale: Werden direkt durch Multi-Class-XGBoost-Klassifikatoren modelliert.
  • Numerische Merkmale: Werden durch hierarchische Klassifikation modelliert. Anstatt eine direkte Regression durchzuführen, werden die numerischen Werte in Bins quantisiert. Ein Meta-Baum aus binären XGBoost-Klassifikatoren wird trainiert, um die Wahrscheinlichkeit für diese Bins zu schätzen. Dies erzwingt eine ordinale induktive Verzerrung und verbessert die Modellierung der Verteilungsstruktur.
• De-Quantisierung: Um die nicht-kontinuierliche Natur realer Daten zu bewahren, werden die Bins nicht gleichmäßig, sondern basierend auf empirischen Quantilfunktionen (Interpolation) zurück in den kontinuierlichen Raum transformiert.
• Umgang mit hoher Kardinalität: Bei kategorialen Merkmalen mit vielen seltenen Kategorien werden diese mittels K-Medoids-Clustering (basierend auf Gower-ähnlichen Distanzen) gruppiert, um die Trainingszeit zu begrenzen und das Risiko von Overfitting auf identifizierbare Ausreißer zu minimieren.

3. Schlüsselbeiträge

1. Paradigmenwechsel: Die Arbeit zeigt, dass Baum-Ensembles (XGBoost) nicht nur für diskriminative Aufgaben, sondern auch als leistungsstarke generative Modelle für tabellarische Daten geeignet sind, oft effizienter als neuronale Netze.
2. Zwei-Modell-Ansatz: Bereitstellung von zwei spezialisierten Architekturen (Diffusion für kleine, Autoregression für große Datensätze), die die spezifischen Stärken von XGBoost nutzen (z. B. native Kategoriel-Splits, keine Mini-Batch-Notwendigkeit).
3. Skalierbarkeit: XGenB-AR kann Datensätze mit Millionen von Zeilen auf Standard-CPU-Hardware in Minuten trainieren, während neuronale Diffusionsmodelle oft GPU-Ressourcen und Stunden benötigen.
4. Verbesserte Modellierung: Durch die Kombination von multinomialer Diffusion und hierarchischer Klassifikation werden die inhärenten Eigenschaften gemischter Daten besser erfasst als durch reine One-Hot-Encoding-Ansätze.

4. Ergebnisse

Die Evaluation erfolgte auf zwei Benchmarks: einem „Small Benchmark" (27 kleine Datensätze) und einem „Big Benchmark" (11 große Datensätze).

• Qualität (Fidelity): XGenBoost-Modelle (sowohl XGenB-DF als auch XGenB-AR) übertreffen konsistent neuronale Baselines (CTGAN, TVAE, TabDDPM) und andere baumbasierte Methoden (ARF, UT, FD/FF) in Bezug auf Randverteilungen (Shape), Korrelationen (Trend) und die Ununterscheidbarkeit von echten Daten (Detection).
• Nützlichkeit (Utility): Modelle, die auf synthetischen Daten trainiert wurden, erzielen bei der Vorhersage auf echten Testdaten (Train Synthetic Test Real - TSTR) oft bessere oder gleichwertige Ergebnisse im Vergleich zu Modellen, die auf realen Daten trainiert wurden.
• Privatsphäre: XGenBoost erzielt gute DCR-Scores (Distance to Closest Record), was auf ein geringeres Risiko des Auswendiglerns hinweist, insbesondere im Vergleich zu hochfidelen Diffusionsmodellen.
• Effizienz:
  • Trainingszeit: XGenB-AR trainiert auf großen Datensätzen (z. B. acsincome mit ~1,6 Mio. Zeilen) in ca. 3 Minuten auf 16 CPU-Kernen. Im Vergleich dazu benötigen neuronale Modelle oft Stunden oder Tage.
  • Hardware: Die Methoden laufen effizient auf CPUs und benötigen keine GPUs.

5. Bedeutung und Fazit

XGenBoost demonstriert, dass generative Modelle für tabellarische Daten nicht zwangsläufig auf komplexe neuronale Architekturen angewiesen sind. Durch die Anpassung der Architektur an die Stärken von Gradient-Boosted Decision Trees (XGBoost) erreichen die Autoren:

• Demokratisierung des Zugangs: Hochwertige Datensynthese wird auch für Nutzer ohne Zugang zu teurer GPU-Hardware möglich.
• Ressourceneffizienz: Deutlich reduzierte Trainingszeiten und Energieverbrauch.
• Daten-First-Ansatz: Die Architektur wird basierend auf den Eigenschaften der Daten (gemischte Typen, diskrete Natur) entworfen, anstatt generische Modelle aus anderen Domänen (NLP, Computer Vision) zu adaptieren.

Die Arbeit schlägt vor, dass für gemischte tabulare Daten baumbasierte Generatoren oft die überlegene Wahl in Bezug auf Genauigkeit, Robustheit und Recheneffizienz sind.