ReTabSyn: Realistic Tabular Data Synthesis via Reinforcement Learning

Das Paper stellt ReTabSyn vor, eine auf Reinforcement Learning basierende Methode zur realistischen Synthese tabellarischer Daten, die durch den Fokus auf die bedingte Verteilung $P(y\mid \bm{X})$ und direktes Feedback zur Erhaltung von Merkmalskorrelationen insbesondere bei kleinen, unausgewogenen Datensätzen die Leistungsfähigkeit nachgelagerter Modelle verbessert.

Das Wesentliche

Stell dir vor, du bist ein junger Koch, der lernen soll, das perfekte Gericht zuzubereiten. Aber es gibt ein Problem: Du hast nur drei Rezepte und wenige Zutaten zur Verfügung.

Die meisten modernen KI-Modelle (die "Köche") versuchen, jede einzelne Zutat und jeden Schritt aus diesen drei Rezepten perfekt zu memorieren. Das führt dazu, dass sie verwirrt werden. Wenn sie dann versuchen, ein neues Gericht zu kochen, passieren seltsame Fehler: Vielleicht servieren sie einem CEO ein Essen, das nur für einen Praktikanten gedacht war, oder sie mischen Zutaten, die sich gar nicht schmecken. Das nennt man in der Fachsprache "unrealistische Daten".

Das ist das Problem, das die Forscher mit ihrer neuen Methode namens ReTabSyn lösen wollen.

Hier ist die einfache Erklärung, wie sie das machen, mit ein paar anschaulichen Vergleichen:

1. Das Problem: Der falsche Fokus

Die alten KI-Modelle wollten alles perfekt verstehen: Wie sehen die Zutaten aus? Wie sind sie verteilt? (Das nennt man die "gemeinsame Verteilung"). Aber wenn man nur wenig Daten hat, ist das wie ein Versuch, ein ganzes Buch auswendig zu lernen, nur um eine einzige Frage zu beantworten. Das funktioniert nicht gut.

Die Forscher sagen: "Vergiss das ganze Buch! Konzentriere dich nur auf die Antwort."
In der Welt der Daten bedeutet das: Es ist wichtiger zu lernen, welche Zutaten zu welchem Ergebnis führen (z. B. "Wenn jemand 45 Jahre alt ist und als CEO arbeitet, verdient er wahrscheinlich viel Geld"), als zu lernen, wie oft 45-Jährige in der Welt vorkommen.

2. Die Lösung: ReTabSyn (Der "Korrektur-Coach")

ReTabSyn ist wie ein strenger, aber fairer Koch-Coach, der mit einem Belohnungssystem arbeitet (Reinforcement Learning).

Stell dir vor, der KI-Koch kocht ein Gericht. Der Coach schaut sich das an und sagt:

• Szenario A (Der Fehler): Der Koch macht ein Gericht für einen CEO, aber der Preis ist zu niedrig.
• Szenario B (Die Korrektur): Der Coach sagt: "Nein! Wenn es ein CEO ist, muss der Preis hoch sein. Das hier ist falsch."

Anstatt dem Koch nur zu sagen "Das war falsch", gibt der Coach dem Koch zwei Versionen des Gerichts:

1. Die "Chosen" (Ausgewählte) Version: Das korrekte Gericht (CEO = hohes Gehalt).
2. Die "Rejected" (Abgelehnte) Version: Das falsche Gericht (CEO = niedriges Gehalt).

Der Coach sagt dann: "Lerne aus dem Unterschied! Mach mehr von Version 1 und weniger von Version 2."

3. Das Besondere: Keine externen Helfer nötig

Früher brauchten solche Systeme oft einen zweiten, sehr intelligenten KI-Experten (einen "Oracle"), der bewertet, ob das Gericht gut ist. Das war teuer und kompliziert.

ReTabSyn ist cleverer: Es nutzt Logik und Regeln, die wir alle kennen.

• Regel: "Ein CEO verdient nicht weniger als 50.000 Dollar."
• Regel: "Ein Kind ist nicht 80 Jahre alt."

Das System prüft diese Regeln selbst. Wenn die KI gegen eine Regel verstößt, wird das Gericht sofort als "schlecht" markiert. Es braucht keinen externen Experten, nur die klaren Regeln der Welt. Das macht es schneller, billiger und privater.

4. Warum ist das so gut?

Wenn die KI nur auf die Logik der Entscheidung achtet (Zutaten -> Ergebnis), statt auf die Häufigkeit der Zutaten, passiert etwas Magisches:

• Bei wenig Daten: Sie macht weniger dumme Fehler.
• Bei unausgewogenen Daten: Wenn es nur wenige "Krankheitsfälle" in den Daten gibt, lernt sie trotzdem, wie man diese Fälle erkennt, ohne sie zu ignorieren.
• Für die Zukunft: Wenn sie neue Daten bekommt, die sich von den alten unterscheiden (z. B. andere Altersgruppen), funktioniert sie trotzdem gut, weil sie die Logik verstanden hat, nicht nur die Muster.

Zusammenfassung in einem Satz

ReTabSyn ist wie ein Koch, der nicht versucht, jedes Rezept auswendig zu lernen, sondern stattdessen von einem Coach lernt, welche Zutaten zu welchem Geschmack führen, damit er auch mit wenigen Zutaten immer ein leckeres (und realistisches) Gericht zaubern kann.

Das Ergebnis: Wir können sichere, künstliche Daten für sensible Bereiche wie Medizin oder Finanzen erstellen, ohne die Privatsphäre echter Menschen zu gefährden, und dabei trotzdem KI-Modelle trainieren, die wirklich gut funktionieren.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „ReTabSyn: Realistic Tabular Data Synthesis via Reinforcement Learning" auf Deutsch:

1. Problemstellung

Deep Generative Models (DGMs) versprechen, Datenknappheit und Datenschutzprobleme durch die Erzeugung synthetischer Trainingsdaten zu lösen. In der Praxis scheitern diese Modelle jedoch oft an tabularen Daten, insbesondere in Szenarien mit:

• Wenigen Daten (Low-Data): Kleine Stichprobengrößen.
• Ungleichgewichten (Imbalance): Starke Dominanz einer Klasse.
• Verteilungsverschiebungen (Distribution Shift): Unterschiedliche Trainings- und Testverteilungen.

Das Kernproblem liegt in der Diskrepanz zwischen dem generativen Ziel und dem Nutzen für nachgelagerte Aufgaben (Downstream Utility). Herkömmliche DGMs versuchen, die vollständige gemeinsame Verteilung $P(X, y)$ zu lernen. In datenarmen Regimen führt dies dazu, dass das Modell zu viel statistische Kapazität für das Lernen der Randverteilung der Merkmale $P(X)$ verschwendet, anstatt die für die Vorhersage entscheidende bedingte Verteilung $P(y | X)$ (die Entscheidungsgrenze) präzise zu modellieren. Dies resultiert in synthetischen Daten, die zwar statistisch plausibel wirken, aber unrealistische Einträge enthalten (z. B. ein CEO mit einem Einkommen unter 50.000 $) und die Leistung von ML-Modellen verschlechtern.

2. Methodik: ReTabSyn

ReTabSyn (Reinforced Tabular Synthesis) ist ein Framework, das auf Reinforcement Learning (RL) und Direct Preference Optimization (DPO) basiert, um die bedingte Verteilung $P(y | X)$ priorisiert zu lernen.

Theoretische Grundlage

Basierend auf einer theoretischen Analyse (Xu et al., 2023) zeigt das Paper, dass der „Utility Gap" (der Leistungsunterschied zwischen synthetischen und realen Daten) primär durch den Fehler in der Regression (der bedingten Verteilung $\eta(x) = P(y|x)$) bestimmt wird, nicht durch die Übereinstimmung der Merkmalsrandverteilungen. Daher sollte das Generierungsziel auf die Minimierung dieses Fehlers ausgerichtet sein.

Der ReTabSyn-Workflow

1. Basis-Generator: Ein vortrainierter tabularer Generator (basierend auf GPT-2 und dem GReaT-Framework) wird zunächst durch überwachtes Lernen (Supervised Fine-Tuning, SFT) auf augmentierten Daten trainiert.
2. Präferenzkonstruktion (Oracle-free): Anstatt externe Reward-Modelle oder menschliche Labels zu nutzen, erzeugt ReTabSyn „Chosen-Rejected"-Paare durch systematische Störungen (Perturbationen) realer Datenzeilen:
   • Ziel-Störung (Target Perturbation): Die Zielvariable $y$ wird auf einen anderen Wert geändert, während die Merkmale $X$ gleich bleiben. Das Originalpaar $(X, y)$ wird als „gewählt" (Chosen) und das gestörte $(X, \tilde{y})$ als „abgelehnt" (Rejected) markiert. Dies zwingt das Modell, die korrekte Beziehung zwischen Merkmalen und Ziel zu lernen.
   • Merkmals-Störung (Feature Perturbation): Stark korrelierte Merkmalspaare werden gestört (z. B. Verschiebung eines numerischen Werts in eine andere Quantilsklasse), um unrealistische Merkmalskombinationen zu bestrafen.
3. Direct Preference Optimization (DPO): Der Generator wird mit DPO feinabgestimmt. Das Ziel ist es, die Log-Likelihood-Differenz zwischen den „gewählten" und „abgelehnten" Paaren zu maximieren. Dies „sichert" (locks in) die entscheidenden bedingten Abhängigkeiten, ohne ein explizites Reward-Modell zu benötigen.

3. Schlüsselbeiträge

• Oracle-freie, tabular-natürliche Präferenzkonstruktion: ReTabSyn verzichtet auf externe Oracle-Klassifikatoren oder menschliche Labels. Stattdessen nutzt es die Struktur der Tabellenschemata (Typenprüfungen, logische Regeln), um hochreine Präferenzpaare zu erzeugen. Dies reduziert Bias und Kosten.
• Entscheidungsorientierte bedingte Ausrichtung: Durch die Fokussierung auf $P(y | X)$ mittels DPO wird der Nutzen für nachgelagerte ML-Aufgaben in datenarmen und unausgewogenen Szenarien maximiert.
• Robuste Benchmarks und Diagnose: Das Framework wurde auf 10 verschiedenen Datensätzen unter extremen Bedingungen (z. B. nur 32 Trainingsbeispiele, 1% Minderheitenklasse) getestet und übertrifft den Stand der Technik (SOTA).

4. Ergebnisse

Die Experimente zeigen konsistent, dass ReTabSyn anderen Methoden überlegen ist:

• Kleine Datenmengen: Bei Trainingsgrößen von 32 bis 128 Zeilen erreicht ReTabSyn höhere AUROC-Werte als alle Baselines (einschließlich GReaT, TVAE, TabSyn und RL-basierter Methoden wie PTA/SynRL). In einigen Fällen übertrifft es sogar die Leistung, die mit reinen realen Daten erzielt wird.
• Ungleichgewicht (Imbalance): Bei einer Minderheitenklasse von nur 1% erzielt ReTabSyn die besten PR-AUC-Werte (z. B. 0,906 auf dem Adult-Datensatz vs. 0,891 für SMOTE).
• Verteilungsverschiebung: ReTabSyn ist robuster gegenüber Kovariatenverschiebungen und liefert bessere Ergebnisse auf Testdaten aus anderen Subpopulationen.
• Statistische Treue (Fidelity): Die synthetischen Daten bewahren die Korrelationsstrukturen zwischen Merkmalen und Ziel besser als andere Methoden, was für die downstream-Nutzung entscheidend ist.
• Privatsphäre: Im Vergleich zu Interpolationsmethoden (wie SMOTE) zeigt ReTabSyn ein deutlich geringeres Risiko für Membership-Inference-Angriffe (Leckage), während es eine vergleichbare Authentizität beibehält.

5. Bedeutung und Ausblick

ReTabSyn adressiert eine fundamentale Lücke in der synthetischen Datengenerierung: Die Notwendigkeit, in datenarmen Umgebungen nicht die perfekte Verteilung aller Merkmale, sondern die entscheidungsrelevanten Zusammenhänge zu lernen.

• Praktischer Nutzen: Die Methode ermöglicht die sichere Freigabe sensibler Daten (z. B. im Gesundheitswesen oder Finanzsektor), da sie realistische, aber datenschutzkonforme Trainingsdaten liefert, die ML-Modelle effektiv trainieren.
• Kontrollierbarkeit: Da das Framework auf Störungen basiert, können Expertenregeln (z. B. „Wenn Geschlecht = weiblich, dann Status = verheiratet") leicht durch die Perturbationslogik erzwungen werden, was die Erzeugung fairer und konformer Daten unterstützt.
• Zukunft: Die Autoren planen, die Methode auf andere Architekturen (z. B. Diffusionsmodelle) zu erweitern und explizite Mechanismen für Fairness und Adversarial Robustness zu integrieren.

Zusammenfassend stellt ReTabSyn einen Paradigmenwechsel dar: Weg von der reinen Dichteschätzung hin zu einer zielgerichteten Optimierung der Vorhersagegüte durch Reinforcement Learning, speziell optimiert für die Herausforderungen realer, tabularer Daten.