📊 statistics

Cascaded Flow Matching for Heterogeneous Tabular Data with Mixed-Type Features

Dieser Beitrag stellt Cascaded Flow Matching vor, ein neuartiges generatives Modell für heterogene tabellarische Daten, das die Synthese von Mischtyp-Features verbessert, indem es zunächst eine niedrigauflösende kategorische Repräsentation generiert und diese anschließend über einen geführten bedingten Wahrscheinlichkeitspfad zu hochauflösenden Stichproben verfeinert, was zu einer deutlich realistischeren Datengenerierung und einer Verbesserung der Erkennungswerte um 51,9 % führt.

Ursprüngliche Autoren: Markus Mueller, Kathrin Gruber, Dennis Fok

Veröffentlicht 2026-05-04

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Markus Mueller, Kathrin Gruber, Dennis Fok

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Computer beizubringen, gefälschte, aber realistisch aussehende Tabellenkalkulationen zu erstellen (wie eine Liste von Kundenakten mit Namen, Alter, Gehalt und Jobtitel). Dies wird als „generative Modellierung" bezeichnet. Das Problem ist, dass diese Tabellenkalkulationen unordentlich sind. Sie enthalten:

Kategorien: Wie „Jobtitel" (Lehrer, Arzt, Ingenieur).
Zahlen: Wie „Gehalt" (50.000 $).
Gemischte Zahlen: Manchmal ist eine Zahl nicht nur eine Zahl. Sie könnte „Fehlend" sein (die Person hat nicht geantwortet), „Null" (sie hat nichts verdient) oder „Aufgebläht" (ein spezifischer Wert, der viel zu häufig vorkommt).

Aktuelle KI-Modelle haben Schwierigkeiten mit dieser Mischung. Sie versuchen, die Kategorien und die Zahlen gleichzeitig zu lernen, wie wenn man versucht, ein detailliertes Porträt zu malen und gleichzeitig lernt, wie man einen Strichmännchen zeichnet. Das Ergebnis ist oft ein verschwommener Durcheinander, bei dem die Details verloren gehen.

Die Lösung des Papiers: „TabCascade"
Die Autoren schlagen eine neue Methode namens TabCascade vor. Anstatt alles in einem großen Sprung zu versuchen, zerlegen sie den Prozess in zwei Schritte, wie bei einem Bauprojekt.

1. Die „niedrig aufgelöste" Skizze (Der Bauplan)

Zuerst erstellt die KI eine grobe, wenig detaillierte Skizze der Datenzeile.

Sie betrachtet die Kategorien (Jobtitel).
Sie betrachtet die Zahlen, sieht aber statt des genauen Dollarbetrags eine grobe Kategorie.
- Analogie: Stellen Sie sich vor, Sie schauen auf ein Gehalt von 52.345 $. Das „niedrig aufgelöste" Modell sieht nicht die genaue Zahl. Es sieht nur einen Eimer: „Hochverdiener", „Fehlende Daten" oder „Kein Einkommen".
Dieser Schritt ist für die KI einfach, da es sich nur darum handelt, Dinge in Behälter zu sortieren. Hier werden die schwierigen Fälle „Fehlend" oder „Null" behandelt, wobei entschieden wird, ob eine Zahl existiert, bevor versucht wird, zu erraten, was sie ist.

2. Die „hoch aufgelöste" Malerei (Die Details)

Sobald die KI die grobe Skizze hat (die Kategorien und die „Eimer" für die Zahlen), geht sie zum zweiten Schritt über.

Jetzt muss sie nur noch die Details ausfüllen.
Analogie: Wenn die Skizze „Hochverdiener" sagte, weiß das zweite Modell, dass es nur ein realistisches hohes Gehalt generieren muss (z. B. 85.000 $). Wenn die Skizze „Fehlend" sagte, weiß das zweite Modell, dass es diese Stelle leer lassen muss. Es muss nicht erraten, ob die Daten fehlen; es füllt einfach die spezifische Zahl basierend auf dem Hinweis aus, den es erhalten hat.

Warum dies besser funktioniert

Das Papier behauptet, dass dieser „Teile-und-herrsche"-Ansatz drei große Probleme löst:

Es verhindert, dass die KI verwirrt wird: Durch die Trennung der „einfachen" Dinge (Kategorien und Fehlmarkierungen) von den „schwierigen" Dingen (genaue Zahlen) muss die KI nicht zwei verschiedene Arten von Mathematik gleichzeitig jonglieren.
Es behandelt „gemischte" Daten auf natürliche Weise: Im echten Leben gibt es Daten, die teilweise Zahl und teilweise Kategorie sind (wie ein Gehalt, das entweder 0 $ oder eine echte Zahl ist). TabCascade behandelt die „Null" zuerst als Kategorie und füllt dann den Rest aus. Dies lässt die gefälschten Daten viel mehr wie echte Daten aussehen.
Es spart Energie: Die Autoren beweisen mathematisch, dass dieser Zwei-Schritte-Prozess effizienter ist. Es ist wie eine Abkürzung auf einer Karte. Anstatt von Punkt A nach Punkt B über eine kurvige Bergstraße zu fahren, bringt Sie der erste Schritt an einen Autobahneingang (die niedrig aufgelöste Skizze), und der zweite Schritt fährt Sie direkt zum Ziel.

Die Ergebnisse

Die Autoren testeten dies an 12 verschiedenen realen Datensätzen (wie Kreditkartendaten, Krankenhausdaten und Volkszählungsdaten).

Die Punktzahl: Sie verwendeten eine „detektivische" KI, um zu versuchen, den Unterschied zwischen echten Daten und den gefälschten Daten zu erkennen. Je schwerer es für den Detektiv ist, sie zu unterscheiden, desto besser sind die gefälschten Daten.
Der Sieg: TabCascade täuschte den Detektiv 51,9 % besser als die bisherigen besten Methoden.
Die Details: Es war besonders gut darin, die subtilen Details der Zahlen einzufangen, wie zum Beispiel wie oft Menschen genau 0 $ verdienen oder wie fehlende Daten verteilt sind.

Zusammenfassung:
TabCascade ist wie ein Künstler, der zuerst den Umriss skizziert und entscheidet, wo die Schatten liegen (niedrig aufgelöst), und dann die feinen Details malt (hoch aufgelöst). Indem nicht versucht wird, das ganze Bild auf einmal zu malen, ist das Endergebnis viel schärfer, realistischer und besser darin, die unordentliche, verworrene Natur realer Daten zu bewältigen.

1. Problemstellung

Das Papier adressiert die Herausforderung, hochfidele synthetische Daten für heterogene tabellarische Datensätze zu generieren. Diese Datensätze enthalten eine Mischung aus:

Kategorischen Merkmalen (diskrete Zustände).
Kontinuierlichen numerischen Merkmalen.
Gemischten Merkmalen: Numerische Merkmale, die sowohl kontinuierliche Verteilungen als auch diskrete Punktmasse aufweisen (z. B. mit Nullen überflutet, mit Einsen überflutet oder fehlende Werte).

Identifizierte Hauptherausforderungen:

Strukturelle Inkonsistenz: Bestehende Diffusions- und flussbasierte Modelle erzwingen oft ein einheitliches generatives Ziel über alle Merkmalstypen hinweg. Kategorische und kontinuierliche Daten basieren jedoch auf unterschiedlichen strukturellen Annahmen (diskreter Träger vs. kontinuierliche Dichte, Wahrscheinlichkeitsmasse vs. Dichtefunktionen).
Implizite Neugewichtung: Die Kombination dieser Typen unter einem einzigen Ziel führt zu einer impliziten Neugewichtung der Merkmale, bei der ein Typ den Lernprozess dominiert und die Qualität des anderen verschlechtert.
Komplexität gemischter Typen: Standardmodelle haben Schwierigkeiten, Merkmale mit diskreten Ergebnissen (wie fehlende Werte oder überflutete Nullen) zu generieren, die in eine kontinuierliche Verteilung eingebettet sind. Oft gelingt es ihnen nicht, die spezifische Wahrscheinlichkeitsmasse für diese diskreten Zustände zu erfassen.
Verlustausgleich: Frühere Ansätze erfordern eine manuelle Abstimmung der relativen Verlustgewichte zwischen kategorischen und numerischen Merkmalen, um zu verhindern, dass einer dominiert; dies ist schwer zu skalieren und zu optimieren.

2. Methodik: TabCascade

Die Autoren schlagen TabCascade vor, ein neuartiges kaskadiertes Flow-Matching-Framework, das die Generierungsaufgabe in Stufen mit niedriger und hoher Auflösung zerlegt.

A. Konzeptueller Rahmen: Auflösung in tabellarischen Daten

Anstelle der visuellen Auflösung (Pixel) definieren die Autoren die Auflösung basierend auf der Merkmalgranularität:

Niedrige Auflösung ( $x_{low}$ ): Umfasst alle kategorischen Merkmale ( $x_{cat}$ ) und eine diskretisierte, kategorische Darstellung ( $z$ ) der numerischen Merkmale ( $x_{num}$ ).
Hohe Auflösung ( $x_{high}$ ): Die feinkörnigen, kontinuierlichen Details der numerischen Merkmale.

B. Die kaskadierte Pipeline

Die gemeinsame Verteilung wird faktorisiert als:
$p_\theta(x_{cat}, x_{num}) = \sum_{z} p_\theta^{high}(x_{num} | z, x_{cat}) \cdot p_\theta^{low}(z, x_{cat})$

Modell niedriger Auflösung ( $p_\theta^{low}$ ):
- Lernt die gemeinsame Verteilung kategorischer Merkmale und der diskretisierten numerischen Latenten ( $z$ ).
- Encoder: Verwendet einen Distributional Regression Tree (DT) (oder ein Gaußsches Mischmodell), um kontinuierliche numerische Werte $x_{num}$ in diskrete Kategorien $z$ abzubilden.
- Umgang mit gemischten Typen: Die Diskretisierung $z$ kodiert explizit spezielle Zustände wie „fehlend" ( $c_{miss}$ ) oder „überflutet" ( $c_{infl}$ ). Wenn $z$ einen fehlenden Zustand anzeigt, gibt das Modell hoher Auflösung deterministisch einen fehlenden Wert aus, wodurch die Notwendigkeit entfällt, diese komplexe Wahrscheinlichkeitsmasse während der Hochauflösungsphase zu lernen.
- Modellwahl: Die Autoren nutzen CDTD (Continuous Diffusion for Mixed-Type Tabular Data) als Generator niedriger Auflösung.
Modell hoher Auflösung ( $p_\theta^{high}$ ):
- Generiert die detaillierten numerischen Werte $x_{num}$ , bedingt durch die Ausgabe niedriger Auflösung ( $x_{low} = (x_{cat}, z)$ ).
- Maskierung: Wenn $z$ einen diskreten Zustand anzeigt (z. B. fehlend), wird der Verlust für dieses spezifische Merkmal maskiert, sodass das Modell seine Kapazität darauf konzentrieren kann, die kontinuierlichen Details nicht-diskreter Merkmale zu lernen.
- Flow Matching: Verwendet Flow Matching, um ein Vektorfeld zu lernen, das eine Quellverteilung in die Zielverteilung transformiert.

C. Neuartige technische Innovationen

Um die Generierung hoher Auflösung zu verbessern, führt TabCascade zwei Schlüsselmechanismen ein:

Datenabhängige Kopplung:
- Anstatt das Quellrauschen $x_0$ aus einer Standard-Gaußverteilung $N(0, I)$ zu ziehen, wird die Quelle auf $z$ konditioniert.
- $x_0 = \mu(z) + \sigma(z)\epsilon$ , wobei $\mu(z)$ und $\sigma(z)$ der Mittelwert und die Varianz der spezifischen Gauß-Komponente im DT-Encoder sind, die $z$ erzeugt hat.
- Vorteil: Dies verschiebt die Quellverteilung im latenten Raum näher an die Zielverteilung heran und reduziert die Transportkosten (die Distanz, die der Fluss zurücklegen muss) erheblich. Die Autoren beweisen formal, dass dies die Transportkosten-Schranke im Vergleich zur unabhängigen Kopplung strafft.
Geführter bedingter Wahrscheinlichkeitspfad:
- Führt lernbare, merkmalspezifische Zeitpläne $\gamma_t(x_{low})$ ein.
- Der Wahrscheinlichkeitspfad ist definiert als:
  $x_t = \gamma_t(x_{low})x_1 + (1 - \gamma_t(x_{low}))[\mu(z) + \sigma(z)\epsilon]$
- Dies ermöglicht es dem Modell, nicht-lineare Trajektorien zu lernen, die auf spezifische Merkmalsgruppen zugeschnitten sind, die durch die Informationen niedriger Auflösung definiert werden, anstatt einen festen linearen Pfad zu verwenden.

3. Hauptbeiträge

Erstes kaskadiertes Diffusionsmodell für tabellarische Daten: Schlägt das erste Framework vor, das einen kaskadierten Ansatz (von niedriger zu hoher Auflösung) auf die Generierung tabellarischer Daten anwendet.
Generierung gemischter Merkmalstypen: Das erste Diffusionsmodell, das explizit für den Umgang mit gemischten Merkmalstypen (kontinuierlich + diskrete Punktmasse wie fehlende/überflutete Werte) entwickelt wurde, indem es die Generierung diskreter Zustände von der kontinuierlichen Verfeinerung trennt.
Theoretische Garantie: Liefert einen formalen Beweis, dass die vorgeschlagene datenabhängige Kopplung die Transportkosten-Schranke strafft und die Effizienzgewinne theoretisch begründet.
Verlustfreier Ausgleich: Durch die Trennung der Aufgaben vermeidet das Modell die Notwendigkeit einer Hyperparameter-Abstimmung der relativen Verlustgewichte zwischen Merkmalstypen, da das Modell niedriger Auflösung die „einfache" kategorische/diskrete Struktur handhabt und das Modell hoher Auflösung sich ausschließlich auf numerische Details konzentriert.

4. Experimentelle Ergebnisse

Das Modell wurde an 12 verschiedenen Datensätzen (darunter Adult, Airlines, Diabetes usw.) gegen State-of-the-Art-Baselines (CTGAN, TVAE, TabDDPM, TabSyn, TabDiff, CDTD) evaluiert.

Detection Score (Hauptmetrik): TabCascade erzielte eine Verbesserung von 51,9 % beim Detection Score im Vergleich zur besten Baseline (CDTD). Diese Metrik misst, wie gut ein Klassifikator reale von synthetischen Daten unterscheiden kann; ein höherer Score zeigt an, dass die synthetischen Daten von realen Daten nicht zu unterscheiden sind.
Verteilungstreue:
- Numerische Merkmale: Deutliche Verbesserungen bei der Wasserstein-Distanz (WD) und den Shape-Scores für numerische Merkmale, was eine bessere Erfassung kontinuierlicher Verteilungen und gemischter Strukturen anzeigt.
- Kategorische Merkmale: Die Leistung blieb mit CDTD konkurrenzfähig, was bestätigt, dass das Modell niedriger Auflösung kategorische Daten effektiv handhabt.
Merkmalabhängigkeiten: Verbesserte Trend (mixed)-Scores, was zeigt, dass der kaskadierte Ansatz Abhängigkeiten zwischen kategorischen und numerischen Merkmalen erfolgreich erfasst, ohne die bei sequenziellen Modellen oft auftretende „Teile-und-herrsche"-Strafe.
Nutzen für nachgelagerte Aufgaben: Erzielte einen 30 % niedrigeren Machine Learning Efficiency (MLE)-Score, was bedeutet, dass Modelle, die mit den synthetischen Daten von TabCascade trainiert wurden, in nachgelagerten Aufgaben näher an Modellen lagen, die mit realen Daten trainiert wurden.
Ablationsstudien: Bestätigten, dass sowohl die datenabhängige Kopplung als auch nicht-lineare Pfade für die Leistung entscheidend sind. Der Distributional Regression Tree (DT)-Encoder schnitt besser ab als der Gaußsche Mischmodell (GMM)-Encoder aufgrund feinerer Granularität und weniger Überlappung in den Clustern.

5. Bedeutung und Auswirkung

Realismus: TabCascade setzt einen neuen State-of-the-Art für die Generierung realistischer synthetischer tabellarischer Daten, insbesondere für komplexe Datensätze, die fehlende Werte, Nullen oder andere diskrete Anomalien in numerischen Spalten enthalten.
Effizienz: Durch die Zerlegung des Problems lernt das Modell die schwierigen „Details" (numerische Verteilungen) effizienter, da es keine Kapazität darauf verschwendet, grobe kategorische Strukturen gleichzeitig zu lernen.
Generalisierbarkeit: Das Framework ist modular; die Komponente niedriger Auflösung kann durch andere kategorische Generatoren (z. B. ARF) ersetzt werden, und der Ansatz generalisiert auf beliebige gemischte Strukturen.
Privatsphären-Abwägung: Das Papier weist darauf hin, dass eine höhere Fidelity (bessere Detection Scores) die Proben natürlicherweise näher an die ursprüngliche Datenverteilung bringt, was die Privatsphären-Risiken erhöhen kann (gemessen durch Membership Inference Attacks). Die Autoren betonen jedoch, dass das Modell selbst ein Werkzeug zur Generierung ist und Privatsphären-Garantien zusätzliche Mechanismen wie Differential Privacy erfordern würden.

Zusammenfassend stellt TabCascade einen Paradigmenwechsel in der generativen Modellierung tabellarischer Daten dar, indem es die Datengenerierung als hierarchischen Prozess behandelt, der strukturelle Informationen niedriger Auflösung nutzt, um die Generierung von Details hoher Auflösung zu steuern und damit das langjährige Problem der Generierung gemischter Merkmalstypen löst.