Cascaded Flow Matching for Heterogeneous Tabular Data with Mixed-Type Features

1. Probleemstelling

Het artikel adresseert de uitdaging om hoogtrouw synthetische data te genereren voor heterogene tabulaire datasets. Deze datasets bevatten een mix van:

• Categorische kenmerken (discrete toestanden).
• Continue numerieke kenmerken.
• Kenmerken met gemengd type: Numerieke kenmerken die zowel continue verdelingen als discrete puntmassa's vertonen (bijvoorbeeld nul-geïnfundeerd, één-geïnfundeerd, of ontbrekende waarden).

Belangrijkste geïdentificeerde uitdagingen:

• Structurele mismatch: Bestaande diffusie- en flow-based modellen dwingen vaak een unificerend generatief doel af over alle kenmerktypes. Categorische en continue data vertrouwen echter op verschillende structurele aannames (discrete ondersteuning versus continue dichtheid, waarschijnlijkheidsmassa versus dichtheidsfuncties).
• Impliciete herweging: Het combineren van deze types onder één enkel doel leidt tot impliciete herweging van kenmerken, waarbij één type het leerproces domineert, wat de kwaliteit van het andere type verslechtert.
• Complexiteit van gemengde types: Standaard modellen worstelen met het genereren van kenmerken met discrete uitkomsten (zoals ontbrekende waarden of geïnfundeerde nullen) die zijn ingebed in een continue verdeling. Ze slagen er vaak niet in om de specifieke waarschijnlijkheidsmassa te vangen die nodig is voor deze discrete toestanden.
• Balans van verliesfuncties: Eerdere benaderingen vereisen handmatige afstelling van relatieve verliesgewichten tussen categorische en numerieke kenmerken om te voorkomen dat één type domineert, wat moeilijk te schalen en te optimaliseren is.

2. Methodologie: TabCascade

De auteurs stellen TabCascade voor, een nieuw cascaderend flow-matching framework dat de generatietak decomposeert in een laag-resolutie en een hoog-resolutie stadium.

A. Conceptueel Kader: Resolutie in Tabulaire Data

In plaats van visuele resolutie (pixels), definiëren de auteurs resolutie op basis van kenmerkgranulariteit:

• Laag-resolutie ($x_{low}$): Omvat alle categorische kenmerken ($x_{cat}$) en een gediscretiseerde, categorische representatie ($z$) van de numerieke kenmerken ($x_{num}$).
• Hoog-resolutie ($x_{high}$): De fijnkorrelige, continue details van de numerieke kenmerken.

B. Het Cascaderende Pijplijn

De gezamenlijke verdeling wordt gefactoriseerd als:
$$p_\theta(x_{cat}, x_{num}) = \sum_{z} p_\theta^{high}(x_{num} | z, x_{cat}) \cdot p_\theta^{low}(z, x_{cat})$$

1. Laag-resolutie Model ($p_\theta^{low}$):

   • Leert de gezamenlijke verdeling van categorische kenmerken en de gediscretiseerde numerieke latente variabelen ($z$).
   • Encoder: Gebruikt een Distributional Regression Tree (DT) (of een Gaussische Mixture Model) om continue numerieke waarden $x_{num}$ te mappen naar discrete categorieën $z$.
   • Verwerking van gemengde types: De discretisatie $z$ codeert expliciet speciale toestanden zoals "ontbrekend" ($c_{miss}$) of "geïnfundeerd" ($c_{infl}$). Als $z$ een ontbrekende toestand aangeeft, geeft het hoog-resolutie model deterministisch een ontbrekende waarde uit, waardoor de noodzaak om deze complexe waarschijnlijkheidsmassa tijdens het hoog-resolutie stadium te leren wordt verwijderd.
   • Modelkeuze: De auteurs gebruiken CDTD (Continuous Diffusion for Mixed-Type Tabular Data) als de laag-resolutie generator.

2. Hoog-resolutie Model ($p_\theta^{high}$):

   • Genereert de gedetailleerde numerieke waarden $x_{num}$, geconditioneerd op de laag-resolutie output ($x_{low} = (x_{cat}, z)$).
   • Maskering: Als $z$ een discrete toestand aangeeft (bijvoorbeeld ontbrekend), wordt het verlies voor dat specifieke kenmerk gemaskeerd, waardoor het model zijn capaciteit kan richten op het leren van de continue details van niet-discrete kenmerken.
   • Flow Matching: Gebruikt Flow Matching om een vectorveld te leren dat een bronverdeling transformeert naar de doelpverdeling.

C. Nieuwe Technische Innovaties

Om de hoog-resolutie generatie te verbeteren, introduceert TabCascade twee belangrijke mechanismen:

1. Data-afhankelijke Koppeling:

   • In plaats van de bronruis $x_0$ te bemonsteren uit een standaard Gaussische verdeling $N(0, I)$, wordt de bron geconditioneerd op $z$.
   • $x_0 = \mu(z) + \sigma(z)\epsilon$, waarbij $\mu(z)$ en $\sigma(z)$ het gemiddelde en de variantie zijn van het specifieke Gaussische component in de DT-encoder dat $z$ heeft gegenereerd.
   • Voordeel: Dit verplaatst de bronverdeling dichter naar de doelpverdeling in de latente ruimte, wat de transportkosten (de afstand die de flow moet afleggen) aanzienlijk verlaagt. De auteurs bewijzen formeel dat dit de grens voor transportkosten strakker maakt in vergelijking met onafhankelijke koppeling.

2. Geleide Conditionele Kanspad:

   • Introduceert leerbare, kenmerkspecifieke tijdschema's $\gamma_t(x_{low})$.
   • De kanspad wordt gedefinieerd als:
     $$x_t = \gamma_t(x_{low})x_1 + (1 - \gamma_t(x_{low}))[\mu(z) + \sigma(z)\epsilon]$$
   • Dit stelt het model in staat om niet-lineaire trajecten te leren die zijn toegesneden op specifieke kenmerkgroepen die worden gedefinieerd door de laag-resolutie informatie, in plaats van een vast lineair pad te gebruiken.

3. Belangrijkste Bijdragen

1. Eerste Cascaderend Diffusiemodel voor Tabulaire Data: Stelt het eerste framework voor om een cascaderende (laag-naar-hoog resolutie) benadering toe te passen op de generatie van tabulaire data.
2. Generatie van Kenmerken met Gemengd Type: Het eerste diffusiemodel dat expliciet is ontworpen om kenmerken met gemengd type te verwerken (continu + discrete puntmassa's zoals ontbrekende/geïnfundeerde waarden) door het genereren van discrete toestanden te scheiden van continue verfijning.
3. Theoretische Garantie: Biedt een formeel bewijs dat de voorgestelde data-afhankelijke koppeling de grens voor transportkosten strakker maakt, wat de winst in efficiëntie theoretisch rechtvaardigt.
4. Balans zonder Verlies: Door de taken te scheiden, vermijdt het model de noodzaak tot hyperparameterafstelling van relatieve verliesgewichten tussen kenmerktypes, aangezien het laag-resolutie model de "makkelijke" categorische/discrete structuur afhandelt en het hoog-resolutie model zich uitsluitend richt op numerieke details.

4. Experimentele Resultaten

Het model werd geëvalueerd op 12 diverse datasets (waaronder Adult, Airlines, Diabetes, enz.) tegen state-of-the-art baselines (CTGAN, TVAE, TabDDPM, TabSyn, TabDiff, CDTD).

• Detectiescore (Hoofdmetriek): TabCascade behaalde een verbetering van 51,9% in de detectiescore ten opzichte van de beste baseline (CDTD). Deze metriek meet hoe goed een classifier echte van synthetische data kan onderscheiden; een hogere score geeft aan dat de synthetische data niet van echte data te onderscheiden is.
• Verdelingsgetrouwheid:
  • Numerieke Kenmerken: Aanzienlijke verbeteringen in de Wasserstein-afstand (WD) en Shape-scores voor numerieke kenmerken, wat wijst op een betere vastlegging van continue verdelingen en structuren met gemengde types.
  • Categorische Kenmerken: De prestaties bleven concurrerend met CDTD, wat bevestigt dat het laag-resolutie model categorische data effectief afhandelt.
• Kenmerkafhankelijkheden: Verbeterde Trend (gemengd) scores, wat aantoont dat de cascaderende benadering succesvol afhankelijkheden tussen categorische en numerieke kenmerken vastlegt zonder de "divide-and-conquer"-straf die vaak wordt gezien in sequentiële modellen.
• Utility voor Downstream Taken: Behaalde een 30% lagere Machine Learning Efficiency (MLE)-score, wat betekent dat modellen die zijn getraind op TabCascade's synthetische data dichter bij modellen staan die zijn getraind op echte data in downstream taken.
• Ablatiestudies: Bevestigde dat zowel de data-afhankelijke koppeling als niet-lineaire paden cruciaal zijn voor de prestaties. De Distributional Regression Tree (DT)-encoder presteerde beter dan de Gaussische Mixture Model (GMM)-encoder vanwege fijnere granulariteit en minder overlap in clusters.

5. Betekenis en Impact

• Realisme: TabCascade stelt een nieuwe state-of-the-art voor het genereren van realistische synthetische tabulaire data, met name voor complexe datasets met ontbrekende waarden, nullen of andere discrete anomalieën in numerieke kolommen.
• Efficiëntie: Door het probleem te decomponeren, leert het model de moeilijke "details" (numerieke verdelingen) efficiënter, omdat het geen capaciteit verspilt aan het tegelijkertijd leren van grove categorische structuren.
• Generaliseerbaarheid: Het framework is modulair; het laag-resolutie component kan worden vervangen door andere categorische generators (bijvoorbeeld ARF), en de benadering generaliseert naar willekeurige structuren met gemengde types.
• Privacy Trade-off: Het artikel merkt op dat hogere getrouwheid (betere detectiescores) de samples van nature dichter bij de oorspronkelijke dataverdeling brengt, wat de privacyrisico's kan vergroten (gemeten via Membership Inference Attacks). De auteurs benadrukken echter dat het model zelf een hulpmiddel is voor generatie en dat privacygaranties aanvullende mechanismen vereisen, zoals differentiaal privacy.

Kortom, TabCascade vertegenwoordigt een paradigma-verschuiving in generatieve modellering voor tabulaire data door datageneratie te behandelen als een hiërarchisch proces, waarbij laag-resolutie structurele informatie wordt benut om hoog-resolutie detailgeneratie te sturen, en zo het langdurige probleem van de generatie van kenmerken met gemengde types oplost.