Technische Samenvatting: Inference-Time Refinement Sluit de Synthetic-Real KLOof in Tabulaire Diffusie

1. Probleemstelling

Ondanks dat diffusie-gebaseerde generators state-of-the-art prestaties behalen in synthetische tabulaire data, blijft een aanhoudende "synthetisch–real kloof" bestaan: downstream-leerders getraind op synthetische data bereiken zelden de bruikbaarheid van die getraind op echte data. Bestaande benaderingen om deze kloof te dichten hebben zich uitsluitend gericht op interventies tijdens het trainen, zoals architecturale vooruitgang (bijv. TabDiff, TabSyn), schaalvergroting, of het hertrainen van monolithische generators. Deze methoden leveren slechts marginale winsten op en slagen er niet in om consistent de bruikbaarheid van echte data te evenaren.

Het artikel stelt dat de kloof niet primair een probleem tijdens het trainen is, maar een probleem tijdens de inferentie. Hoewel inferentie-time geleiding (bijv. Classifier-Free Guidance, Chamfer Guidance) succesvol is geweest in beeldsynthese, is de toepassing ervan op tabulaire data gehinderd door drie specifieke uitdagingen:

1. Gemengde type-kenmerkrumten: Tabulaire data mist een canoniek differentieerbare afstandsmetriek die geschikt is voor op gradiënten gebaseerde geleiding.
2. Afwezigheid van een gestandaardiseerde representatie: In tegenstelling tot afbeeldingen (die CLIP gebruiken), mist tabulaire data een uniforme inbeddingsruimte.
3. Dubbele doelen: De instelling "Trainen op Synthetisch, Testen op Real" (TSTR) vereist een balans tussen fideliteit (synthetisch-naar-real nabijheid) en dekking (real-naar-synthetisch manifold-dekking), wat standaardgeleiding vaak verwaarloost.

2. Methodologie: TARDIS

De auteurs introduceren TARDIS (Tabulaire generatie door Verfijning, Distillatie en Inference-time Sampling), een raamwerk dat de output van een bevroren voorgetrainde tabulaire diffusie-ruggengraat (specifiek TabDiff) verfijnt zonder hertraining. Het kernprincipe is Bidirectionele Chamfer-verfijning (BCR), die een symmetrische Chamfer-functie minimaliseert tussen synthetische kandidaten en echte data op twee complementaire niveaus: continu tijdens het samplingproces en discreet na het samplingproces.

Het raamwerk werkt in drie fasen:

Fase I: Oversampling

Het systeem trekt een oversampled ruispool $D_{noise}$ met een kardinaliteit van $M \cdot N_r$ (waarbij $N_r$ de grootte van het real-dataset is en $M=50$ vaststaat) uit de latente ruimte. Deze redundantie biedt een kandidatenpool voor daaropvolgende verfijning.

Fase II: Bidirectionele Chamfer-geleiding (Continu Verfijnen)

Tijdens het reverse diffusion-proces wordt de voorspelde score $\epsilon_\theta(x_t, t)$ verstoord door de gradiënt van een bidirectionele Chamfer-functie $C$ met betrekking tot een real-referentiebatch $x_r$.

• Representatiekaart ($\phi$): Om om te gaan met gemengde type-data en differentieerbaarheid te bieden, gebruikt het systeem een representatiekaart $\phi$. De zoekruimte staat toe voor:
  • Identiteitsmapping: Toegepast op z-score-genormaliseerde kenmerken.
  • $\beta$-VAE-mapping: Een encoder getraind op real-data om kenmerken af te beelden naar een latente ruimte, waarbij heterogeniteit wordt geabsorbeerd.
• Scoreverstoring: De verstoorde score is $\tilde{\epsilon}_\theta = \epsilon_\theta - \Gamma(t) \cdot \nabla_{x_t} C(x_t, x_r)$. Dit stuurt de generatie naar de real-data-manifold.
• Hyperparameter-tuning: Een Tree-structured Parzen Estimator (TPE)-zoektocht tuneert geleidingsparameters (schema $\Gamma(t)$, referentiebatching en $\phi$-type) per dataset.

Fase III: Selectie van Verfijning (Discreet Verfijnen)

Na het genereren van de kandidatenpool $D_{cand}$, selecteert het systeem het definitieve synthetische dataset $D_{syn}$ (kardinaliteit $K \cdot N_r$) via post-hoc batch-ranking.

• Chamfer-sampler: Batches worden gerangschikt volgens dezelfde Chamfer-functie $C$ die in Fase II werd gebruikt. De best gerangschikte batches worden behouden. Deze stap snoeit "off-manifold"-kandidaten weg die de continue geleiding hebben overleefd.
• Generatieve Kennisdistillatie (GKD): Een optionele stap waarbij een op real-data getrainde teacher-classifier kandidaten opnieuw labelt met zachte doelen. Dit is voornamelijk effectief in regimes met lage kardinaliteit ($K \le 1$).
• Zoekstrategie: Een innerlijke grid-search over vijf sampler-varianten (waaronder Chamfer, MDSampler, Stratified, enz.) en de GKD-schakelaar selecteert de configuratie die de validatie-gebruikswaarde maximaliseert voor elke TPE-proef.

3. Belangrijkste Bijdragen

1. Inference-Time Refinement Raamwerk: TARDIS is het eerste raamwerk dat inference-time refinement toepast op tabulaire diffusie, en demonstreert dat een bevroren ruggengraat aanzienlijk kan worden verbeterd zonder hertraining.
2. Bidirectionele Chamfer-verfijning (BCR): De auteurs stellen BCR voor als een verenigend principe dat continue score-niveau geleiding en discrete batch-ranking koppelt onder één enkele symmetrische Chamfer-functie. Dit adresseert de fideliteit-dekking trade-off inherent aan TSTR-instellingen.
3. Omgaan met Gemengde Type-data: De introductie van een dataset-specifieke representatiekaart $\phi$ (ofwel identiteit of $\beta$-VAE-encoder) maakt de toepassing van op gradiënten gebaseerde geleiding op tabulaire data mogelijk, waardoor het gebrek aan een canonieke metriek wordt overwonnen.
4. Empirische Validatie van de "Inference-Time" Hypothese: Het werk levert bewijs dat de synthetisch–real kloof grotendeels oplosbaar is tijdens de inferentie, waardoor het paradigma verschuift van "betere generators" naar "betere verfijning van bestaande generators".

4. Experimentele Resultaten

Het raamwerk werd geëvalueerd op 15 heterogene tabulaire benchmarks (binair classificatie, meervoudig classificatie en regressie) met XGBoost als downstream-leerder onder het TSTR-protocol.

• Downstream Gebruikswaarde: TARDIS behaalde een mediaan verbetering van +8,6% ten opzichte van modellen getraind op real-data (95% CI [+3,3, +16,4], Wilcoxon $p=0,016$), met strikte winsten op 11 van de 15 datasets.
• Verbetering van de Ruggengraat: TARDIS verbeterde de onderliggende TabDiff-ruggengraat op alle 15 datasets (gemiddeld +12,9%, $p < 10^{-4}$).
• Ablatie-studies:
  • Het verwijderen van de oversample-and-select-component (Fase I en III) verlaagde de prestaties naar een gemiddelde +1,4% boven TabDiff, wat bewijst dat discrete selectie cruciaal is.
  • De zoektocht selecteerde consistent BCR-uitgelijnde configuraties (geleide pool + Chamfer Sampler) op 9 van de 15 datasets, wat BCR valideert als het dominante verfijningspatroon.
• Fideliteit, Diversiteit en Privacy: TARDIS kwam overeen met de ruggengraat op manifold-fideliteit (Precisie) en diversiteit (Recall). Privacy-metrics (DCR-1 share en NNDR) bleven behouden, wat aangeeft dat de bidirectionele functie instorting op trainingsrecords voorkomt.
• Uitvoeringstijd: Op een enkele consument-klasse GPU (Nvidia GTX 1080 Ti) voegt TARDIS een mediaan van 16,1 minuten wandkloktijd toe (bereik 0,9 tot 79,4 minuten) aan het inferentieproces.

5. Betekenis en Claims

Het artikel beweert dat de synthetisch–real kloof in tabulaire diffusie niet primair een probleem tijdens het trainen is. In plaats daarvan demonstreert het dat inference-time refinement van een voorgetrainde ruggengraat voldoende is om de bruikbaarheid van real-data te bereiken en te overtreffen in 1 tot 80 minuten op standaard hardware.

De betekenis ligt in:

• Paradigmaverschuiving: Het verleggen van de focus van architecturale complexiteit en hertraining naar post-hoc verfijning.
• Kosteneffectiviteit: Het behalen van state-of-the-art bruikbaarheid zonder de rekenkosten van het hertrainen van grote diffusiemodellen.
• Generaliteit: Het BCR-principe wordt gepresenteerd als domein-overdraagbaar, afhankelijk van slechts een differentieerbare representatiekaart en een referentiebatch, wat toepasbaarheid buiten tabulaire data suggereert.

De auteurs blijven bescheiden wat betreft beperkingen, en merken op dat resultaten momenteel zijn gevalideerd op één enkele ruggengraat (TabDiff) en dat formele differentieerbare privacy-garanties niet worden geclaimd, hoewel privacy-proxies behouden blijven. Toekomstig werk wordt geïdentificeerd als het uitbreiden van BCR naar andere ruggengraten (TabSyn, TabDDPM) en modaliteiten.