Technische Samenvatting: Geometry-Aware Tabular Diffusion (GATD)

Probleemstelling

Tabulaire gegevens blijven de dominante vorm in bedrijfs-, gezondheidszorg- en wetenschappelijke toepassingen, maar het synthetiseren van realistische tabulaire data voor privacybewuste uitwisseling en augmentatie brengt unieke uitdagingen met zich mee. In tegenstelling tot afbeeldingen of tekst vertonen tabulaire gegevens heterogene kolomtypen, complexe afhankelijkheden tussen kolommen en zeer niet-Gaussische marginale distributies. Hoewel diffusiemodellen een veelbelovende oplossing zijn geworden (bijv. TabDDPM, TabSyn, TabDiff), vertrouwen ze doorgaans op impliciete mechanismen — zoals zelf-aandacht in transformer-architecturen — om relaties tussen kolommen af te leiden. Dit artikel stelt dat het overlaten van de relationele structuur aan louter gevolgtrekking via het denoising-doel suboptimaal is, en vraagt zich af of een expliciete relationele structuur kan worden geleverd als een aanvullend supervisiesignaal dat over verschillende denoising-architecturen heen kan worden overgedragen.

Methodologie

De auteurs introduceren Geometry-Aware Tabular Diffusion (GATD), een framework dat tabulaire diffusie-denoisers aanvult met expliciete paargewijze geometrische kenmerken die direct worden berekend uit de kolomwaarden.

Geometrische Kenmerkrepresentatie

De kerninnovatie bestaat uit het mappen van alle kolommen (continu en categorisch) naar een uniforme genormaliseerde ruimte $v \in [-1, 1]$. Vanuit deze ruimte berekent het model twee paargewijze kenmerken voor elk kolompaar $(i, j)$:

1. Pairwise Angle ($\theta_{ij}$): $\theta_{ij} = \arctan(v_j - v_i)$. Dit vangt de directionele relatie tussen kolommen op, begrensd binnen $(-\pi/2, \pi/2)$.
2. Pairwise Length ($\ell_{ij}$): $\ell_{ij} = \frac{1}{2} \log(1 + (v_j - v_i)^2)$. Dit vangt de magnitude van het verschil op, met logaritmische compressie voor grote verschillen.

Architectuur en Training

GATD is geïmplementeerd als een "drop-in" module voor drie verschillende diffusie-backbones:

• Residual MLP: De primaire instantie, die een residual MLP uitbreidt met geometrische inputs en hulp-heads.
• GNN: Gebruikt edge-conditioned message passing op een volledige kolomgrafiek, met geometrische kenmerken als edge-attributen.
• Transformer: Gebruikt een kolomgewijze transformer encoder, waarbij geometrische kenmerken worden geprojecteerd en geconcateneerd aan de representatie.

Input en Augmentatie:
Het model ontvangt geconcateneerde inputs inclusief tijd-embeddings, genoiseerde data en de berekende geometrische kenmerken ($\theta_{input}, \ell_{input}$). Cruciaal is dat de architectuur hulp-voorspellingskoppen (auxiliary prediction heads) bevat voor hoeken en lengtes.

• Training: Het model wordt getraind met een samengestelde verliesfunctie:
  $$L = L_{cont} + L_{cat} + \lambda_\theta L_{angle} + \lambda_\ell L_{length} + \lambda_c L_{consistency}$$
  De geometrische verliezen ($L_{angle}, L_{length}$) bieden directe supervisie. Een consistentieverlies ($L_{consistency}$) zorgt ervoor dat de voorspelde geometrie overeenkomt met de gedenoised output. De auteurs merken op dat geometrische termen bij convergentie ongeveer 95% van het totale verlies beslaan, een bewuste inversie van typische verlieshiërarchieën om het netwerk te dwingen de inter-kolomstructuur te internaliseren.
• Inference: Tijdens het samplen worden geometrische kenmerken berekend vanuit de huidige staat en als inputs gevoed. De voorspelde hoeken ($\hat{\theta}$) worden geconcateneerd met de verborgen staat om een versterkte representatie ($h_{aug}$) te vormen die de denoising-heads voedt. De lengte-head wordt tijdens de generatie losgekoppeld (detached), en dient enkel als training-regularisator.

Belangrijkste Bijdragen

1. Expliciete Geometrische Supervisie: De introductie van paargewijze hoek- en lengtekenmerken als zowel inputs als hulp-voorspellingsdoelen voor tabulaire diffusie.
2. Supervisie vs. Capaciteit Ablatie: Een architectuur-gematchte ablatie die aantoont dat de prestatiewinst wordt gedreven door supervisie, en niet louter door de toevoeging van geometrische inputs of verhoogde modelcapaciteit. Een "InputsOnly" configuratie (geometrische kenmerken aanwezig maar zonder geometrische loss) presteerde ononderscheidbaar van een baseline zonder geometrie ($d = -0.08$), terwijl de gesuperviseerde versie een groot effect liet zien ($d = 0.81$).
3. Cross-Architectuur Draagbaarheid: Het geometrische signaal fungeert als een draagbare inductieve bias, die de prestaties verbetert over MLP, GNN en Transformer backbones zonder architectuurspecifieke afstemming.
4. Efficiënte MLP Instantie: Een compacte MLP-gebaseerde GATD die de state-of-the-art TabDiff (Transformer-gebaseerd) evenaart of overtreft, terwijl deze gemiddeld 3,5× minder parameters gebruikt (tot 25× minder voor classificatietaken).
5. Praktische Begeleiding: Empirische bevindingen over het afstemmen van loss-gewichten, sampling-stappen en de behandeling van gemengde datatypen.

Experimentele Resultaten

De methode werd geëvalueerd op 10 benchmark-datasets (5 classificatie, 5 regressie) tegenover baselines inclusief TabDiff, TabDDPM en STaSy.

• Fidelity (Getrouwheid): GATD (MLP instantie) won 8/10 datasets op Shape (getrouwheid van de marginale distributie) en 7/10 op Trend (behoud van correlatie) vergeleken met TabDiff. Over alle drie de backbones (MLP, GNN, Transformer) won +GEOM 27/30 Shape cellen en 25/30 Trend cellen.
• Downstream Utility (Bruikbaarheid): De methode verminderde de Shape-fout met gemiddeld 27% en de Trend-fout met 20% vergeleken met TabDiff. Het sloot 58,2% van de kloof naar real-data prestaties voor AUROC/R2 en 42,0% voor F1/RMSE.
• Efficiëntie: Ondanks dat de methode 2,5× meer trainingsepochs gebruikt (20.000 vs. 8.000) en 20× meer sampling-stappen (1000 vs. 50), resulteerde de kleinere MLP-backbone in een gemiddeld 1,7× snellere end-to-end trainingstijd vergeleken met TabDiff.
• Schaalbaarheid: Op een brede tabel-dataset (APS Failure, $d=171$) behield GATD concurrerende prestaties, hoewel het geheugengebruik kwadratisch schaalt ($O(d^2)$), consistent met self-attention mechanismen.

Betekenis en Claims

Het artikel claimt dat expliciete relationele supervisie een draagbare inductieve bias is voor tabulaire diffusie. De auteurs beargumenteren dat hoewel aandachtsmecanismen de relaties tussen kolommen impliciet kunnen leren, het bieden van expliciete geometrische targets de last op de denoiser vermindert en het leren versnelt.

Belangrijke kernpunten benadrukt door de auteurs zijn:

• Supervisie is Essentieel: De winst komt voort uit de hulp-voorspellings taak die het netwerk dwingt de structuur te internaliseren, niet enkel uit de geometrische inputs zelf.
• Complementariteit: Geometrische supervisie en aandacht zijn complementair, niet wederzijdelijk uitsluitend; het signaal verbetert transformer-gebaseerde denoisers net zo goed als het MLPs verbetert.
• Bescheidenheid over Privacy: Het artikel stelt expliciet dat de synthese van gegevens geen formele privacygaranties biedt. De auteurs waarschuwen tegen "privacy-washing" en moedigen het aan om synthese te combineren met formele kaders zoals differential privacy (DPSGD).
• Beperkingen: De methode brengt een $O(d^2)$ computationele schaling met zich mee door paargewijze kenmerken, wat een geheugenbottleneck wordt voor zeer brede tabellen, hoewel het haalbaar blijft voor de geëvalueerde regimes op standaard hardware. De loss-gewichten zijn heuristisch en kunnen per dataset afstemming vereisen voor optimale resultaten in specifieke regimes (bijv. continu-zware datasets).