🤖 machine learning

Generating Benchmark Health Data Using a Tabular Diffusion Transformer

Dit artikel stelt een tweestaps raamwerk voor dat heterogene ruwe tabellen transformeert naar gestandaardiseerde statistische representaties en een diffusie-transformer gebruikt om synthetische statistische tabellen te genereren, die vervolgens worden gereconstrueerd tot realistische synthetische ruwe tabellen om de beperkingen van bestaande methoden bij het genereren van cross-tabulaire gegevens te overwinnen.

Oorspronkelijke auteurs: Hao Yan, Lisa Pilgram, Dan Liu, Linglong Kong, Fida Dankar, Khaled El Emam

Gepubliceerd 2026-08-17

📖 8 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Hao Yan, Lisa Pilgram, Dan Liu, Linglong Kong, Fida Dankar, Khaled El Emam

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Grote Data-Detective Game

Stel je voor dat je een detective bent die een mysterie probeert op te lossen, maar in plaats van één enkele plaats delict, heb je duizenden verschillende locaties verspreid over de hele wereld. Sommige zijn slordige krabbels op servetten, andere zijn nette spreadsheets, en sommige missen zelfs pagina's volledig. In de wereld van de informatica is dit de uitdaging van synthetische datageneratie. Wetenschappers willen nepdata creëren die echt lijkt en zich precies zo gedraagt als echte data. Waarom? Omdat echte data vaak privégeheimen bevat (zoals medische dossiers) die niet vrij gedeeld kunnen worden. Als onderzoekers "nepdata" kunnen genereren die zich precies gedraagt als het origineel, kunnen ze hun nieuwe AI-tools testen, hun algoritmen trainen en problemen oplossen zonder ooit iemands privé-informatie te zien.

Om dit te doen, proberen computers meestal de "regels" van de data te leren. Denk aan een chef die probeert een gerecht na te maken. Als de chef slechts één specifieke kom soep proeft, leert hij misschien die exacte kom perfect te maken, maar hij zal niet weten hoe hij een nieuwe kom moet maken die nog steeds naar soep smaakt. De meeste computerchefs van vandaag zitten vast aan het maken van slechts één kom tegelijk. Ze worstelen wanneer ze gevraagd wordt om te leren van een hele voorraadkast met verschillende soepen, stoofpotten en sauzen tegelijkertijd. Dit is waar het nieuwe onderzoek inkomt, met als doel computers te leren hoe ze meesterchefs kunnen zijn die duizend verschillende recepten proeven en dan gloednieuwe, heerlijke gerechten kunnen uitvinden die nog nooit hebben bestaan.

Het Papier: Computers leren koken met duizend recepten

In dit artikel introduceert een team van onderzoekers uit Canada en Duitsland een slim tweestaps-recept om computers te leren hoe ze realistische, nep gezondheidsdata moeten genereren uit een enorme collectie van verschillende echte tabellen. Ze noemen hun methode Cross-Tabular Data Generation (CTDG). In plaats van te proberen elke enkele rij data te memoriseren (wat lijkt op het proberen te memoriseren van elk woord in een bibliotheek), leren ze de computer eerst het "smaakprofiel" van de data te begrijpen.

Stap 1: De "Smaakprofiel" Transformatie

Het eerste probleem dat het team aanpakt, is dat echte datatabellen rommelig en verschillend van elkaar zijn. De ene tabel heeft kolommen voor "Leeftijd" en "Bloeddruk", terwijl een andere "Lengte" en "Gewicht" heeft. Een computer kan hier niet gemakkelijk van leren als ze niet hetzelfde lijken.

Om dit op te lossen, hebben de onderzoekers een manier uitgevonden om elke tabel te transformeren naar een gestandaardiseerde "statistische tabel". Stel je voor dat je een complexe, rommelige schildering neemt en deze omzet in een eenvoudige kleurenpaletkaart.

Het Marginale Recept: Voor elke kolom (zoals "Leeftijd") bewaren ze niet de werkelijke getallen. In plaats daarvan bepalen ze de vorm van de distributie. Is het een klokcurve? Is het scheef? Ze gebruiken een wiskundig hulpmiddel genaamd een Beta-Binomiale distributie om deze vorm vast te leggen met slechts drie getallen: twee vormparameters ( $\alpha$ en $\beta$ ) en het aantal unieke categorieën (cardinaliteit). Ze noteren ook hoeveel ontbrekende waarden (lege plekken) er in die kolom aanwezig zijn.
De Relatiekaart: Datacolommen hangen vaak van elkaar af (bijv. langere mensen wegen vaak meer). Om dit vast te leggen, berekenen ze hoe de kolommen met elkaar samenhangen. In plaats van een gigantisch, rommelig raster van getallen te bewaren, gebruiken ze een wiskundige truc genaamd eigenwaarde-decompositie om deze relatiekaart te comprimeren tot een vector van getallen met een vaste grootte.

Het resultaat? Elke tabel, hoe verschillend deze oorspronkelijk ook was, wordt getransformeerd in een nette, uniforme lijst van getallen. Het is alsof je duizend verschillende talen omzet in één enkele, universele code die de computer kan lezen.

Stap 2: De Diffusion Transformer Chef

Zodra alle tabellen zijn omgezet in deze uniforme "statistische tabellen", trainen de onderzoekers een speciaal AI-model genaamd de Tabular Diffusion Transformer (TDT).

Zie dit model als een beeldhouwer die begint met een blok ruis (willekeurige statische ruis) en er langzaam stukjes vanaf beitelt om een standbeeld te onthullen. In de wereld van AI wordt dit een diffusiemodel genoemd. Het model leert om willekeurige ruis te nemen en deze geleidelijk te veranderen in een realistische "statistische tabel" die lijkt op de tabellen die het heeft bestudeerd.

De Training: Het model werd eerst "voorgetraind" op een enorme bibliotheek van 4.095 algemene datasets (uit economie, games, techniek, etc.) om algemene patronen te leren. Daarna werd het "fijn afgesteld" op 144 gezondheidsgerelateerde datasets om de specifieke "smaak" van medische data te leren.
De Generatie: Eenmaal getraind, kan het model nieuwe statistische tabellen genereren. Dit zijn niet simpelweg kopieën; het zijn nieuwe combinaties van patronen die het model heeft geleerd.
De Reconstructie: Ten slotte neemt de computer deze nieuwe statistische tabellen en keert het proces om. Het gebruikt de getallen om nieuwe datapunten te samplen, waardoor de computer effectief een nieuwe "ruwe" tabel "reconstrueert" die eruitziet en werkt als echte gezondheidsdata.

Wat ze vonden

De onderzoekers testten hun methode grondig om te zien of het daadwerkelijk werkte.

1. De Reconstructietest:
Eerst controleerden ze of ze een echte tabel konden omzetten in een statistische tabel en deze vervolgens weer konden omzetten in een ruwe tabel zonder de "ziel" van de data te verliezen. Ze gebruikten een metriek genaamd dimensie-genormaliseerde Wasserstein-afstand (dNWD) om het verschil tussen de originele en de gereconstrueerde data te meten.

Het Resultaat: Het gemiddelde verschil was ongelooflijk klein: 0,095 (met een standaarddeviatie van 0,061). De meeste datasets hadden een score onder de 0,2.
De Les: Dit suggereert dat de statistische tabellen een zeer getrouwe representatie zijn van de originele data. De computer heeft niet alleen geraden; het heeft de essentiële structuur vastgelegd.

2. De "Ablatie"-test (Wat als we de relaties overslaan?):
Om te bewijzen dat het begrijpen van de relaties tussen kolommen cruciaal is, voerden ze twee experimenten uit waarbij ze de relatiegegevens verwijderden.

Scenario A (Geen Relaties): Ze vertelden de computer dat alle kolommen onafhankelijk waren (zoals het gooien van dobbelstenen). De fout sprong naar 0,304. De data zag er oké uit, maar de verbindingen waren verbroken.
Scenario B (Willekeurige Relaties): Ze gaven de computer willekeurige, verzonnen relaties. De fout explodeerde naar 0,636, en de data werd een puinhoop.
De Conclusie: Het artikel sluit expliciet de mogelijkheid uit dat je simpelweg naar kolommen individueel kunt kijken. Je moet vastleggen hoe ze met elkaar samenhangen om goede resultaten te behalen.

3. De Domeintest (Heeft het Gezondheid geleerd, of gewoon Ruis?):
Het team genereerde 2.000 nieuwe synthetische gezondheidstabellen en vergeleken deze met echte tabellen uit de sectoren Gezondheid, Economie, Statistiek, Techniek, Financiën en Games. Ze gebruikten een metriek genaamd Dichtstbijzijnde Wasserstein-afstand (CWD) om te zien met welk echt domein de nepdata het meest overeenkwam.

Het Resultaat: De synthetische gezondheidstabellen kwamen het dichtst bij echte gezondheidsdata, met een gemiddelde Cluistbijzijnde Wasserstein-afstand (CWD) van 0,72.
De Vergelijking: Ze waren veel verder verwijderd van andere domeinen: Economie (0,97), Statistiek (0,98), Techniek (1,35), Financiën (1,55) en Games (1,75).
Het Bewijs: Statistische tests bevestigden dat de synthetische data aanzienlijk dichter bij echte gezondheidsdata ligt dan bij welk ander type data dan ook. Het model heeft niet alleen de trainingsset uit het hoofd geleerd; het heeft het onderliggende "gezondheidspatroon" geleerd.

4. De Diversiteitstest:
Ten slotte vroegen ze zich af: "Kopieert het model gewoon dezelfde paar tabellen steeds opnieuw?" Ze controleerden hoeveel unieke echte tabellen de synthetische tabellen dicht bij lagen.

Het Resultaat: De dichtstbijzijnde buren van de synthetische tabellen dekten 77% van de echte tabellen (bij $k=1$ ) en meer dan 95% wanneer er naar de top 10 buren werd gekeken.
De Conclusie: Het model is divers. Het zit niet in een loop; het verkent het hele landschap van gezondheidsdata.

Waarom dit ertoe doet

De auteurs suggereren dat deze methode een game-changer kan zijn voor het creëren van benchmark-datasets. Op dit moment worstelen onderzoekers vaak met het vinden van goede, diverse en realistische data om hun nieuwe medische AI-tools te testen. Deze methode kan een onbeperkt aantal realistische, nep gezondheidsdatasets genereren die de complexiteit van de echte wereld vastleggen zonder de privacy van echte patiënten in gevaar te brengen.

De paper merkt echter voorzichtig op dat er beperkingen zijn. De methode werkt het beste voor tabellen met maximaal 256 kolommen. Als een dataset enorm is en duizenden kolommen heeft, zou dit specifieke model moeite kunnen hebben. Ook, omdat de methode de data afvlakt om patronen te vinden, kunnen extreme uitschieters (zeer zeldzame, vreemde datapunten) verloren gaan in de vertaling. De auteurs suggereren dat als een studie die extreme uitschieters nodig heeft, deze handmatig weer toegevoegd moeten worden.

Kortom, dit papier stelt een manier voor om computers te leren de "grammatica" van data uit veel verschillende bronnen te begrijpen, waardoor ze nieuwe, realistische "verhalen" (datasets) kunnen schrijven die perfect zijn voor het testen en trainen, terwijl de geheimen van echte mensen veilig blijven.

Technische Samenvatting: Genereren van Benchmark Gezondheidsgegevens met behulp van een Tabulaire Diffusie-Transformer

Probleemstelling

Cross-Tabulaire Datageneratie (CTDG) beoogt een generatief model te leren van meerdere heterogene tabellen om nieuwe synthetische tabulaire datasets te produceren. Hoewel bestaande methoden voor Synthetische Tabulaire Datageneratie (STDG) aanzienlijk zijn gevorderd, zijn ze grotendeels beperkt tot scenario's met één enkele invoertabel. Deze methoden hebben moeite met het effectief verwerken van meerdere heterogene tabellen met diverse kenmerken, kolomnamen en datatypen. Bijgevolg kunnen ze geen verenigd generatief model leren dat in staat is om gedeelde statistische kenmerken en structurele patronen over een domein heen te vangen. Deze beperking belemmert de creatie van diverse, realistische benchmark-datasets die de veelvormigheid van real-world data reflecteren, met name in de gezondheidszorg waar data vaak verspreid is over niet-gealigneerde tabellen. Huidige benchmark-repositories missen vaak diversiteit, vertrouwen op willekeurige datasetselectie of maken gebruik van hypothetische distributies die de werkelijke structuren van gezondheidsdata niet weerspiegelen.

Methodologie

De auteurs stellen een tweefasig framework voor CTDG voor dat heterogene ruwe tabellen transformeert naar een homogene representatie, een verenigde distributie leert en synthetische ruwe tabellen reconstrueert.

Fase 1: Transformatie naar Statistische Tabellen

Om heterogeniteit aan te pakken, wordt elke echte ruwe tabel ( $X_i$ ) omgezet in een gestandaardiseerde "statistische tabel". Dit proces abstraheert specifieke kolomnamen en waarden weg en behoudt alleen de statistische eigenschappen die nodig zijn voor generatie:

Marginale Statistiek:
- Categorische Kenmerken: Unieke elementen worden gesorteerd op frequentie en toegewezen aan integer-indices. Een Beta-Binomiale distributie wordt gefit op deze indices, wat parameters $(\alpha, \beta)$ en de cardinaliteit van de kolom oplevert.
- Numerieke Kenmerken: Waarden worden gediscretiseerd in een vast aantal intervallen ( $I_N = 100$ ). Dezelfde sorteer-, mapping- en Beta-Binomiale fittingprocedure wordt toegepast, wat resulteert in parameters $(\alpha, \beta)$ en een cardinaliteit gelijk aan $I_N$ .
- Ontbrekende Waarden: Het ontbrekende percentage voor elke kolom wordt geregistreerd.
- Resultaat: Elke kolom wordt gerepresenteerd door een tuple $(\alpha, \beta, \text{cardinaliteit}, \text{ontbrekende ratio})$ .
Correlationele Structuur:
- Om afhankelijkheden te behouden zonder de computationele onhandelbaarheid van het samplen uit multivariate Beta-Binomiale distributies, worden kolommen getransformeerd naar een normale distributie via de probabilistische integraaltransformatie.
- Paarsgewijze correlaties worden berekend op deze getransformeerde variabelen om een correlatiematrix $\Sigma_i$ te vormen.
- Eigenwaardedecompositie: Om variërende kolomaantallen over tabellen heen te verwerken, wordt $\Sigma_i$ gedecomposeerd in $U\Lambda U^\top$ . De auteurs hanteren een overgeparameteriseerde setting met een vaste dimensie $K=256$ . De matrix $A = U\Lambda^{1/2}$ dient als een compacte representatie waarbij elke rijvector $\mathbf{a}_i$ overeenkomt met de correlatieparameters van een kolom.
- Verenigde Representatie: Elke kolom in de statistische tabel wordt gerepresenteerd door een tuple van $K+4$ parameters: $(\alpha, \beta, \text{cardinaliteit}, \text{ontbrekende ratio}, \mathbf{a})$ .
Reconstructie: Ruwe tabellen worden gereconstrueerd door te samplen uit een multivariate Gaussische distributie, waarbij de samples via de inverse probabilistische integraaltransformatie terug worden gemapt naar Beta-Binomiale distributies, waarbij ontbrekende waarden worden geïntroduceerd op basis van de geregistreerde ratio's.

Fase 2: Tabulaire Diffusie-Transformer (TDT)

Een diffusie-transformer model wordt getraind op de set van homogene statistische tabellen om hun gezamenlijke distributie te leren.

Architectuur: Het model gebruikt een standaard Transformer encoder. Elke rij van een statistische tabel wordt behandeld als een embedding (analoog aan een token in een zin), en de tabel zelf is een sequentie.
Standaardisatie: Omdat parameters diverse schalen hebben (bijv. onbegrensde $\alpha, \beta$ versus begrensde correlatiewaarden), worden globale kwantieltransformaties toegepast op elke van de $K+4$ kolommen over alle tabellen heen om ze naar een standaard normale distributie te mappen.
Training: Het model volgt de Denoising Diffusion Probabilistic Model (DDPM) doelstelling, waarbij geleerd wordt de ruis te reconstrueren die aan de input statistische tabellen is toegevoegd.
Strategie: Een pretraining-finetuning benadering wordt gehanteerd. Het model wordt eerst gepretrained op 4.095 algemene OpenML-datasets om diverse statistische patronen te leren, en vervolgens gefinetuned op 144 gezondheidsgerelateerde datasets (131 OpenML Health + 13 specifieke gezondheidszorg-datasets).
Generatie: Het getrainde model genereert synthetische statistische tabellen via een $T$ -staps denoising proces. Deze worden vervolgens gereconstrueerd naar synthetische ruwe tabellen.

Belangrijkste Bijdragen

Cross-Tabulair Framework: De voorstel van een tweefasig CTDG-framework dat het mogelijk maakt om te leren van meerdere heterogene tabellen, waarmee de beperkingen van enkelvoudige tabel STDG-methoden worden overwonnen.
Statistische Tabel Representatie: Een nieuwe methode om heterogene ruwe tabellen om te zetten in homogene statistische tabellen met behulp van Beta-Binomiale marginale fitting en spectrale decompositie van correlatiematrices, wat verenigde modellering mogelijk maakt.
Tabulaire Diffusie-Transformer: De adaptatie van een diffusie-transformer architectuur voor tabulaire datageneratie, specifiek ontworpen om variabele lengtes van sequenties van statistische parameters te verwerken.
Benchmark Generatie: De generatie van 1.000 synthetische gezondheidsdatasets (10.000 rijen per stuk, 10–256 kolommen) bedoeld voor gebruik als realistische benchmarks, wat het gebrek aan diverse, voorbewerkte en domeinspecifieke benchmark-repositories aanpakt.

Resultaten

De studie evalueert het framework op 144 gezondheidsgerelateerde datasets met behulp van dimension-Normalized Wasserstein Distance (dNWD) en Closest Wasserstein Distance (CWD).

Reconstructiegetrouwheid:
- Het reconstrueren van ruwe tabellen vanuit hun geëxtraheerde statistische representaties leverde een gemiddelde dNWD op van 0,095 (SD 0,061).
- Ablatiestudies bevestigden dat nauwkeurige correlatiemodellering cruciaal is. Het verwijderen van correlaties (identiteitsmatrix) verhoogde de dNWD naar 0,304, terwijl het gebruik van willekeurige correlaties deze verhoogde naar 0,636, wat aantoont dat de voorgestelde correlatie-representatie essentieel is voor getrouwheid.
Synthetisch-naar-Echt Evaluatie:
- Met behulp van 5-voudige kruisvalidatie waren synthetische tabellen gegenereerd na gezondheidsdomein fine-tuning significant dichter bij echte gezondheidsdata (Gemiddelde CWD: 0,72) dan bij andere domeinen: Economie (0,97), Statistiek (0,98), Engineering (1,35), Financiën (1,55), Games (1,75).
- Statistische toetsing (Wilcoxon signed-rank tests gecombineerd via Fisher's methode) bevestigde dat synthetische gezondheidstabellen significant dichter bij echte gezondheidstabellen liggen dan bij enig ander domein ( $p < 0,05$ na Holm correctie).
- De hiërarchie van de synthetisch-naar-echt afstand weerspiegelde de intrinsieke echt-naar-echt afstand hiërarchie, wat aangeeft dat het model domeinspecifieke structurele kenmerken en relatieve cross-domein nabijheid behoudt.
Diversiteitsanalyse:
- Diversiteit werd gemeten met de "Top- $k$ Ratio", het aandeel unieke echte tabellen dat wordt gedekt door de dichtstbijzijnde buren van synthetische tabellen.
- Voor $k=1$ werd 77% van de echte tabellen gedekt; voor $k=10$ oversteeg de dekking de 95%. Dit geeft aan dat het model mode collapse vermijdt en tabellen genereert die breed verdeeld zijn over het domein.

Betekenis en Claims

Het artikel claimt dat de voorgestelde aanpak er succesvol in is geslaagd een verenigd generatief model te leren van meerdere heterogene tabellen, waarbij synthetische datasets worden geproduceerd die zowel een hoge getrouwheid aan echte gezondheidsdata als een betekenisvolle diversiteit vertonen. De auteurs stellen dat deze methode een fundament biedt voor het genereren van realistische benchmark-datasets die de veelvormigheid van real-world data reflecteren, waarmee problemen met willekeurige datasetselectie en het gebrek aan standaardisatie in huidige benchmarks worden aangepakt.

Wat betre toe betreft privacy, merken de auteurs op dat omdat het generatieve model is getraind op geaggregeerde statistische tabellen (distributies en correlaties) in plaats op individuele records, en omdat er geen één-op-één mapping bestaat tussen trainingsrecords en gegenereerde data, het risico op lidmaatschap of attribuut-onthulling wordt gemitigeerd. De gegenereerde datasets zijn bedoeld om reproduceerbare benchmarking, simulatiestudies en het testen van machine learning-pipelines te ondersteunen zonder beschermde gezondheidsinformatie bloot te leggen. De auteurs erkennen beperkingen, zoals het potentieel maskeren van extreme uitschieters en een kolomlimiet van 256, maar positioneren hun werk als een belangrijke stap richting schaalbare, domeinspecifieke synthetische datageneratie.