XGenBoost: Synthesizing Small and Large Tabular Datasets with XGBoost

XGenBoost introduceert twee op XGBoost gebaseerde generatieve modellen voor het synthetiseren van tabulaire data van verschillende groottes, die door het benutten van de inherente eigenschappen van boom-ensemble-methoden betere resultaten leveren dan bestaande modellen met een lagere trainingskosten.

De kern

XGenBoost: De Slimme Koffiezetapparaat voor Data

Stel je voor dat je een enorme, rommelige verzameling gegevens hebt: een mix van cijfers (zoals inkomen of leeftijd) en categorieën (zoals "man/vrouw" of "rood/blauw"). Dit noemen we tabulaire data. Vaak wil je meer van deze data maken, bijvoorbeeld om een computerprogramma te trainen zonder echte mensen in gevaar te brengen, of om een klein datasetje groter te maken.

Het probleem? De beste methoden om dit te doen zijn vaak als een Formule 1-auto: ze zijn ongelooflijk snel en krachtig, maar ze hebben een enorm duur brandstofverbruik (rekenkracht/GPU's) en alleen rijke mensen of grote bedrijven kunnen ze betalen.

De auteurs van dit paper, Jim en zijn team, zeggen: "Wacht even. Waarom gebruiken we die dure Formule 1-auto's niet, terwijl we een heel goede, goedkope en betrouwbare fiets hebben die we al kennen?" Die "fiets" is XGBoost, een algoritme dat al jarenlang de koning is van het voorspellen op tabulaire data, maar dat ze nu voor het eerst gebruiken om nieuwe data te creëren.

Ze noemen hun uitvinding XGenBoost. Het bestaat uit twee verschillende modellen, afhankelijk van hoe groot je dataset is.

1. Voor kleine datasets: De "Denoising Diffusion" (De Kunstrestaurator)

Stel je voor dat je een schilderij hebt dat een beetje vies is geworden (ruis). Je wilt het schoonmaken, maar je weet niet hoe het er oorspronkelijk uitzag. Je begint met een compleet wazig beeld en probeert stap voor stap de ruis weg te halen tot het schilderij weer helder is.

• Hoe het werkt: XGenBoost gebruikt XGBoost als de "schoonmaker". In plaats van een zware neural network, gebruikt het slimme bomen (decision trees) om te voorspellen welke ruis er weg moet.
• De slimme truc: Veel andere methoden moeten alle categorieën (zoals "rood", "blauw", "groen") omzetten in lange rijen nullen en enen (one-hot encoding). Dat is als proberen een woord te schrijven door elke letter apart op een kaartje te zetten. XGenBoost kan echter direct met de categorieën werken, net zoals een mens dat doet.
• Het resultaat: Voor kleine datasets (zoals een medisch dossier van een ziekenhuis) maakt dit model prachtige, realistische nieuwe data in een handomdraai, zonder dat je een dure server nodig hebt.

2. Voor grote datasets: De "Autoregressive" (De Bouwmeester)

Nu stel je je voor dat je een hele stad moet bouwen, niet één huis. Als je probeert alles in één keer te bouwen, duurt het eeuwen. XGenBoost gebruikt hier een andere aanpak: één ding tegelijk.

• Hoe het werkt: Het model bouwt de data rij voor rij, kolom voor kolom. Het kijkt eerst naar de eerste eigenschap (bijvoorbeeld: "Is het een man of vrouw?"), maakt een keuze, en gebruikt die keuze om de volgende eigenschap te voorspellen (bijvoorbeeld: "Wat is het inkomen?").
• De slimme truc: Omdat XGBoost zo goed is in het maken van voorspellingen op basis van eerdere keuzes, kan dit model enorme datasets (miljoenen rijen) verwerken op een gewone computer. Het is alsof je een meester-bouwmeester hebt die elke steen perfect op zijn plek zet, zonder dat je een team van duizend mensen nodig hebt.
• Het resultaat: Het kan datasets van miljoenen mensen synthetiseren in slechts een paar minuten, op een gewone laptop of server.

Waarom is dit zo belangrijk?

1. Democratisering: Je hebt geen dure grafische kaarten (GPUs) nodig. Dit betekent dat onderzoekers in ontwikkelingslanden, kleine ziekenhuizen of studenten dit kunnen gebruiken. Het maakt geavanceerde data-wetenschap toegankelijk voor iedereen.
2. Privacy: De gegenereerde data ziet eruit als de echte data, maar bevat geen echte mensen. Je kunt het veilig delen met anderen zonder dat je privacyrisico's loopt.
3. Efficiëntie: Het is veel sneller en goedkoper dan de huidige "state-of-the-art" methoden, terwijl de kwaliteit net zo goed (of zelfs beter) is.

Samenvattend:
XGenBoost pakt de krachtige, maar vaak vergeten "fiets" (XGBoost) en zet er een motor onder. Het leert ons dat we niet altijd de duurste en zwaarste machines nodig hebben om een goed werk te doen. Soms is de slimste oplossing juist het gebruik van de tools die we al hebben, op de manier die het beste past bij de data. Het is een stap in de richting van eerlijke, toegankelijke en duurzame data-wetenschap voor de hele wereld.

Technische samenvatting

Probleemstelling

Het genereren van synthetische tabulaire data met gemengde typen (numerieke en categorische variabelen) is een uitdagend probleem. De huidige state-of-the-art methoden vertrouwen grotendeels op diepe neurale netwerken (zoals GANs, VAEs en Diffusion-modellen). Deze modellen vereisen echter aanzienlijke rekenkracht (GPU's) en langere trainingstijden, wat de toegang beperkt voor onderzoekers zonder toegang tot high-end hardware.

Daarnaast hebben boom-ensemble methoden (zoals XGBoost, Random Forests) bewezen superieur te zijn voor discriminatieve taken op tabulaire data vanwege hun inductieve bias, trainingsefficiëntie en vermogen om categorische data direct te verwerken zonder one-hot encoding. De auteurs vragen zich af of deze sterke eigenschappen ook kunnen worden benut voor generatieve modellen, zonder de beperkingen van neurale netwerken op te leggen.

Een specifiek technisch probleem is dat bestaande boom-gebaseerde generatieve modellen (zoals ForestDiffusion of Unmasking Trees) vaak slecht schalen naar grote datasets omdat ze de trainingsset moeten uitbreiden (bijv. 50 tot 100 keer) om invarianse te leren of om verwachtingen in diffusieverliezen te schatten.

Methodologie

De auteurs presenteren XGenBoost, een paar van generatieve modellen die specifiek zijn ontworpen rondom de beperkingen en sterke punten van XGBoost. Het framework onderscheidt twee scenario's:

1. Synthetiseren van Kleine Datasets: XGenB-DF (Diffusion)

Voor kleinere datasets is het uitbreiden van de trainingsset acceptabel. Hier gebruiken de auteurs een Denoising Diffusion Implicit Model (DDIM) waarbij XGBoost fungeert als de score-estimator.

• Hybride Diffusie: Numerieke variabelen worden gemodelleerd via Gaussische diffusie, terwijl categorische variabelen via multinomiale diffusie worden behandeld. Dit vermijdt one-hot encoding en maakt gebruik van de native categorische splitsingsmogelijkheden van XGBoost.
• Per-feature modellen: In plaats van één groot model, wordt er voor elke feature en elke tijdstap een apart XGBoost-model getraind (regressor voor numeriek, classifier voor categorisch).
• Voordeeltijd: Door over te schakelen van DDPM naar DDIM kunnen hoogwaardige samples worden gegenereerd met minder diffusiestappen, wat essentieel is omdat er per stap een nieuw model wordt getraind.
• Privacy: Er wordt een dropout-procedure toegepast op numerieke inputfeatures om memorisatie van trainingsstalen te voorkomen en het privacy-risico te verlagen.

2. Synthetiseren van Grote Datasets: XGenB-AR (Autoregressief)

Voor grote datasets is het uitbreiden van de trainingsset niet haalbaar. Daarom wordt een fixed-order autoregressief model gebruikt.

• Kettingregeling: De gezamenlijke verdeling wordt benaderd via een product van conditionele verdelingen: $p(x) = \prod p(x_{\pi(t)} | x_{\pi(<t)})$. De volgorde van features is vast.
• Conditionele Leraren:
  • Categorische data: Direct gemodelleerd met multi-class XGBoost classifiers.
  • Numerieke data: Gemodelleerd via een hiërarchische classificatie-aanpak. Numerieke waarden worden eerst gekwantiseerd in bins. In plaats van één multi-class classifier te gebruiken, wordt een meta-boom van binaire XGBoost classifiers gebruikt. Dit introduceert een ordinaal inductief bias (vergelijkbare bins worden dichter bij elkaar in de boom geplaatst) en verbetert de prestaties.
• De-quantisatie: Om de niet-continuïteit van real-world data te modelleren, worden samples uit de gekozen bin niet uniform getrokken, maar via een empirische kwantiel-functie (EQF) die is gefit op de trainingsdata binnen die bin.
• Beperking van Cardinaliteit: Voor features met een zeer groot aantal categorieën worden zeldzame categorieën geklusterd op basis van hun mean-vector embeddings (gebaseerd op Gower-achtige afstanden) om trainingstijd en privacy-risico's te beperken.

Belangrijkste Bijdragen

1. XGenBoost Framework: Een uniek paar modellen dat XGBoost succesvol toepast als score-estimator (diffusie) en conditionele leraar (autoregressief) voor gemengde tabulaire data.
2. Ontwerpbeperkingen: De architecturen zijn expliciet ontworpen om de beperkingen van boom-learners te respecteren (bijv. single-output, geen mini-batch training, native categorische splitsing), wat leidt tot efficiëntere en schaalbaardere oplossingen.
3. Schaalbaarheid: XGenB-AR lost het schaalprobleem van eerdere boom-gebaseerde methoden op door geen trainingsset-uitbreiding te vereisen, waardoor het geschikt is voor datasets met miljoenen rijen.
4. Open Source: De implementatie is beschikbaar via een simpele scikit-learn-stijl API.

Resultaten

De auteurs evalueren XGenBoost op twee benchmarks: een "Small Benchmark" (27 datasets, voornamelijk klein) en een "Big Benchmark" (11 datasets, groot).

• Kwaliteit (Fidelity & Utility):
  • XGenB-DF presteert consistent beter dan bestaande methoden (zoals TabDDPM, CTGAN, TVAE) op kleine datasets wat betreft fideliteit (Shape, Trend, Detection) en ML-utility (MLE).
  • XGenB-AR overtreft alle concurrenten op grote datasets op het gebied van fideliteit, utility en trainingstijd. Het behoudt zelfs de multivariate structuur beter dan diepe generatieve modellen.
• Efficiëntie:
  • XGenBoost-modellen trainen aanzienlijk sneller dan neurale netwerken. Bijvoorbeeld, XGenB-AR trainde op de acsincome dataset (1,6 miljoen rijen) in ongeveer 3 minuten op 16 CPU-kernen.
  • In tegenstelling tot veel andere methoden, draait XGenBoost efficiënt op standaard CPU-hardware zonder GPU's.
• Privacy:
  • De methoden tonen een goede balans tussen fideliteit en privacy (gemeten via DCR-scores). Hoewel er een trade-off bestaat, presteert XGenB-AR beter dan methoden zoals SMOTE en ARF, en vergelijkbaar met dure diepe modellen, maar tegen een fractie van de kosten.

Betekenis en Impact

Dit paper daalt het huidige paradigma dat generatieve modellen voor tabulaire data noodzakelijkerwijs op diepe neurale netwerken moeten rusten. De auteurs tonen aan dat het "data-first" ontwerpen van generatieve architecturen, gebaseerd op methoden die bekend staan om hun geschikte inductieve bias voor tabulaire data (zoals XGBoost), leidt tot modellen die:

1. Beter presteren in kwaliteit en utility.
2. Veel goedkoper en sneller zijn in training en inferentie.
3. Toegankelijker zijn voor een bredere gemeenschap, omdat ze geen toegang tot dure GPU-clusters vereisen.

Dit is een belangrijke stap naar het democratiseren van synthetische data-generatie, wat essentieel is voor toepassingen zoals federated learning, data-augmentatie en het veilig delen van gevoelige onderzoeksdata.