🤖 machine learning

FairDiffuseVQVAE: Sampling-Time Fairness in Tabular Diffusion via Conditional Refinement of Vector-Quantized Latents

FairDiffuseVQVAE introduceert een nieuwe twee-fasen architectuur die datafideliteit ontkoppelt van eerlijkheid door gebruik te maken van een vector-gekwantiseerde autoencoder gevolgd door een conditionele diffusie-refiner, waarmee superieure demografische pariteit en gelijke kansen op tabulaire datasets wordt bereikt zonder de kwaliteit van de monsters aan te tasten door middel van expliciete eerlijkheidsstraffen tijdens de training.

Oorspronkelijke auteurs: Nitish Nagesh, Mahdi Bagheri, Amir M. Rahmani

Gepubliceerd 2026-08-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Nitish Nagesh, Mahdi Bagheri, Amir M. Rahmani

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een chef bent die probeert een beroemd, complex gerecht te recreëren voor een enorm banket. Je hebt een recept (de data) dat je precies vertelt hoe het originele gerecht smaakt, maar er is een addertje onder het gras: het oorspronkelijke recept werd geschreven door een bevooroordeelde kok die altijd extra zout aan de soep toevoegde als de gast een rode hoed droeg, en extra peper als ze een blauwe droegen. Als je het recept exact volgt, zal je nieuwe banket net zo oneerlijk smaken. Dit is de wereld van synthetische data: het creëren van nep-datasets die realistisch zijn om computers te trainen zonder de privéinformatie van echte mensen bloot te leggen. Het doel is om de nepdata er zo echt uit te laten zien dat een computer ervan leert, maar zonder de oneerlijke "rode hoed"-bias over te nemen.

Om dit te doen, gebruiken wetenschappers twee belangrijke instrumenten. Ten eerste zijn er diffusiemodellen, die lijken op een beeldhouwer die begint met een blok ruizige, vormeloze klei en langzaam de ruis wegbeitelt tot er een perfect beeldhouwwerk verschijnt. Ten tweede zijn er vector-gekwantiseerde autoencoders, die fungeren als een vertaler die een rommelige, lange zin omzet in een korte, efficiënte code (zoals een geheime handdruk) en vervolgens weer terug naar een zin. De grote vraag die onderzoekers stellen is: hoe zorgen we ervoor dat het uiteindelijke beeldhouwwerk niet per ongeluk de voorkeur geeft aan rode hoeden boven blauwe, zonder de vorm van het beeldhouwwerk te verpesten of het nep te laten lijken?

Maak kennis met FairDiffuseVQVAE, een nieuw tweestaps-recept voor het creëren van eerlijke data. De auteurs suggereren dat we, in plaats van te proberen eerlijkheid in de handen van de beeldhouwer te dwingen terwijl hij nog bezig is met het bewerken van de klei (wat vaak de vorm van het beeld verpest), de beeldhouwer eerst puur moeten laten focussen op het maken van een prachtig, accuraat beeld. Daarna gebruiken we tijdens de laatste polijstfase een speciale "eerlijkheidsfilter".

Zo werkt hun methode, stap voor stap:

Fase 1: De Eerlijke Vertaler
Eerst bouwt het systeem een "vertaler" (een vector-gekwantiseerde autoencoder). Dit onderdeel kije naar de echte data en leert deze te comprimeren tot een compacte, efficiënte code en het vervolgens perfect te reconstrueren. Cruciaal is dat dit stadium wordt verteld de "hoedkleur" (het beschermde attribuut) volledig te negeren. Het wil alleen de best mogelijke kopie van de data maken, zonder enige eerlijkheidsstraffen. Het is als een fotograaf die een foto met hoge resolutie maakt van een menigte zonder zich zorgen te maken over wie wat draagt; ze willen alleen dat de foto scherp en getrouw aan de werkelijkheid is.

Fase se: De Eerlijke Verfijner
Zodra de vertaler een ruwe versie van de data heeft gemaakt, stapt een tweede instrument in: een diffusie-verfijner. Dit is waar de magie gebeurt. Dit instrument is getraind om de ruwe versie te nemen en deze te polijsten, maar het heeft een speciale instructie: het moet in staat zijn om data te genereren voor elke hoedkleur, niet alleen voor de kleuren die veel voorkwamen in de originele foto.

De belangrijkste truc is Classifier-Free Guidance. Stel je voor dat de verfijner een kunstenaar is die een scène kan schilderen op basis van een beschrijving. Normaal gesproken schildert de kunstenaar op basis van wat hij in de echte wereld zag. Maar hier wordt de kunstenaar getraind om de beschrijving van de hoedkleur soms te negeren (tijdens de training). Wanneer het vervolgens tijd is om de definitieve nepdata te creëren, krijgt de kunstenaar een specifieke instructie: "Schilder een scène waarin precies de helft van de mensen een rode hoed draagt en de helft een blauwe." Omdat de kunstenaar getraind is om te begrijpen hoe hij voor elke hoedkleur moet schilderen, kan hij deze nieuwe instructie perfect opvolgen. Hij hoeft niet gestraft te worden voor het zijn van oneerlijk; hij hoeft alleen maar op het moment van creatie de instructie te krijgen om eerlijk te zijn.

De Resultaten: Een Afweging
Het paper testte dit op echte datasets zoals leningaanvragen en strafrechtelijke dossiers. De resultaten waren opmerkelijk. Door deze "eerlijkheid aan het einde"-benadering te gebruiken, bereikte de nieuwe methode een Demographic Parity Ratio van 0,702, wat een verbetering van 47% is ten opzichte van de vorige beste methode (FairTabDDPM). Het behaalde ook een Equalized Odds Ratio van 0,686, een enorme sprong van 100%.

Het paper is echter eerlijk over de kosten. Om dit niveau van eerlijkheid te bereiken, moest het systeem een beetje "utiliteit" opofferen. De nauwkeurigheid van een classifier die getraind is op deze nieuwe data daalde met ongeveer 15 AUC-punten vergeleken met de meest accurate (maar oneerlijke) modellen. De auteurs leggen uit dat dit logisch is: als je de data perfect eerlijk dwingt, kan de computer de oude, bevooroordeelde afkortingen niet meer gebruiken om voorspellingen te doen, waardoor de prestaties op real-world taken iets kunnen dalen. Het is een bewuste afweging: je krijgt een eerlijker systeem, maar je verliest misschien een beetje pure voorspellende kracht.

Wat het niet doet
Het paper verduidelijkt ook wat deze methode niet is. Het vereist geen complexe kaart van oorzaak-en-gevolgrelaties (zoals een causale grafiek) om te werken, wat het gemakkelijker in gebruik maakt dan sommige andere methoden. Het biedt echter geen wiskundig bewijs dat het in elk mogelijk scenario altijd eerlijk zal zijn; het werkt vanwege de manier waarop de sampling wordt uitgevoerd, niet vanwege een theoretische garantie. Ook, bij zeer kleine datasets, "memoriseerde" het systeem de trainingsdata soms te goed, wat een risico vormt voor de privacy, hoewel het goed werkte op grotere datasets.

Kortom, FairDiffuseVQVAE laat zien dat we niet hoeven te kiezen tussen een realistisch model en een eerlijk model door te vechten tijdens het trainingsproces. In plaats daarvan kunnen we eerst een realistisch model bouwen, en dan simpelweg "aan de knop draaien" aan het einde om ervoor te zorgen dat het eindresultaat iedereen gelijk behandelt. Het is een slimme, praktische manier om eerlijkheid in het recept te bakken zonder de smaak te verpesten.

Technische Samenvatting: FairDiffuseVQVAE

Probleemstelling

Synthetische tabelgegevens zijn cruciaal voor privacy-bewuste gegevensdeling, data-augmentatie en het verzachten van downstream classifier-bias. Hoewel state-of-the-art diffusiemodellen zoals TabDDPM en TabSyn een hoge distributionele getrouwheid bereiken, erven zij statistische biases van de trainingsdata zonder mechanismen voor rechtvaardigheid (fairness). Daarentegen leggen bestaande rechtvaardigheidsbewuste generatoren (bijv. DECAF, FairTGAN, FairTabDDPM) doorgaans expliciete rechtvaardigheidsstraffen op tijdens de training. Deze aanpak dwingt het model vaak om een balans te vinden tussen reconstructie en adversariële of hulpfuncties (auxiliary losses), wat resulteert in bescheiden winst op het gebied van rechtvaardigheid ten koste van een significante degradatie in de kwaliteit van de samples (fout in dichtheidschatting) of downstream bruikbaarheid.

Methodologie: FairDiffuseVQVAE

De auteurs stellen FairDiffuseVQVAE voor, een tweestaps architectuur die getrouwheid (fidelity) ontkoppelt van rechtvaardigheid. In plaats van concurrerende verliesfuncties, wordt rechtvaardigheid afgedwongen als een eigenschap van de steekproefverdeling via conditionele verfijning.

Fase 1: Fair Vector-Quantized Autoencoder

Deze fase richt zich uitsluitend op het leren van een getrouwe, compacte representatie van gemengde type tabelgegevens zonder enige rechtvaardigheidsbeperkingen.

Architectuur: Een VQGAN-stijl autoencoder bestaande uit een encoder ( $E_\phi$ ), een discrete codebook ( $Z$ ), een decoder ( $G_\theta$ ) en een rij-niveau discriminator ( $D_\xi$ ).
Proces: De encoder brengt een rij $\bar{x}$ in kaart naar latente tokens $z_e$ , die worden gekwantiseerd naar de dichtstbijzijnde codebook-entry $z_q$ . De decoder reconstrueert de rij geconditioneerd op het beschermde attribuut $s$ , terwijl de encoder ongeconditioneerd blijft.
Verliesfuncties: Het model minimaliseert de reconstructieverlies (MSE voor continu, Cross-Entropy voor categorisch), codebook commitment loss en een adversariële GAN-loss. Cruciaal is dat er in deze fase geen rechtvaardigheidsterm wordt opgenomen.

Fase 2: Conditionele Input-Ruimte Diffusie-refiner

Deze fase verfijnt de reconstructie uit Fase 1 in de input-ruimte om rechtvaardigheid af te dwingen.

Architectuur: Een continue diffusie-refiner (DiffuseVAE-stijl) gebruikmakend van een EDM (Elucidating the Design Space) formulering. Het maakt gebruik van een 5-laags MLP denoiser ( $D_\psi$ ).
Conditionering: De denoiser is geconditioneerd op drie inputs:
1. De bevroren Fase-1 reconstructie ( $\hat{\bar{x}}_{VQ}$ ).
2. Het ruisniveau $\sigma$ .
3. Het beschermde attribuut $s$ .
Training: Het model wordt getraind met Classifier-Free Guidance (CFG). Tijdens de training wordt het conditioneringssignaal $s$ stochastisch gedropt (met waarschijnlijkheid $p_{cfg}=0.3$ ) om zowel de conditionele $p(\bar{x}|s)$ als de onconditionele $p(\bar{x})$ distributies te leren.
Sampling & Rechtvaardigheidsafdwinging:
1. Het beschermde attribuut $s$ wordt getrokken uit een uniforme verdeling (bijv. $Bernoulli(0.5)$) in plaats van de bevoordeelde data-marginaal.
2. Willekeurige codebook-indices worden gedecodeerd om een initiële schatting te vormen.
3. Een 50-staps Heun EDM sampler verfijnt deze schatting, geconditioneerd op de uniforme $s$ en de Fase-1 reconstructie.
4. De guidance scale $w_{cfg}$ fungeert als een instelbare knop om de sterkte van de conditionele manifold te controleren.

Door $s$ uniform te samplen en het diffusieproces te conditioneren op deze waarde, voldoet de synthetische gezamenlijke verdeling $p_{synth}(\bar{x}, s) = Unif(s) \cdot p(\bar{x}|s)$ aan Demographic Parity door constructie.

Belangrijkste Bijdragen

Nieuwe Architectuur: Introductie van een tweestaps framework dat een VQGAN-stijl autoencoder combineert met een input-ruimte DiffuseVAE refiner, specifiek ontworpen voor eerlijke tabel-synthese.
Rechtvaardigheid tijdens Sampling: Demonstratie dat rechtvaardigheid kan worden bereikt zonder expliciete verliesstraffen door gebruik te maken van classifier-free guidance en uniforme sampling van het beschermde attribuut tijdens de inferentie.
State-of-the-Art Prestaties: De methode behaalt de hoogste gemiddelde Demographic Parity Ratio (DPR) en Equalized Odds Ratio (EOR) op de Yang et al. (2025) benchmark, waarmee zij eerdere rechtvaardigheidsbewuste baselines aanzienlijk overtreft.
Hoge Getrouwheid: De architectuur bereikt de laagste gemiddelde pair-wise kolomcorrelatiefout van alle gepubliceerde methoden, waarmee zelfs de hoog-getrouwe TabSyn wordt overtroffen.
Reproduceerbaarheid: Een reproduceerbare pipeline geïntegreerd in de TabSyn repository, die acht datasets dekt en een uitgebreide suite aan metrieken rapporteert (density, correlation, AUC, DPR, EOR, DCR).

Experimentele Resultaten

Geëvalueerd op de Yang et al. (2025) benchmark (Adult, Bank, COMPAS) en de TabSyn benchmark:

Rechtvaardigheidsmetrieken: FairDiffuseVQVAE behaalde een gemiddelde Demographic Parity Ratio (DPR) van 0,702 (een verbetering van +47% ten opzichte van FairTabDDPM) en een gemiddelde Equalized Odds Ratio (EOR) van 0,686 (een verbetering van +100%).
Kwaliteitsmetrieken: Het behaalde de laagste gemiddelde pair-wise correlatiefout (0,034), waarmee het TabSyn (0,041) overtreft.
Bruikbaarheid-trade-off: De methode ruilt expliciet downstream bruikbaarheid in voor rechtvaardigheid. De gemiddelde TSTR (Train on Synthetic, Test on Real) AUC was 0,708, ongeveer 15 punten lager dan de sterkste deep generative baselines (bijv. TabSyn op 0,860). De auteurs wijten dit aan het ontkoppelen van kenmerken van het beschermde attribuut, waardoor downstream classifiers de bias niet kunnen exploiteren.
Privacy: De Distance to Closest Record (DCR) scores waren nabij ideaal (0,5) voor Adult en Bank, maar verhoogd (0,81) voor de kleinere COMPAS dataset, wat duidt op gedeeltelijke memorisatie in scenario's met kleine hoeveelheden data.

Betekenis en Claims

Het artikel claimt dat FairDiffuseVQVAE een praktisch alternatief biedt voor causaal-gegronde methoden (zoals DECAF) die expliciete causale graafspecificaties vereisen. Door getrouwheid (Fase 1) te ontkoppelen van rechtvaardigheid (Fase 2), stelt de architectuur het model in staat om reconstructie te optimaliseren zonder tijdens de training te concurreren met rechtvaardigheidsbeperkingen.

De auteurs benadrukken dat de trade-off tussen bruikbaarheid en rechtvaardigheid expliciet en kwantificeerbaar is. Zij argumenteren dat het voor de rechtvaardigheid-bewuste synthese het "juiste gedrag" is dat een downstream classifier getraind op synthetische data aan nauwkeurigheid verliest als die nauwkeurigheid voortkwam uit bevoordeelde correlaties in de echte data. De methode biedt een instelbaar mechanisme (via CFG guidance) om deze trade-off te controleren zonder hertraining.

Het artikel concludeert dat hoewel de aanpak empirisch is en geen theoretische garanties biedt (in tegen tegenstelling tot causale methoden), het sterke empirische resultaten en een flexibel framework biedt voor de controle van generatief gedrag tijdens de sampling-fase. De auteurs waarschuwen dat synthetische data niet als een op zichzelf staande oplossing voor rechtvaardigheid moet worden beschouwd en raden aan om hun methode te combineren met kwalitatieve audits en interventies aan de classifier-zijde.