FairFinGAN: Fairness-aware Synthetic Financial Data Generation

Dit artikel introduceert FairFinGAN, een op WGAN gebaseerd framework dat synthetische financiële data genereert met geïntegreerde eerlijkheidsbeperkingen om bias te verminderen zonder de bruikbaarheid voor voorspellende taken significant te verlagen.

De kern

Stel je voor dat een bank een enorme, digitale "kookboek" heeft met de levensverhalen van miljoenen mensen. Ze gebruiken dit boek om te beslissen wie een hypotheek of lening krijgt. Het probleem is dat dit kookboek vol zit met oude, vooroordelen. Misschien staat er in dat mensen uit een bepaalde wijk of met een bepaalde achternaam vaker "slecht" betalen, niet omdat ze dat echt zijn, maar omdat de geschiedenis dat zo heeft opgeschreven. Als een computer dit boek leest, leert hij die vooroordelen en weigert hij onterecht mensen een kans.

Om dit op te lossen, willen wetenschappers vaak een nieuw, perfect kookboek maken dat precies hetzelfde smaakt als het oude, maar zonder die giftige vooroordelen. Maar hoe maak je zo'n boek zonder de echte mensen te schaden (privacy) en zonder dat het nieuwe boek er "nep" uitziet?

Hier komt FairFinGAN in beeld. Het is een slimme, digitale kok die een nieuw kookboek (synthetische data) bakt, maar dan op een heel speciale manier.

Hoe werkt FairFinGAN? (De Analogie van de Twee Chefs)

Stel je voor dat er twee chefs in de keuken werken: Chef Generator en Chef Critic.

1. Chef Generator (De Verzonner):
   Deze chef probeert een nieuw gerecht te maken dat precies lijkt op de echte maaltijden uit het oude kookboek. Hij probeert de smaken, de textuur en de ingrediënten na te bootsen. Zijn doel is: "Mijn gerecht moet zo echt mogelijk zijn, zodat niemand het onderscheidt van het origineel."

2. Chef Critic (De Smaakproever):
   Deze chef proeft het gerecht van de Generator en zegt: "Nee, dit smaakt niet echt genoeg! Probeer het opnieuw!" Hij duwt de Generator om steeds beter te worden in het nabootsen van de echte data.

Maar wacht, er is een probleem:
Als ze alleen hiermee doorgaan, zou de Generator het oude, vooroordeelvrije kookboek perfect kopiëren, inclusief alle onrechtvaardige regels. De nieuwe maaltijd zou dan ook "vooroordeelsmakend" zijn.

De Slimme Toevoeging: De "Rechtvaardigheids-Oefenmeester"

Hier komt het nieuwe idee van het papier om de hoek kijken. Ze voegen een derde persoon toe aan de keuken: De Rechtvaardigheids-Oefenmeester (een computerprogramma dat als een strenge leraar werkt).

• De Twee Fasen:

  • Fase 1: De Generator en de Critic werken samen om een zo echt mogelijke maaltijd te maken.
  • Fase 2: Zodra het gerecht klaar is, komt de Oefenmeester kijken. Hij kijkt niet alleen of het lekker is, maar of het eerlijk is. Hij vraagt zich af: "Als ik dit gerecht serveer aan een man en een vrouw, krijgen ze dan dezelfde kansen?"

• De Straf:
  Als de Oefenmeester merkt dat het gerecht nog steeds vooroordelen bevat (bijvoorbeeld dat hij automatisch denkt dat vrouwen minder kredietwaardig zijn), geeft hij de Generator een straf (in de vorm van een "boete" in de computercode).
  De Generator moet dan terug naar de keuken en het recept aanpassen. Hij moet proberen het gerecht net zo lekker te houden, maar nu zonder die onrechtvaardige smaakmakers.

Dit proces herhaalt zich duizenden keren. De Generator leert langzaam hoe hij een perfecte kopie van de echte wereld kan maken, maar dan gezuiverd van de onrechtvaardige vooroordelen.

Waarom is dit belangrijk?

1. Privacy: Banken hoeven geen echte klantgegevens meer te delen met onderzoekers. Ze kunnen dit nieuwe, nep-but-echte kookboek gebruiken. Niemand kan de echte mensen terugvinden in het nieuwe boek.
2. Eerlijkheid: De nieuwe data zorgt ervoor dat de AI-modellen die later beslissingen nemen, niet meer leren van de oude, slechte geschiedenis. Ze leren van een "eerlijke" wereld.
3. Nuttig: Het mooie aan FairFinGAN is dat het niet alleen eerlijk is, maar ook nuttig. De data is nog steeds goed genoeg om echte voorspellingen te doen (bijvoorbeeld: "Wie betaalt zijn lening terug?"). Het is niet zo dat ze de eerlijkheid zo ver doorvoeren dat de data nutteloos wordt.

Samenvattend

FairFinGAN is als een digitale tijdreiziger die teruggaat in de geschiedenis, de recepten van de banken pakt, de "giftige" ingrediënten (vooroordelen) eruit haalt, en een nieuw, veilig en eerlijk kookboek maakt. Hierdoor kunnen banken en onderzoekers samenwerken aan eerlijker financiële systemen, zonder dat ze de privacy van echte mensen in gevaar brengen.

Het is een manier om te zeggen: "Laten we de wereld nabootsen, maar dan de versie waarin we allemaal eerlijke kansen krijgen."

Technische samenvatting

Probleemstelling

Financiële datasets worden vaak gebruikt voor geautomatiseerde besluitvorming (zoals kredietverlening of risicobeoordeling), maar deze datasets lijden vaak onder bias. Deze bias kan leiden tot onrechtvaardige beslissingen ten opzichte van beschermde kenmerken zoals geslacht, ras of leeftijd. De oorzaken liggen in historische discriminatie, dataverzamelingsprocessen en algoritmische tekortkomingen.

Daarnaast is het delen van echte financiële data moeilijk vanwege privacy- en eigendomsrestricties. Synthese data (gegenereerde data) biedt een oplossing, maar er bestaat een groot risico dat generatieve modellen de bestaande bias in de originele data reproduceren of zelfs versterken. Het doel van dit onderzoek is het genereren van synthetische financiële tabulardata die niet alleen realistisch is, maar ook statistisch eerlijk is ten opzichte van beschermde attributen, zonder de bruikbaarheid (utility) voor downstream predictive taken te verliezen.

Methodologie: FairFinGAN

De auteurs stellen FairFinGAN voor, een framework gebaseerd op Wasserstein Generative Adversarial Networks (WGAN). Het model is ontworpen om bias op het dataset-niveau te mitigeren door eerlijkheidsbeperkingen direct in het trainingsproces te integreren.

Het trainingsproces verloopt in twee fasen:

1. Fase 1: Data Synthese (Adversariaal Trainen)

   • Een Generator ($G$) en een Critic ($C$) worden getraind in een traditioneel adversariaal proces.
   • De generator probeert realistische synthetische samples te creëren die niet van de echte data te onderscheiden zijn.
   • De critic beoordeelt de realisme van de data.
   • In deze fase wordt de generator geoptimaliseerd om de kwaliteit van de gegenereerde data te maximaliseren (vergelijkbaar met standaard WGAN).

2. Fase 2: Fairness-Optimalisatie

   • Een vooraf getrainde Multi-Layer Perceptron (MLP) classifier ($H$), getraind op de originele dataset, wordt gebruikt om de gegenereerde data te evalueren.
   • De classifier voorspelt labels voor de synthetische data. Op basis van deze voorspellingen worden eerlijkheidsmetrieken berekend.
   • Twee varianten worden voorgesteld:
     • FairFinGAN-SP: Optimaliseert voor Statistical Parity (SP).
     • FairFinGAN-EOd: Optimaliseert voor Equalized Odds (EOd).
   • Deze eerlijkheidsmetrieken worden toegevoegd als een straffingsterm (loss component) in de loss-functie van de generator, gewogen door een parameter $\lambda_{fair}$.
   • De generator wordt vervolgens iteratief bijgewerkt om niet alleen realistische data te genereren, maar ook data waarbij de classifier geen bias toont ten opzichte van het beschermde attribuut.

Architectuur:

• De generator gebruikt een Fully Connected Network (FCN) met ReLU-activaties en Gumbel-Softmax lagen om zowel numerieke als categorische attributen te genereren.
• De critic gebruikt LeakyReLU-activaties.
• De classifier is een MLP met twee verborgen lagen.

Belangrijkste Bijdragen

1. FairFinGAN Framework: Introductie van een WGAN-gebaseerd framework specifiek voor het genereren van eerlijke synthetische financiële data.
2. Integratie van Eerlijkheidsbeperkingen: Een trainingsstrategie die eerlijkheidsbeperkingen (Statistical Parity en Equalized Odds) direct in de GAN-objective functie integreert via een externe classifier, in plaats van alleen post-processing toe te passen.
3. Uitgebreide Evaluatie: Het paper presenteert uitgebreide experimenten op vijf real-world financiële datasets, waarbij FairFinGAN wordt vergeleken met state-of-the-art methoden zoals CTGAN en TabFairGAN.

Experimentele Resultaten

De auteurs hebben FairFinGAN getest op vijf datasets: Adult, Credit Card, Credit Scoring, Dutch Census en German Credit. De prestaties zijn geëvalueerd op basis van:

• Data Utility: Prestaties van vier klassieke classifiers (Logistic Regression, Decision Tree, kNN, MLP) op de gegenereerde data (gemeten via Accuracy en Balanced Accuracy).
• Eerlijkheid: Verschillende metrieken, waaronder Statistical Parity (SP), Equal Opportunity (EO), Equalized Odds (EOd), Predictive Parity (PP) en ABROCA.

Kernbevindingen:

• Balans tussen Eerlijkheid en Utility: FairFinGAN slaagt erin de eerlijkheid significant te verbeteren ten opzichte van de originele data en de baseline CTGAN, zonder dat er sprake is van een significante daling in de voorspellende nauwkeurigheid.
• Vergelijking met Baselines:
  • CTGAN: Presteert goed qua nauwkeurigheid maar faalt vaak in het mitigeren van bias.
  • TabFairGAN: Bereikt soms zeer hoge eerlijkheidsscores, maar vaak ten koste van de data-utility (lagere nauwkeurigheid) en stabiliteit.
  • FairFinGAN: Biedt een betere trade-off. Bijvoorbeeld, op de Adult-dataset (geslacht) en Credit Card-dataset (seks/leeftijd) behalen de FairFinGAN-varianten vaak de beste of op een na beste eerlijkheidsscores, terwijl ze concurrerende nauwkeurigheid behouden.
• Robuustheid: De resultaten tonen aan dat de effectiviteit van de gegenereerde data afhangt van het type classifier, maar FairFinGAN over het algemeen consistent betere resultaten levert dan bestaande methoden in financiële contexten.

Betekenis en Toekomstperspectief

Dit onderzoek is van groot belang voor de financiële sector, waar ethische AI en naleving van regelgeving (zoals anti-discriminatiewetgeving) steeds belangrijker worden. FairFinGAN biedt een praktische oplossing voor:

• Het creëren van privacy-beschermende datasets voor onderzoek en ontwikkeling.
• Het verminderen van historische bias in kredietverlening en risicobeoordeling.
• Het waarborgen dat geautomatiseerde beslissingen eerlijker zijn zonder de economische prestaties van de modellen te ondermijnen.

Toekomstig werk omvat het uitbreiden van het framework om meerdere beschermde attributen gelijktijdig te hanteren, het toepassen in andere domeinen (zoals gezondheidszorg en onderwijs), en het integreren van differentieel privacy om de privacy van de gegenereerde data verder te garanderen.