An Experimental Study on Fairness-aware Machine Learning for Credit Scoring Problems

Dit artikel presenteert een uitgebreide experimentele studie die aantoont dat eerlijkheidsbewuste machine learning-modellen in het kredietscoringproces een betere balans bereiken tussen voorspellende nauwkeurigheid en eerlijkheid dan traditionele classificatiemodellen.

De kern

De Rekening van de Bank: Een Verhaal over Rechtvaardige Credit Scores

Stel je voor dat je een grote bank bent. Iedere dag komen er duizenden mensen binnen die willen lenen voor een huis, een auto of een nieuwe koelkast. De bank moet een beslissing nemen: "Ja, we lenen je geld" of "Nee, dat is te riskant".

Vroeger deden bankmedewerkers dit met de hand. Ze keken naar je papieren, je inkomen en hun buikgevoel. Dat was traag en soms onrechtvaardig. Vandaag de dag gebruiken banken kunstmatige intelligentie (AI) en machine learning. Dit zijn slimme computers die in een seconde duizenden dossiers scannen en een voorspelling doen.

Maar hier zit een addertje onder het gras.

Het Probleem: De Vooringenomen Computer

Stel je voor dat je een computer leert om te lenen, maar je geeft hem een boek met oude verhalen waarin vrouwen of mensen met een bepaalde achtergrond vaker als "risicovol" werden bestempeld, puur omdat dat zo was in het verleden. De computer leert dit patroon en denkt: "Oh, als iemand vrouw is, is die persoon waarschijnlijk een slechte betaler."

Dit is discriminatie. De computer is niet boos, hij is gewoon te slim voor zijn eigen bestwil: hij zoekt naar patronen, zelfs als die patronen onrechtvaardig zijn.

De Oplossing: De "Fairness" (Rechtvaardigheids-) Check

De auteurs van dit papier, een team van onderzoekers uit Vietnam en Duitsland, wilden weten: "Hoe kunnen we deze slimme computers dwingen om eerlijk te zijn, zonder dat ze hun slimheid verliezen?"

Ze hebben een groot experiment gedaan, vergelijkbaar met het testen van verschillende soorten auto's op een racebaan. Ze wilden zien welke "rekenmethode" het beste is.

De Drie Manieren om Eerlijk te Lezen

Ze keken naar drie verschillende manieren om de computer eerlijk te maken, alsof je een onrechtvaardige leraar probeert te corrigeren:

1. De Voorbereiding (Pre-processing):

   • Analogie: Je neemt de hele klasboekenkast en gooit de boeken die vol zitten met vooroordelen eruit. Je herschrijft de verhalen zodat meisjes en jongens precies even vaak als "goede leerlingen" worden beschreven, voordat de computer überhaupt begint te leren.
   • Resultaat: Dit werkt soms goed, maar vaak verliest de computer hierdoor zijn scherpte. Hij wordt zo eerlijk dat hij niet meer weet wie echt een goede betaler is.

2. Tijdens het Leren (In-processing):

   • Analogie: Je zit naast de computer terwijl hij leert. Zodra hij begint te zeggen: "Vrouwen zijn slechte betalers", tik je hem op zijn vingers en zeg je: "Nee, dat mag niet! Kijk naar de feiten, niet naar het geslacht." Je geeft hem een speciale opdracht: "Wees slim, maar wees ook eerlijk."
   • Resultaat: Dit bleek de beste methode te zijn. De computer bleef slim (hij maakte goede voorspellingen) maar deed het zonder vooroordelen.

3. Na het Leren (Post-processing):

   • Analogie: De computer heeft al zijn beslissingen genomen. Nu ga je achteraf de lijst nakijken. Als je ziet dat hij 100 mannen "ja" heeft gezegd en 0 vrouwen, pas jij die lijst handmatig aan. Je zegt: "Oké, we gaan 10 van die 'ja's naar vrouwen verplaatsen."
   • Resultaat: Dit werkt ook, maar het voelt een beetje als een pleister op een wond. Het lost het probleem niet bij de bron op.

Wat Vonden Ze? (De Uitslag van de Race)

De onderzoekers testten hun methoden op vijf verschillende datasets (zoals een grote verzameling van echte bankdossiers, waaronder bekende datasets uit Duitsland en Taiwan).

• De winnaar: Een methode genaamd AdaFair (een soort van "In-processing") won de race. Deze methode slaagde erin om de computer zowel slim als eerlijk te houden. De computer maakte minder fouten dan de oude methoden, maar discrimineerde ook niet.
• De les: Je kunt eerlijkheid en nauwkeurigheid combineren. Je hoeft niet te kiezen tussen "een slimme computer die onrechtvaardig is" of "een eerlijke computer die dom is". Je kunt beide hebben.

Waarom is dit belangrijk voor jou?

Dit onderzoek is als een kwaliteitscontrole voor de toekomst.
Als banken deze eerlijke computers gebruiken:

• Krijgen mensen een eerlijke kans op een lening, ongeacht hun geslacht of achtergrond.
• Wordt de financiële wereld veiliger en transparanter.
• Voelen mensen zich niet meer afgewezen door een "zwarte doos" die ze niet begrijpen.

Kortom: Dit papier zegt: "We hebben de gereedschapskist opengehaald, de beste hamers en schroevendraaiers gevonden, en we hebben bewezen dat we AI kunnen bouwen die niet alleen slim is, maar ook een goed menselijk hart heeft."

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "An Experimental Study on Fairness-aware Machine Learning for Credit Scoring Problems" in het Nederlands.

Probleemstelling

De digitalisering van kredietverleiding is essentieel geworden voor financiële instellingen, waarbij machine learning (ML) wordt ingezet om de kredietwaardigheid van klanten te beoordelen. Een groot risico bij het gebruik van ML-modellen is echter dat voorspellende uitkomsten bevooroordeeld kunnen zijn ten opzichte van beschermde attributen (zoals geslacht of ras). Hoewel er veel "fairness-aware" (rechtvaardigheidsbewuste) ML-modellen en maatstaven zijn ontwikkeld, is hun prestatie in de specifieke context van kredietbeoordeling niet grondig onderzocht. Er bestaat een gebrek aan uitgebreide experimentele studies die de trade-off tussen voorspellende nauwkeurigheid en eerlijkheid evalueren op diverse financiële datasets.

Methodologie

De auteurs hebben een uitgebreide experimentele studie uitgevoerd die drie hoofdcomponenten omvat:

1. Data-analyse en Dataset Selectie

• Datasets: Vijf veelgebruikte kredietbeoordelingsdatasets zijn geselecteerd: Credit Approval, Credit Card Clients, Credit Scoring, German Credit en PAKDD 2009 Credit Risk Assessment.
• Bias Detectie: Om te bepalen of de datasets zelf vooroordelen bevatten, is gebruikgemaakt van Bayesiaanse Netwerken (BN). Hierbij werd onderzocht of er directe of indirecte connecties bestaan tussen beschermde attributen (zoals geslacht) en de doelvariabele (kredietstatus). De analyse toonde aan dat bias natuurlijk voorkomt in alle geselecteerde datasets.
• Preprocessing: Numerieke attributen zijn omgezet naar categorische waarden om de complexiteit van de BN-generator te verminderen.

2. Modellen en Benaderingen
De studie vergelijkt traditionele classificatiemodellen met drie categorieën van fairness-aware benaderingen:

• Pre-processing: Data wordt aangepast voordat het model wordt getraind.
  • Learning Fair Representations (LFR)
  • Disparate Impact Remover (DIR)
• In-processing: Fairness wordt geïntegreerd in het trainingsproces (doelfunctie).
  • Agarwal's method (reductie naar kostengevoelige classificatie)
  • AdaFair (sequentiële ensemble methode)
• Post-processing: Het model wordt aangepast na training.
  • Equalized Odds Post-processing (EOP)
  • Calibrated Equalized Odds Post-processing (CEP)

Als baseline werden vier traditionele modellen gebruikt: Decision Tree (DT), Naive Bayes (NB), Multi-layer Perceptron (MLP) en k-Nearest Neighbors (kNN).

3. Evaluatiemaatstaven
De prestaties werden gemeten aan de hand van:

• Voorspellende prestaties: F1-score en Balanced Accuracy (BA), gezien de onbalans in de datasets.
• Fairness-maatstaven: Er werden acht veelgebruikte groepsgerechtigheidsmaatstaven geëvalueerd, waaronder Statistische Pariteit (SP), Equal Opportunity (EO), Equalized Odds (EOd), Predictive Parity (PP), Predictive Equality (PE), Treatment Equality (TE) en Absolute Between-ROC Area (ABROCA). Een lagere waarde voor deze maatstaven (dichter bij 0) duidt op minder discriminatie.

Belangrijkste Bijdragen

1. Omvattende Overzicht: Het artikel biedt een gedetailleerd overzicht van fairness-aware ML en de meest relevante fairness-maatstaven specifiek toegepast op kredietbeoordeling.
2. Data-analyse: Een fundamentele analyse van kredietdatasets met Bayesiaanse netwerken om de onderliggende bias in de data bloot te leggen.
3. Uitgebreide Evaluatie: Een systematische vergelijking van traditionele modellen tegenover pre-, in- en post-processing fairness-modellen op vijf verschillende datasets, waarbij rekening wordt gehouden met zowel nauwkeurigheid als eerlijkheid.

Resultaten

De experimentele resultaten tonen de volgende trends:

• Trade-off: Er is een inherent compromis tussen nauwkeurigheid en eerlijkheid. Modellen die extreem eerlijk zijn (bijv. LFR-MLP op sommige maatstaven), vertonen vaak een drastische daling in voorspellende nauwkeurigheid (vaak rond de 0.5 BA, wat neerkomt op willekeurige voorspelling).
• Superioriteit van In-processing: De in-processing aanpak, en specifiek het AdaFair-model, presteerde consistent het best. AdaFair slaagde erin een betere balans te vinden tussen hoge nauwkeurigheid en lage discriminatie in vergelijking met traditionele modellen en andere fairness-benaderingen.
  • Op de Credit Approval dataset behaalde AdaFair een BA van 0.8579 en een Acc. van 0.8529, terwijl het gelijktijdig goede scores leverde op fairness-maatstaven.
  • Op de Credit Scoring dataset behaalde AdaFair een uitzonderlijk hoge nauwkeurigheid (0.9943) met een zeer lage bias.
• Pre-processing beperkingen: Pre-processing modellen (zoals LFR en DIR) verbeterden vaak de fairness-maatstaven aanzienlijk, maar ten koste van een significante daling in de algehele classificatieprestaties.
• Post-processing: Deze methoden zijn model-onafhankelijk (black-box) maar konden in deze studie geen ABROCA-waarden genereren (vanwege de noodzaak aan waarschijnlijkheidsverdelingen over meerdere drempels) en toonden soms minder robuuste resultaten in de trade-off dan in-processing methoden.
• Bias in Data: De Bayesiaanse netwerken bevestigden dat beschermde attributen (zoals geslacht) vaak indirecte connecties hebben met de kredietstatus, wat verklaart waarom standaardmodellen discriminerend gedrag vertonen.

Betekenis en Conclusie

De studie concludeert dat het toepassen van fairness-aware methoden, met name in-processing technieken zoals AdaFair, essentieel is om kredietverleidingen eerlijker te maken zonder de operationele bruikbaarheid (nauwkeurigheid) van het model te offeren. Traditionele modellen zijn vaak sneller en nauwkeuriger, maar vertonen systematische discriminatie.

Beperkingen en Toekomstig Onderzoek:

• De huidige studie focust op individuele beschermde attributen; toekomstig werk moet de intersectie van meerdere attributen (bijv. geslacht én ras) onderzoeken.
• De analyse is beperkt tot bestaande datasets; er is behoefte aan het genereren van synthetische, eerlijke data voor financiële toepassingen.
• Er is ruimte voor het ontwikkelen van modellen die niet alleen eerlijk zijn, maar ook verklaarbaar (explainable), om de oorzaken van bias in algoritmen en data beter te begrijpen.

Kortom, dit artikel levert een cruciale empirische basis voor financiële instellingen die machine learning willen inzetten voor kredietbeoordeling, met de aanbeveling om fairness-aware in-processing modellen te adopteren om zowel wettelijke vereisten als ethische normen na te komen.