Beyond Aggregate Calibration: Decomposing Income-Conditional Recall Disparities in Automated Credit Default Prediction

Stel je voor dat je een detective bent die een mysterie probeert op te lossen, maar in plaats van vingerafdrukken kijk je naar getallen. Dit verhaal speelt zich af in de wereld van machine learning, waar computers worden onderwezen om voorspellingen te doen door enorme bergen historische data te bestuderen. Denk aan een student die voor een examen studeert door duizenden oude toetsen te lezen. Een specifiek type examen dat deze computers maken, is kredietscore: beslissen of iemand een lening zal terugbetalen of dat ze zullen wanbetalen (niet meer kunnen betalen).

Maar hier komt het lastige deel bij: soms is de data die de computer bestudeert rommelig. Miss misschien is een label fout, of raakt de computer in de war. Om dit op te lossen, gebruiken wetenschappers vaak een "betrouwbaarheidsscore". Als de computer erg onzeker is over een voorspelling, kan hij zeggen: "Ik vertrouw deze datapunt niet; laten we deze weggooien." Dit wordt data cleaning genoemd. Een ander groot concept in dit veld is eerlijkheid. We willen dat de computer iedereen gelijk behandelt, ongeacht hoeveel geld ze verdienen. Een belangrijke regel voor eerlijkheid heet equal opportunity (gelijke kansen), wat simpelweg betekent: als iemand daadwerkelijk niet kan terugbetalen, moet de computer even goed in staat zijn om die wanbetaling te spotten, of die persoon nu rijk of arm is.

De grote vraag is: maakt de manier waarop de computer zijn eigen data "reinigt" per ongeluk de boel oneerlijk? En als we proberen gevoelige informatie (zoals inkomen) te verbergen voor de computer om hem te dwingen eerlijk te zijn, werkt dat dan echt? Dit artikel duikt in die vraag, waarbij gebruik wordt gemaakt van echte leningendata om te zien of de computer de data stiekem verkeerd weergeeft.

Het Verhaal van het Papier: Wanneer het "Reinigen" van de Data het Vuiler Maakt

De onderzoeker begon door te kijken naar een enorme dataset van meer dan 1,3 miljoen leningen van een bedrijf genaamd LendingClub. De onderzoeker merkte iets vreemds op toen de standaardmethode van de "betrouwbaarheidsscore" werd gebruikt om de data te reinigen. De computer besloot dat sommige leningaanvragen "ruisachtig" of onbetrouwbaar waren en markeerde ze voor verwijdering.

Hier is de wending: de computer was veel eerder geneigd om "ruisachtige" labels van hoogopgeleide/rijke leners die daadwerkelijk wanbetalers waren, weg te gooien dan van laagopgeleide/arme leners die wanbetalers waren. Het is alsof een docent een stapel toetsen nakijkt en besluit dat de foute antwoorden van de rijke kinderen slechts "foutjes" zijn die genegeerd moeten worden, terwijl de foute antwoorden van de arme kinderen worden behandst als echt bewijs. In cijfers uitgedrukt: de computer gooide 2,40% van de hoogopgeleide wanbetalers weg als ruis, maar slechts 0,38% van de laagopgeleide wanbetalers. Dat is een enorm verschil in hoe de data werd behandeld.

Maar de echte verrassing kwam toen ze niet alleen naar het "reinigen" keken, maar naar de werkelijke voorspellingen. Ze gebruikten de equal opportunity-regel om te controleren: "Als iemand daadwerkelijk wanbetaler was, hoe vaak heeft de computer diegene dan betrapt?"

De resultaten waren schokkend. De computer was erg goed in het vangen van laagopgeleide wanbetalers (hij vond 72,84% van hen). Maar voor rijke leners die daadwerkelijk wanbetalers waren, ving de computer slechts 55,98% van hen. Dat is een verschil van 16,86 procentpunt. De computer was in feite blind voor rijke mensen die niet konden terugbetalen, terwijl hij zeer scherp was op arme mensen.

Het Detectiewerk: Waarom Gebeurde Dit?

De onderzoeker stopte niet bij het vinden van het gat; de onderzoeker wilde weten waarom. Er werd een slimme truc gebruikt genaamd sequential feature blinding. Stel je een spelletje "20 vragen" voor waarbij je een geheim probeert te raden. Eerst laat je de computer alles zien. Daarna bedek je de ogen van de computer zodat hij het inkomen van de lener niet kan zien. Daarna bedek je de ogen opnieuw, zodat hij zelfs de rentevoet niet meer kan zien.

Dit is wat zij ontdekten door de lagen af te pellen:

1. De Directe Inkomen-aanwijzing: Wanneer ze simpelweg het getal "jaarlijks inkomen" voor de computer verborgen, kromp het gat van 16,86 punten naar 7,49 punten. Dit betekent dat de computer het inkomenscijfer direct gebruikte om te beslissen wie een risico vormde.
2. De Upstream-valstrik (Rentetarieven): Maar zelfs nadat het inkomen was verborgen, verdween het gat niet. De onderzoeker realiseerde zich dat de computer de rentevoet als een geheime code gebruikte. Banken geven lagere rentetarieven aan mensen die ze als veilig beschouwen. Omdat rijke mensen meestal lagere rentes krijgen, leerde de computer: "Lage rente = Veilig persoon." Dus, wanneer een rijk persoon daadwerkelijk wanbetaler werd, negeerde de computer hen omdat de rentevoet de computer vertelde dat ze veilig waren. Toen de onderzoeker ook de rentevoet verborg, kromp het gat verder, naar ongeveer 3,55 punten.
3. De Residuele Geest: Zelfs nadat zowel het inkomen als de rentevoet werden verborgen, bleef er een klein maar reëel gat over (ongeveer 2,56 tot 3,55 punten). De computer vond nog steeds een manier om het inkomen te raden. Hoe? Door te kijken naar de leningsbedrag en woningbezit. Rijke mensen lenen meestal grotere bedragen en bezitten huizen met hypotheken. De computer gebruikte deze "proxies" (plaatsvervangende aanwijzingen) om het beeld van wie rijk was, te reconstruitseren, ook al mocht de computer het inkomenscijfer niet zien.

De Grote Les

Het artikel laat zien dat simpelweg tegen een computer zeggen "Kijk niet naar inkomen" de zaak niet eerlijker maakt. De computer is als een zeer slimme detective die het geheim kan ontrafelen door alleen naar andere aanwijzingen te kijken, zoals de omvang van de lening of de rentevoet die de bank aanbood.

De auteur ontdekte dat institutionele bias (hoe banken rentetarieven bepalen) en gedragsmatige proxies (hoeveel geld mensen lenen) samenwerken om de waarheid te verbergen. Zelfs als je de data probeert schoon te maken, reconstrueert de computer de oneerlijkheid met behulp van deze andere signalen.

Dus als een bank echt eerlijk wil zijn, kunnen ze niet alleen de "inkomen"-kolom uit hun spreadsheet verwijderen. Ze moeten begrijpen dat het hele systeem — van de rentevoet die een menselijke kredietbeoordelaar instelt tot het bedrag dat een persoon leent — met elkaar verbonden is. Als ze niet de hele keten repareren, zal de computer blijven vinden hoe hij rijke en arme leners verschillend kan behandelen, zelfs als hij wordt verteld dat hij dat niet mag doen.