Implementing Causal Perception: Competing SCMs and Situated Fairness

Stel je voor dat je een mysterie probeert op te lossen, zoals uitzoeken waarom een plant in je kamer verwelkt. Je zou naar het zonlicht, het water of de grond kunnen kijken. In de wereld van Kunstmatige Intelligentie (AI) gebruiken wetenschappers speciale kaarten genaamd "Structural Causal Models" om precies hetzelfde te doen. Deze kaarten zijn als stroomdiagrammen die laten zien hoe verschillende dingen ervoor zorgen dat andere dingen gebeuren. Bijvoorbeeld, een kaart kan laten zien dat een "laag inkomen" een "slechte kredietscore" veroorzaakt. Maar hier komt de wending: twee verschillende mensen (of AI-programma's) kunnen naar precies dezelfde plant kijken en twee totaal verschillende kaarten tekenen. De één denkt dat de grond het probleem is, terwijl de ander denkt dat het zonlicht het is. Dit is niet zomaar een fout; het is een verschil in hoe zij de wereld zien. Dit idee is cruciaal omdat wanneer we AI vragen om eerlijke beslissingen te nemen—zoals wie een lening krijgt of een baan—die beslissingen volledig afhangen van welke kaart de AI gebruikt. Als de kaarten van mening verschillen, kan het idee van "eerlijkheid" veranderen afhankelijk van wie er naar kijkt.

Dit artikel, geschreven door José M. Álvarez, zet een grote stap van theorie naar de praktijk door het eerste computerprogramma te bouwen dat deze "botsende kaarten" daadwerkelijk kan meten. De auteur noemt dit fenomeen "causale perceptie". Denk aan twee vrienden die naar een film kijken. Zelfs als ze dezelfde scènes zien, kunnen ze de motivaties van de personages anders interpreteren op basis van hun eigen levenservaringen. In de AI-wereld betekent dit dat twee agenten (of "ontvangers") naar dezelfde groep leningaanvragers kunnen kijken en twee verschillende verhalen zien over waarom sommige mensen worden afgewezen. Het artikel test dit met een echte dataset van 1.000 leningaanvragers uit Duitsland. De onderzoekers creëerden twee digitale "kredietbeambten" die het over de meeste zaken eens waren, maar van mening verschilden over één specifieke regel: of het geslacht van een persoon direct invloed heeft op hun kredietrisico.

De resultaten waren oogopenend. Hoewel de twee ambtenaren alleen van mening verschilden over één enkele verbinding in hun mentale kaarten, eindigden ze met een heel ander beeld van de wereld. Wanneer de onderzoekers maten hoe ver hun visies uit elkaar lagen, ontdekten ze dat de twee ambtenaren het over ongeveer 21,7% van de individuele leningbeslissingen oneens waren. Het artikel benadrukt ook dat dergelijke meningsverschillen kunnen leiden tot zeer verschillende beoordelingen van eerlijkheid; in een hypothetisch scenario beschreven in de introductie, konden twee ontvangers die verschilden over één enkele causale verbinding respectievelijk een demografische pariteit-kloof bereiken van -0,594 versus -0,170. Het artikel ontdekte ook dat het antwoord op de vraag "zien zij de dingen anders?" volledig afhangt van welke meetinstrument je gebruikt. Als je één type liniaal gebruikt (een afstandmetriek genaamd Wasserstein-2), lijken ze bijna hetzelfde. Maar als je een andere liniaal gebruikt (zoals Kullback-Leibler divergentie of Total Variation), lijkt de kloof enorm.

Uiteindelijk laat het artikel zien dat bias niet slechts een vaststaand feit is dat in de lucht zweeft; het is "gesitueerd", wat betekent dat het afhangt van de specifieke wereldvisie van de persoon of de AI die het oordeel velt. De auteur betoogt dat we deze concurrerende wereldbeelens niet simpelweg kunnen negeren of iedereen kunnen dwingen om het eens te worden over één "juiste" kaart. In plaats daarvan moeten we erkennen dat in een wereld met meerdere experts, verschillende mensen eerlijkheid werkelijk verschillend zullen ervaren, en onze instrumenten moeten klaar zijn om die onenigheid te hanteren in plaats van te doen alsof deze niet bestaat.