Counterfactual Explanations and the Scope of Contestability
Dit artikel betoogt dat contrafactuele verklaringen de handelingsbekwaamheid kunnen herstellen bij geautomatiseerde besluitvorming door betwistbaarheid te definiëren als het recht om de intrekking van een beslissing te eisen, door te analyseren hoe dergelijke verklaringen helpen bij het detecteren van algoritmische fouten, en door een multi-shot query-aanpak voor te stellen om hun effectiviteit te vergroten.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de moderne wereld nemen computers steeds vaker de zware beslissingen die ons leven vormgeven. Ze bepalen wie een lening krijgt, wie wordt aangenomen voor een baan en wie medische zorg ontvangt. Deze systemen werken vaak als "black boxes", wat betekent dat hun interne logica zo complex is dat zelfs de mensen die hen gebouwd hebben, niet gemakkelijk kunnen uitleggen hoe een specieke keuze tot stand is gekomen. Deze ondoorzichtigheid creëert een probleem voor de menselijke handelingsbekwaamheid: als we niet begrijpen waarom een beslissing is genomen, kunnen we deze niet effectief aanvechten als we geloven dat deze onjuist is. Om dit op te lossen, hebben veel experts een "recht op uitleg" voorgesteld, met het idee dat wanneer een algoritme ons afwijst, het ons moet vertellen waarom. Een populaire methode om deze uitleg te geven is de "contrafactische verklaring". Dit is een eenvoudige, hypothetische stelling die een persoon vertelt welke kleine verandering tot een andere uitkomst zou hebben geleid, zoals: "Als uw inkomen vijf duizend dollar hoger was geweest, zou uw lening zijn goedgekeurd." Hoewel dit behulpzaam klinkt, stelt een nieuw artikel van filosofen en computerwetenschappers Alice C.W. Huang en Thomas Grote een kritische vraag: geeft dit soort uitleg mensen daadwerkelijk de macht om terug te vechten tegen onrechtvaardige geautomatiseerde beslissingen?
De auteurs beginnen met het precies definiëren van wat het betekent om een beslissing aan te vechten. Ze maken onderscheid tussen drie verschillende doelen die uitleg kan dienen. De eerste is rechtvaardiging, wat gaat over het bewijzen dat het computersysteem als geheel betrouwbaar en eerlijk is voor iedereen. De tweede is recourse (herstelmogelijkheid), wat toekomstgericht is; het vertelt een persoon welke stappen zij in de toekomst kunnen ondernemen om een beter resultaat te krijgen, zoals meer werkervaring opdoen om een cv te verbeteren. De derde, en de focus van dit artikel, is contestability (betwistbaarheid). Dit is achteruitkijkend. Het is het vermogen van een persoon om naar een beslissing te kijken die al heeft plaatsgevonden, een fout te vinden en te eisen dat de beslissing wordt ingetrokken. De onderzoekers definiëren betwistbaarheid nauw: het vereist het verstrekken van voldoende informatie zodat een persoon kan bewijzen dat een specifieke beslissing waarschijnlijk een fout was, waardoor zij een solide basis hebben om een herziening te eisen.
Wanneer de auteurs testten of contrafactische verklaringen goed zijn in het mogelijk maken van dit soort betwistbaarheid, waren de resultaten verrassend pessimistisch. Ze onderzochten verschillende veelvoorkomende manieren waarop geautomatiseerde beslissingen fout gaan. In gevallen van discriminatie kan een contrafactische verklaring laten zien dat een persoon zou zijn aangenomen als zij een ander ras of geslacht hadden gehad. Hoewel dit als sterk bewijs lijkt, vonden de onderzoekers een grote hindernis genaamd het "Rashomon-probleem". Dit is het idee dat er zelden slechts één enkele reden voor een beslissing is. Een computer kan zeggen dat een lening werd geweigerd vanwege een laag inkomen, maar het kan ook waar zijn dat de lening zou zijn goedgekeurd als de aanvrager een andere werkgeschiedenis had. Omdat er veel verschillende manieren zijn om de invoer te veranderen om tot een ander resultaat te komen, zou het computersysteem simpelweg de uitleg kunnen kiezen die het minst schadelijk is voor de instelling, waarbij de uitleg die discriminatie bewijst, wordt genegeerd. Zonder een manier om het systeem te dwingen alle mogelijke redenen te tonen, zal een persoon de specifieke contrafactische verklaring die bewijst dat zij onrechtvaardig zijn behandeld, misschien nooit te zien krijgen.
Het probleem wordt erger wanneer de fout niet gaat over eerlijkheid, maar over het feit dat de computer een specifieke situatie van een persoon verkeerd begrijpt. Stel je een gezondheidsmodel voor dat voorspelt dat een persoon een risico loopt op vermoeidheid omdat diegene veganist is, uitgaande van de aanname dat het dieet een tekort aan ijzer heeft. Als die persoon echter een zeldzame bloedziekte heeft die zorgt voor een ijzeroverschot, dan is de logica van het model fout voor die persoon, zelfs als het voor de meeste mensen wel klopt. Een contrafactische verklaring zou simpelweg kunnen zeggen: "Als u geen veganist was, zou u geen risico lopen." Dit helpt de persoon niet om te bewijzen dat zij een uitzondering op de regel zijn; het herhaalt alleen de gebrekkige aanname van het model. Om dit te kunnen betwisten, heeft de persoon diepgaande medische kennis nodig om uit te leggen waarom de algemene regel van het model niet van toepassing is op hun specifieke biologie. Op dezelfde manier, als een beslissing fout is vanwege een eenvoudige administratieve fout, zoals een bank die het verkeerde bedrag voor de schulden van een persoon heeft staan, is een contrafactische verklaring vaak nutteloos. Het systeem kan zeggen: "Als uw schuld lager was, zou u worden goedgekeurd," wat waar is maar overduidelijk. Het vertelt de persoon niet dat de gegevens van de bank simpelweg onjuist zijn, wat de werkelijke reden is die zij moeten corrigeren.
De onderzoekers concluderen dat hoewel contrafactische verklaringen uitstekend zijn om mensen te helpen bij het plannen voor de toekomst, ze vaak te zwak zijn om mensen te helpen bij het bestrijden van fouten uit het verleden. De informatie die nodig is om een fout te bewijzen, is vaak te complex, te specifiek voor het individu, of te gemakkelijk te verbergen door het vermogen van het systeem om te kiezen welke uitleg getoond wordt. Om dit op te lossen, stellen de auteurs niet voor om het idee van uitleg te verlaten, maar om de manier waarop deze worden verstrekt te veranderen. Ze stellen een "multi-shot" benadering voor. In plaats van een persoon één kant-en-klaar antwoord te geven, zou het systeem de persoon in staat stellen om meerdere vragen aan de computer te stellen. Een persoon zou verschillende ideeën kunnen testen, zoals: "Wat als ik meer ervaring had?" of "Wat als ik in een andere buurt woonde?". Dit verandert de gebruiker van een passieve ontvanger van informatie in een actieve onderzoeker.
De auteurs waarschuwen echter dat dit alleen niet genoeg is. De meeste mensen weten niet welke vragen ze moeten stellen of hoe ze de antwoorden moeten interpreteren, vooral wanneer zij over een gebrek aan gespecialiseerde kennis beschikken. Om dit op te lossen, suggereren zij dat mensen ondersteund moeten worden door casemanagers — experts die de juridische en technische details van het systeem begrijpen. Deze helpers zouden individuen kunnen begeleiden bij welke vragen ze moeten stellen en hoe ze de antwoorden kunnen gebruiken om een zaak op te bouwen. Het artikel betoogt dat zonder deze vorm van menselijke ondersteuning en het vermogen om meerdere vragen te stellen, de belofte om een algoritmische beslissing te kunnen aanvechten een lege belofte blijft. De technologie om deze uitleg te genereren bestaat, maar de huidige manier waarop ze worden gebruikt is onvoldoende om de werkelijke handelingsbekwaamheid te herstellen van de mensen die door geautomatiseerde beslissingen worden getroffen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.