"Trust Junk" Leads to Unjustified Support for Highly Discriminatory Predictive Models
Dit artikel toont via een crowdsourced studie aan dat het opnemen van accurate maar irrelevante gegevens in visualisaties voor uitlegbare AI onterecht vertrouwen en positieve percepties van sterk discriminerende modellen kan bevorderen, wat onderstreept dat ontwerpers van XAI hun visualisaties kritisch moeten evalueren op de retorische impact ervan.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je door een museum van de toekomst loopt, waar robots en slimme computers grote beslissingen over je leven nemen—zoals of je een baan krijgt, een lening krijgt of een plek op de rechtenfaculteit. Dit veld wordt Explainable AI (XAI) genoemd. Het doel van XAI is om eerlijk te zijn: het probeert ons te laten zien waarom een computer een keuze heeft gemaakt, een beetje zoals een leraar die zijn wiskundewerking op een whiteboard laat zien zodat je kunt zien of hij het antwoord goed heeft. Maar hier komt het lastige deel bij: soms helpt de "uitleg" ons niet echt om de wiskunde te begrijpen. In plaats daarvan werkt het als een goocheltruc. Net zoals een goochelaar een flitsende cape en een harde trommel kan gebruiken om je af te leiden terwijl hij een kaart wisselt, kan een computer ons een reeks chique grafieken en cijfers laten zien om ons te laten geloven, zelfs als de computer een verschrikkelijke of oneerlijke beslissing neemt. Dit artikel stelt een angstaanjagende vraag: als we genoeg mooie, ingewikkelde en "wetenschappelijk uitziende" grafieken zien, zullen we dan stoppen met vragen of de robot wel eerlijk is en het gewoon gaan geloven?
De onderzoekers, een team van Northeastern University, besloten dit idee te testen met een klein experiment. Ze bouwden een computermodel dat opzettelijk oneerlijk was. Stel je een toelatingsfunctionaris voor van een rechtenfaculteit die stiekem racistisch en seksistisch is: deze computer was geprogrammeerd om elke zwarte mannelijke kandidaat af te wijzen en de rest toe te laten. Het was een vreselijk, bevooroordeeld model. Maar hier komt de twist: omdat er veel meer niet-zwarte kandidaten in de testgroep waren, kon de computer nog steeds beweren dat hij "93,7% accuraat" was, simpelweg door bijna voor iedereen "geslaagd" te gokken. Het was een leugen verpakt in een statistiek.
Het team liet de beslissingen van deze oneerlijke computer aan echte mensen zien via internet. Ze verdeelden de mensen in drie groepen. De eerste groep zag een eenvoudige uitleg: "Hier is de kandidaat, en hier is de beslissing van de computer." De tweede groep zag diezelfde eenvoudige uitleg, maar met een paar extra grafieken die lieten zien hoe accuraat de computer was. De derde groep, de "Alles"-groep, kreeg de eenvoudige uitleg plus een enorme hoeveelheid extra data: histogrammen, profielen van soortgelijke studenten en chique grafieken die er super slim uitzagen, maar die je niet echt vertelden waarom de computer racistisch was.
De resultaten waren een beetje als een goocheltruc die mislukt. De mensen die de meeste data zagen—de "Alles"-groep—vertrouwden de oneerlijke computer het meest. Ze stemden vaker in met de oneerlijke beslissingen van de computer dan de andere groepen. Nog erger nog, ze merkten minder snel op dat de computer oneerlijk was. Het is alsof de extra grafieken fungeerden als een "verdovingsmiddel", waardoor mensen zo overweldigd werden door al de "wetenschap" dat ze stopten met controleren of het antwoord wel logisch was. De onderzoekers ontdekten dat wanneer mensen meer "trust junk" zagen—wat een chique term is voor data die er nuttig uitziet maar eigenlijk irrelevant is—ze het oneerlijke model als eerlijker en betrouwbaarder beoordeelden.
De studie suggereert dat we heel voorzichtig moeten zijn. Alleen omdat een computer ons een prachtig, complex dashboard laat zien met veel cijfers, betekent niet dat hij de waarheid spreekt. Sterker nog, hoe meer "junk" data ze ons laten zien, hoe groter de kans dat we een kapot systeem blindelings vertrouwen. De auteurs waarschuwen dat ontwerpers van deze systemen moeten stoppen met proberen ons te imponeren met hoeveel data ze hebben, en zich in plaats daarvan moeten zorgen over de vraag of die data ons daadwerkelijk helpt de waarheid te zien. Als we de mooie grafieken de kans blijven geven om ons af te leiden, eindigen we er misschien mee dat we oneerlijke robots beslissingen over ons leven laten nemen zonder dat we het zelfs maar doorhebben.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.