Selective Prediction Reduces the Negative Effects of Automation Bias Overall but Increases False Negatives
Hoewel selectieve voorspelling clinici helpt om de algehele beslissingsnauwkeurigheid te herstellen van de negatieve effecten van automatiseringbias door onbetrouwbare AI-outputs te verbergen, verhoogt het onbedoeld het aantal fout-negatieven doordat clinici onderdiagnosticeren en onderbehandelen wanneer de AI zich onthoudt.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je door een dicht bos loopt en je hebt een hoogtechnologische gids ingehuurd om je te helpen het pad te vinden. Deze gids heeft een superkracht: hij kan gevaren en afkortingen opsporen die jij misschien over het hoofd ziet. Maar hier is de crux – de gids is niet perfect. Soms wijst hij je vol vertrouwen richting een klif, of raakt hij zo in de war dat hij helemaal ophoudt met praten. In de wereld van de wetenschap is dit het verhaal van Kunstmatige Intelligentie (AI) die mensen helpt beslissingen te nemen. We noemen het probleem van het blindelings vertrouwen op een verkeerde gids "automatisering-bias" (automation bias). Om dit op te lossen, bedachten wetenschappers een slim idee genaamd "selectieve voorspelling". Het is alsof je tegen je gids zegt: "Als je niet 100% zeker bent, wees dan gewoon stil en laat mij het uitzoeken." De hoop was dat door de slechte gokken van de gids te verbergen, mensen veiliger en slimmer zouden zijn. Maar helpt stil zijn werkelijk, of zorgt het er juist voor dat de mens zich verloren en onzeker voelt? Dit is de grote vraag die onderzoekers aan de Universiteit van Michigan en New York University wilden beantwoorden.
Het team besloot dit idee te testen in een omgeving met hoge inzet: een ziekenhuis. Ze brachten 259 echte artsen en medische professionals samen om een spel te spelen. Ze gaven hen 45 verschillende patiëntverhalen (genaamd vignettes) over mensen die moeite hadden met ademhalen. De artsen moesten achterhalen of de patiënten longontsteking, hartfalen of een longziekte genaamd COPD hadden, en vervolgens beslissen over het juiste medicijn. De onderzoekers stelden drie verschillende scenario's op. Ten eerste werkten de artsen alleen. Ten tweede werkten ze met een AI die voor elke vraag een antwoord gaf, zelfs als de AI het fout had. Derde werkten ze met een AI die "selectieve voorspelling" gebruikte – wat betekende dat de AI soms zou zeggen: "Ik weet het niet zeker, jij beslist," en haar antwoord voor specifieke ziekten verborg.
De resultaten waren een verrassing. Wanneer de AI gewoon foute antwoorden eruit brulde, maakten de artsen meer fouten, wat bewees dat slechte AI zaken definitief in de war kan schoppen. Maar wanneer de AI selectieve voorspelling gebruikte en bij de lastige onderdelen stil bleef, hielp dit de artsen wel om sommige fouten te vermijden. Het loste echter niet alles op. Sterker nog, wanneer de AI zei: "Ik laat het aan u over," begonnen de artsen een ander soort fout te maken: ze stopten met het behandelen van patiënten die daadwerkelijk hulp nodig hadden. Ze werden te voorzichtig. Het is alsof de stilte van de gids de wandelaars deed denken: "Als de gids geen gevaar aanwijst, dan is er misschien ook geen," waardoor ze stopten met zoeken naar dat gevaar.
De studie vond dat dit "stille AI"-effect vooral sterk was bij artsen die nog nooit eerder AI-tools hadden gebruikt. Deze artsen waren eerder geneigd om patiënten onder te behandelen wanneer de AI een stap terug deed. De onderzoekers suggereren dat het horen van de AI die zegt "ik weet het niet" artsen het gevoel kan geven dat de aandoening niet belangrijk is, of het kan de hele taak simpelweg moeilijker en verwarrender maken. Hoewel selectieve voorspelling een geweldig vangnet is om te voorkomen dat artsen slecht advies opvolgen, suggereert dit artikel dat het geen toverstaf is. Het verandert de manier waarop artsen denken, waardoor ze soms de problemen missen die ze juist moeten oplossen. De auteurs concluderen dat we niet zomaar kunnen aannemen dat het stil blijven van AI altijd een goede zaak is; we moeten voorzichtig zijn met hoe het menselijk gedrag verandert, want in de geneeskunde kan het missen van een diagnose net zo gevaarlijk zijn als het stellen van een verkeerde diagnose.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.