Pediatric Autism Diagnosis Accuracy and Confidence: A Comparison of Experienced and Inexperienced Clinicians Making Decisions with and without AI Decision Support
Deze studie evalueert een op AI gebaseerde beslissingsondersteunende tool voor de diagnose van autisme bij kinderen en stelt vast dat hoewel het systeem bruikbaar is en het vertrouwen vergroot, het de nauwkeurigheid voor onervaren clinici alleen significant verbetert wanneer de AI correct is, wat het cruciale belang van AI-geletterdheidstraining benadrukt om overreliance en automatisering-bias te voorkomen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een arts bent die probeert te achterhalen of een kind een Autisme Spectrum Stoornis (ASS) heeft. Het is als het proberen op te lossen van een complexe puzzel waarbij de stukjes verspreid liggen over verschillende aantekeningen, e-mails en observaties van ouders. Soms is het beeld duidelijk; andere keren is het wazig, en zelfs ervaren artsen kunnen een stukje missen.
Om hiermee te helpen, hebben de onderzoekers een digitale assistent gebouwd genaamd ADIS (Autism Diagnostic Identification Software). Denk aan ADIS als een high-tech markeerstift die door de medische geschiedenis van een kind leest en specifieke gedragingen onderstreept die overeenkomen met het officiële "regelboek" (DSM-5) voor autisme. Het neemt de uiteindelijke beslissing niet; het wijst alleen de aanwijzingen aan en zegt: "Hé, kijk hier eens naar, dit kan belangrijk zijn."
De onderzoekers wilden zien hoe goed deze tool werkte wanneer deze werd gebruikt door twee verschillende groepen mensen:
- De Veteranen: Artsen die hun volledere medische opleiding hebben voltooid.
- De Trainees: Medische studenten of arts-assistenten die nog volop aan het leren zijn.
Ze zetten een test op waarbij deze artsen vier echte casussen beoordeelden. Voor twee casussen stond de markeerstift (ADIS) aan. Voor de andere twee moesten ze het alleen doen. Cruciaal was dat de onderzoekers ADIS geheim geprogrammeerd hadden om in sommige gevallen gelijk te hebben en in andere gevallen fout te zitten, puur om te zien hoe de artsen zouden reageren.
Dit is wat ze vonden, uitgelegd in eenvoudige termen:
1. De "Zelfvertroudensval"
Wanneer de markeerstift aan stond, voelden artsen zich zelfverzekerder in hun antwoorden. Het is alsoer je een GPS in een auto hebt; zelfs als je de route kent, voel je je zekerder van jezelf als de GPS aan het woord is.
- De vangst: Dit zelfvertrouwen kwam niet overeen met de realiteit. Artsen voelden zich net zo zeker wanneer de GPS een verkeerde afslag gaf als wanneer de GPS de juiste weg aangaf. Ze merkten niet dat het hulpmiddel een fout maakte.
2. De Trainees versus de Veteranen
De resultaten toonden een fascinerende splitsing tussen de twee groepen:
- De Trainees (onervaren): Zij waren als passagiers die blind vertrouwen op de GPS. Wanneer ADIS gelijk had, deden ze het geweldig. Maar wanneer ADIS fout zat, volgden ze het blindelings op, waardoor hun nauwkeurigheid naar nul daalde. Ze misten de ervaring om te zeggen: "Wacht eens even, de GPS zit fout; ik ken een kortere route."
- De Veteranen (ervaren): Zij waren sceptischer. Wanneer ADIS fout zat, negeerden ze het vaak en stelden ze de diagnose correct. Echter, wanneer ADIS gelijk had, negeerden ze het hulpmiddel soms en gingen ze naast het rechte pad omdat ze zo zelfverzekerd waren over hun eigen ervaring. Ze waren als een ervaren bestuurder die de achterwegen zo goed kent dat hij soms de GPS negeert, zelfs als deze correct is.
3. De "Black Box" versus de "Glass Box"
Meestal zijn AI-tools als black boxes: je stopt er data in, en er komt een resultaat uit, maar je hebt geen idee hoe het tot stand is gekomen.
ADIS is anders; het is meer een glass box. Het laat precies zien welke zinnen het heeft gemarkeerd en waarom. De onderzoekers dachten dat deze transparantie mensen zou weerhouden om het blindelings te vertrouwen.
- De verrassing: Ondanks dat ze konden zien hoe het hulpmiddel werkte, vielen de artsen nog steeds in de val van overmatig vertrouwen in het hulpmiddel (vooral de trainees) of overmatig vertrouwen in zichzelf (de veteranen). Het zien van het werk maakte hen niet automatisch slimmer in de vraag wanneer ze het hulpmiddel moesten vertrouwen.
4. Hoe ze erover praatten
Wanneer ze gevraagd werden hun beslissingen toe te lichten aan een specialist:
- Veteranen waren als officieren die een briefing geven: Ze gaven korte, krachtige rapporten met gebruik van officiële medische codes en jargon. Ze wisten precies wat ze eruit moesten filteren.
- Trainees waren als verhalenvertellers: Ze schreven veel langere, gedetailleerde beschrijvingen, inclusief elk klein detail, omdat ze nog niet zeker wisten wat belangrijk was.
De Kernboodschap
De studie concludeert dat deze digitale markeerstift gemakkelijk in gebruik is en dat mensen het prettig vinden. Het komt echter met een waarschuwing: Het werkt het beste wanneer de tool accuraat is, en het vereist dat de gebruiker weet hoe hij het moet bevragen.
Als je een trainee een hulpmiddel geeft dat fouten maakt, zullen ze de fout waarschijnlijk zonder nadenken volgen. Als je een veteraan een hulpmiddel geeft, kunnen ze het misschien negeren, zelfs als het nuttig is. De onderzoekers suggereren dat voordat deze tools worden uitgedeeld, artsen training nodig hebben in het gebruik van AI, en niet alleen in het gebruik van de software zelf. Ze moeten leren wanneer ze de "GPS" moeten vertrouwen en wanneer ze hun eigen kaart moeten vertrouwen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.