In defence of post-hoc explanations in medical AI
Dit artikel verdedigt de waarde van post-hoc verklaringen in medische AI door te betogen dat zij, ondanks het feit dat ze niet de exacte interne redenering van black box-systemen repliceren, toch een nuttige strategie blijven voor het verbeteren van functioneel begrip, het vergroten van de nauwkeurigheid van het klinisch-AI-team en het ondersteunen van besluitvormingsrechtvaardiging.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
De Grote Visie: Het Mysterie van de "Black Box"
Stel je een arts voor die een superintelligent computerprogramma gebruikt om een patiënt te helpen diagnosticeren. Dit programma is als een Black Box: je stopt een röntgenfoto aan de ene kant naar binnen, en aan de andere kant komt er een diagnose uit, maar niemand weet precies hoe de computer die beslissing binnenin heeft genomen. Het is te complex, zoals een enorme, warrige knoop van wol waar geen mens de draad uit kan trekken.
Omdat artsen niet in de box kunnen kijken, maken ze zich zorgen: Klopt het wel? Is het veilig? Waarom zei het dit?
Om dit op te lossen, hebben wetenschappers "post-hoc verklaringen" bedacht. Zie deze als een gids voor de Black Box. De gids woont niet ín de box; hij staat er buiten, kijdt naar wat de box heeft gedaan, en tekent vervolgens een kaart of houdt een toespraak om te proberen uit te leggen waarom de box voor die keuze heeft gekozen.
De Kritiek: "De Gids Liegt"
Onlangs hebben critici gezegd dat deze gidsen nutteloos zijn. Hun argument is als volgt:
- Het Probleem: De gids (de verklaring) heeft niet echt gezien wat er binnen in de box gebeurde. Hij is slechts aan het gissen of aan het benaderen.
- De Analogie: Stel je een goochelaar voor die een konijn uit een hoed tovert. Een criticus zegt: "Jouw 'uitleg' over hoe het konijn daar terechtkwam, is gewoon een verzonnen verhaal. Je hebt de echte goocheltruc niet gezien, dus je verhaal is nep."
- De Angst: Critici vrezen dat als artsen op deze verzonnen verhalen vertrouwen, ze te veel op de computer gaan vertrouwen, fouten missen of door de vooroordelen (biases) van de computer worden misleid. Ze vinden dat deze verklaringen "ijzer met een glimmend laagje" zijn—glanzend maar waardeloos.
De Verdediging van de Auteurs: "De Kaart hoeft niet het Gebied te zijn"
De auteurs van dit artikel zeggen: "Wacht even! Zelfs als de gids niet het exacte verhaal vertelt over de goocheltruc, is de kaart nog steeds ontzettend nuttig."
Dit zijn hun belangrijkste argumenten, vereenvoudigd:
1. Het Argument van "Functioneel Begrip"
Je hoeft niet precies te weten uit welke chemische samenstelling een automotor bestaat om een auto veilig te kunnen besturen. Je moet alleen weten dat als je het gaspedaal indrukt, de auto gaat rijden, en als je het stuur draait, de auto afbuigt.
- De Bewering van het Papier: Zelfs als de verklaring geen perfecte kopie is van het "brein" van de computer, helpt het artsen om te begrijpen hoe het systeem zich gedraagt. Het helpt hen te voorspellen: "Als ik deze invoer verander, zal de uitvoer waarschijnlijk op die manier veranderen." Dit is voldoende om het systeem bruikbaar te maken, zelfs als de verklaring wetenschappelijk gezien niet 100% perfect is.
2. Het "Teamwerk"-argument
Stel je een arts en een AI voor die samenwerken.
- Het Bewijs: Het papier citeert een studie waarbij artsen die deze "gidsen" gebruikten (specifiek heatmaps die laten zien naar welke delen van een röntgenfoto de AI keek) 4,7% nauwkeuriger waren in het vinden van longproblemen dan artsen die alleen de AI gebruikten.
- Het Resultaat: De verklaring hielp de arts om te weten wanneer hij de AI moest vertrouwen en wanneer hij moest zeggen: "Wacht, dat ziet er niet goed uit, ik negeer dit." Het maakte het mens-AI-team slimmer.
3. Het "Rechtvaardigings"-argument
Soms moet een arts aan een patiënt uitleggen: "Waarom hebben we voor deze behandeling gekozen?"
- De Bewering van het Papier: Zelfs als de verklaring niet de echte reden is waarom de computer eraan dacht, kan het nog steeds een geldige reden zijn voor de arts om de uitslag te accepteren.
- De Analogie: Stel je een manager voor die een project afwijst omdat "we geen budget hebben." Dat is een geldige reden om het project af te wijzen, zelfs als de echte reden is dat de manager de projectleider niet mag. De reden "budget" is nog steeds een goede rechtvaardiging voor de beslissing. Op dezelfde manier geeft een post-hoc verklaring de arts een solide reden om tegen de patiënt te zeggen: "De AI heeft dit gebied gemarkeerd, en hier is het bewijs," wat helpt bij het rechtvaardigen van de medische beslissing.
4. De "Menselijke Fout"-realitycheck
Critici zeggen dat deze AI-verklaringen bevooroordeeld kunnen zijn of mensen overmoedig kunnen maken. De auteurs zijn het daarmee eens, maar wijzen erop: Mensen zijn ook bevooroordeeld en overmoedig.
- Het Punt: We vertrouwen menselijke experts nog steeds, ook al maken zij soms fouten of geven zij bevooroordeelde redenen. We moeten niet eisen dat AI-verklaringen perfect zijn terwijl we imperfecte menselijke verklaringen wel accepteren.
- De Oplossing: We kunnen deze risico's aanpakken. In plaats van bijvoorbeeld één verklaring te tonen, kunnen we er drie verschillende tonen, zodat de arts kritisch blijft nadenken. Of we kunnen de arts dwingen om 30 seconden te wachten voordat hij het advies van de AI accepteert, om te voorkomen dat hij automatisch op "ja" klikt.
De Conclusie: Geen "Silver Bullet", maar een Goed Instrument
De auteurs concluderen dat post-hoc verklaringen geen "silver bullet" (wondermiddel) zijn die alle problemen van Black Box AI in één keer oplossen. Ze kunnen niet alles in één klap fixen.
Echter, ze zijn een zeer nuttig instrument.
- Ze helpen artsen het gedrag van het systeem te begrijpen.
- Ze verbeteren de nauwkeurigheid van arts-AI-teams.
- Ze helpen artsen hun beslissingen te rechtvaardigen aan patiënten.
De Belangrijkste Boodschap:
Het oplossen van het "Black Box-probleem" in de geneeskunde gaat niet over het vinden van één perfecte verklaring. Het gaat over het gebruiken van een mix van hulpmiddelen: betere technologie, betere training voor artsen en zorgvuldig toezicht. Post-hoc verklaringen zijn een essentieel onderdeel van die gereedschapskist, ook al zijn ze niet perfect. We moeten ze niet weggooien alleen omdat ze geen "authentieke" kopieën zijn van het brein van de computer; ze zijn nog steeds de beste kaarten die we hebben om door het onbekende te navigeren.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.