Challenges in Explaining Pretrained Clinical Text Classifiers
Dit artikel toont aan dat gangbare post-hoc verklarmethoden zoals LIME en SHAP geen betrouwbare inzichten bieden voor klinische tekstclassificatoren door hun neiging om niet-informatieve tokens te overdrijven, onstabiele toewijzingen te produceren en hoge betrouwbaarheidsvoorspellingen te genereren voor incoherente invoer, waarmee de dringende behoefte aan klinisch zinvolle en robuuste verklaringstrategieën wordt onderstreept.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een superintelligente robotarts hebt die duizenden ziekenhuisrapporten leest om te voorspellen hoe lang een patiënt in het ziekenhuis zal blijven. Het is zeer goed in het voorspellen, maar het is een 'black box'—je kunt niet zien waarom het die voorspelling deed. Om dit op te lossen, gebruiken onderzoekers hulpmiddelen zoals LIME en SHAP. Denk aan deze hulpmiddelen als 'markeerstiften' die proberen je te laten zien welke woorden in het medische verslag het belangrijkst waren voor de beslissing van de robot.
Dit artikel is als een detectiveverhaal waarin de auteurs deze markeerstiften testen op echte ziekenhuisrapporten en ontdekken dat ze eigenlijk behoorlijk defect zijn. Hier is wat ze vonden, eenvoudig uitgelegd:
1. Het "Eén-woord-Wonder"-probleem
De claim: De markeerstiften wijzen vaak naar een enorme lijst met "belangrijke" woorden, maar in werkelijkheid maken alleen de aller eerste een of twee woorden echt uit. De rest is gewoon ruis.
De analogie: Stel je voor dat je een vriend vraagt: "Waarom heb je deze auto gekocht?" en hij noemt 20 redenen: "Het is rood, het heeft vier wielen, het heeft een stuur, het heeft banden, het heeft een radio..." maar de enige echte reden is dat "het rood is". Het markeerstift-hulpmiddel gedraagt zich als een slechte vriend die alle 20 redenen even belangrijk markeert, waardoor je denkt dat de banden en de radio cruciaal waren, terwijl dat niet zo was. De onderzoekers ontdekten dat als je het topwoord verwijdert, het vertrouwen van de robot instort, maar het verwijderen van de volgende 19 "belangrijke" woorden niets verandert.
2. Het markeren van de "opvulling"
De claim: De hulpmiddelen worden vaak afgeleid door saaie, onbelangrijke woorden (zoals "de", "en", of "jouw") of willekeurige symbolen, in plaats van zich te richten op de daadwerkelijke medische termen (zoals "nier" of "pijn").
De analogie: Het is alsof een leraar een essay van een student over een hartaanval corrigeert. In plaats van de woorden "hart", "aanval" of "borstpijn" te markeren, raakt de markeerstift in de ban van de woorden "de", "een" en "is". De onderzoekers ontdekten dat de hulpmiddelen bezeten waren van deze "opvul"-woorden omdat ze vaak voorkomen, waardoor ze het daadwerkelijke medische verhaal volledig misten.
3. Het missen van de "woordgroep"-puzzel
De claim: Medische concepten komen vaak voor in groepen woorden (zoals "chronische nierziekte"), maar de hulpmiddelen kijken naar woorden één voor één.
De analogie: Stel je voor dat je probeert een zin te begrijpen door naar individuele puzzelstukjes te kijken die verspreid liggen op de vloer. Het hulpmiddel markeert misschien het stukje dat "nier" zegt en het stukje dat "ziekte" zegt, maar het ziet niet dat ze bij elkaar horen om het concept "nierziekte" te vormen. Het behandelt ze als aparte, geïsoleerde aanwijzingen in plaats van als één betekenisvol idee.
4. De "onzin"-valstrik
De claim: De hulpmiddelen testen de robot door de tekst te door elkaar te halen (woorden willekeurig te verwijderen) om te zien hoe de robot reageert. De onderzoekers ontdekten dat zelfs wanneer ze het medische verslag in onbegrijpelijke nonsens veranderden, de robot nog steeds een zeer zelfverzekerd antwoord gaf, en het markeerstift-hulpmittel probeerde het toch uit te leggen.
De analogie: Stel je voor dat je een mens een zin laat zien die zegt: "De kat zat op het tapijt." Vervolgens door elkaar haal je het tot: "Kat het tapijt op zat de." Een mens zou zeggen: "Dat heeft geen zin." Maar de robot zegt nog steeds zelfverzekerd: "Dit is een lang ziekenhuisverblijf!" en het markeerstift-hulpmiddel probeert er een logische reden voor te vinden. Het hulpmiddel is als een rondleidinggids die probeert een kaart uit te leggen die in confetti is gescheurd; het blijft naar dingen wijzen, zelfs al is de kaart kapot.
De conclusie
Het artikel concludeert dat deze huidige "markeerstift"-hulpmiddelen nog niet klaar zijn voor de ziekenhuiszaal. Ze zijn te makkelijk te misleiden door onzin, ze richten zich op de verkeerde woorden, en ze kunnen niet omgaan met de complexiteit van medische taal.
De auteurs betogen dat we, om AI betrouwbaar te maken in de gezondheidszorg, nieuwe hulpmiddelen nodig hebben die woordgroepen en medische concepten begrijpen in plaats van alleen losse woorden, en hulpmiddelen die niet in de war raken wanneer de tekst rommelig of gebroken is. Tot die tijd kunnen we het vertrouwen in de uitleg van de robotarts over zijn eigen beslissingen niet volledig hebben.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.