Position: Explanation Stability Is a Property of the Model Method Pair, Not the Model

Stel je voor dat je probeert uit te zoeken waarom een robotkok besloot je toast te verbranden. Je vraagt de robot: "Waarom deed je dat?" en de robot wijst met een gloeiende vinger naar het brood. Maar hier komt de crux: de robot heeft twee verschillende manieren van wijzen. De ene manier, laten we het "De Laserpointer" noemen, markeert de exacte plek waar het brood het heetst was. De andere manier, "De Spotlight", schijnt een brede straal over de hele broodrooster en benadrukt het algemene gebied. Als je alleen de Laserpointer gebruikt, zou je kunnen denken dat de robot erg consistent is. Maar als je overschakelt naar de Spotlight, wijst de robot plotseling naar een heel ander deel van de keuken! Dit is de kern van een groeiend probleem in de wereld van Kunstmatige Intelligentie (AI), specifer in een veld genaamd Explainable AI (XAI).

In de wereld van AI bouwen we "modellen" (denk aan superintelligente digitale hersenen) die beslissingen nemen, zoals het opsporen van ziekten in röntgenfoto's. Maar deze modellen zijn vaak "black boxes" — we weten wat erin gaat en wat eruit komt, maar we weten niet altijd hoe ze tot een beslissing zijn gekomen. Om dit op te lossen, gebruiken wetenschappers "attribution methods" (toeschrijvingsmethoden). Dit zijn hulpmiddelen die werken als markeerstiften; ze laten ons zien welke delen van een afbeelding (zoals een donkere plek op een röntgenfoto) het belangrijkst waren voor de beslissing van de AI. Lange tijd namen onderzoekers aan dat als een AI-model stabiel en betrouwbaar was, zijn markeerstift altijd naar dezelfde plek zou wijzen, ongeacht welk hulpmiddel je gebruikt om te markeren. Deze paper betoogt dat deze aanname onjuist is. Het suggereert dat de "stabiliteit" van een uitleg niet een eigenschap is van de AI-hersenen zelf, maar een resultaat is van het specifieke markeerstof-hulpmiddel dat je toevallig gebruikt. Als je het hulpmiddel verandert, kan het verhaal dat de AI vertelt volledig veranderen, zelfs als het uiteindelijke antwoord van de AI hetzelfde blijft.

De Grote Markeerstift-wissel

De auteurs van deze paper, Kabilan Elangovan en Daniel Ting, besloten dit idee te testen met een gecontroleerd experiment met borst-röntgenfoto's. Ze namen drie beroemde AI-modellen — DenseNet201, ResNet50V2 en InceptionV3 — en leerden hen om vijf verschillende longziekten te herkennen, waaronder pneumonie en COVID-19. Ze trainden deze modellen totdat ze ongelooflijk goed waren in hun werk, met een succespercentage (AUC) van meer dan 99% voor alle drie. Met andere woorden, ze waren allemaal even briljant in het diagnosticeren van de ziekte.

Toen kwam de wending. De onderzoekers vroegen deze modellen om uit te leggen waarom ze hun diagnoses stelden met behulp van twee zeer verschillende markeerstift-hulpmiddelen: LayerCAM en Grad-CAM++.

• LayerCAM is als een high-definition microscoop. Het kijkt naar de afbeelding pixel voor pixel, waarbij fijne details en lokale texturen behouden blijven.
• Grad-CAM++ is meer als een groothoeklens. Het kijkt naar het grotere plaatje en gebruikt complexe wiskunde om verschillende delen van de afbeelding te wegen op basis van hun algemene belang.

De onderzoekers wilden zien: als ze de modellen lichtjes aanpasten (een proces dat "fine-tuning" wordt genoemd), zouden de markeerstiften dan stabiel blijven? Zouden ze blijven wijzen naar dezelfde longplekken?

De Plotwending: Het hangt van het hulpmiddel af

Hier wordt het verhaal wild. De resultaten lieten zien dat de "stabiliteit" van de uitleg volledig afhankelijk was van welk markeerstift-hulpmiddel je gebruikte. Het was alsof je drie verschillende mensen vroeg om een schilderij te beschrijven; de één zou zeggen: "Dit schilderij is stabiel omdat de kleuren niet veranderen," terwijl een ander zegt: "Nee, de vormen verschuiven wild." Beiden kunnen gelijk hebben, maar ze gebruiken verschillende regels.

• De InceptionV3 Verrassing: Wanneer de onderzoekers LayerCAM gebruikten (de microscoop), leek InceptionV3 het meest stabiele model. Het hield zijn focus strak, met een stabiliteitsscore (genaamd IoU) van 0,777. Het leek de perfecte, betrouwbare AI.

• De Grad-CAM++ Schok: Maar toen ze overschakelden naar Grad-CAM++ (de groothoeklens), viel InceptionV3 uit elkaar. De stabiliteitsscore daalde naar 0,643, een enorme degradatie van 17,3%. Plotseling was het model dat zo stabiel leek, eigenlijk heel wankel, simpelweg omdat het hulpmiddel veranderde.

• De DenseNet201 Held: Aan de andere kant was DenseNet201 de kalmte in de storm. Of ze nu de microscoop of de groothoeklens gebruikten, de stabiliteitsscore van dit model veranderde nauwelijks. Het ging van 0,699 naar 0,690, een minieme variatie van slechts 1,3%. Dit model leek een "methode-agnostisch" karakter te hebben, wat betekent dat de uitleg van het model consistent bleef, ongeacht het gebruikte hulpmiddel.

• De ResNet50V2 Strijd: ResNet50V2 had het zwaar. Het begon met een gemiddelde score van 0,519 onder LayerCAM, maar stortte in naar 0,383 onder Grad-CAM++. Het was onstabiel, ongeacht de methode, maar de daling was vooral dramatisch.

Het meest schokkende deel? Alle drie de modellen stelden de diagnose nog steeds in 99% van de gevallen correct. Hun "antwoorden" waren perfect, maar hun "redenen" verschoven als zandkastelen in de wind, afhankelijk van welk hulpmiddel je gebruikte om naar hen te kijken.

Waarom dit ertoe doet: De valstrik van "Illusie van Veiligheid"

De paper betoogt dat deze ontdekking een belangrijke regel doorbreekt in hoe we vertrouwen op AI. Momenteel, als een onderzoeker zegt: "Ons AI-model is stabiel en betrouwbaar," bewijst hij dat vaak door resultaten van slechts één markeerstift-hulpmiddel te tonen. Deze paper zegt dat dat wetenschappelijk ongeldig is. Het is alsoك beweren dat een auto "veilig" is omdat hij een crashtest heeft doorstaan met een specifiek type airbag, maar hem nooit hebt getest met een ander type.

De auteurs wijzen erop dat als je InceptionV3 alleen bekijkt door de LayerCAM-lens, je zou kunnen denken dat het de beste keuze is voor een ziekenhuis. Maar als het ziekenhuis in werkelijkheid Grad-CAM++ gebruikt (of als de software wordt bijgewerkt en van hulpmiddel wisselt), kunnen de uitleg van de AI onbetrouwbaar worden, wat artsen mogelijk kan misleiden. De paper suggereert dat uitleg-stabiliteit geen eigenschap is van het model zelf, maar een eigenschap van de "Model + Methode"-combinatie. Je kunt de twee niet van elkaar scheiden.

De Les: Controleer je hulpmiddelen

Dus, wat moeten we doen? De auteurs stellen een paar wijzigingen voor in de manier waarop we AI bestuderen en reguleren:

1. Vertrouw niet op één enkel hulpmiddel: Onderzoekers zouden nooit mogen beweren dat een model "stabiel" is, tenzij ze het hebben getest met ten minste twee verschillende markeerstift-methoden. Als de resultaten wild variëren, is het model niet stabiel; het is gewoon gelukkig met dat ene hulpmiddel.
2. Regulatoren moeten specifiek zijn: Wanneer medische apparaten worden goedgekeurd door instanties zoals de FDA, moet het specifieke markeerstift-hulpmiddel dat de uitleg genereert, worden vastgelegd. Als een ziekenhuis het hulpmiddel later verandert, moet het apparaat mogelijk opnieuw worden goedgekeurd, omdat de "reden" die de AI geeft, kan veranderen.
3. Kies de juiste architectuur: Als je een medische AI bouwt, wil je misschien een model als DenseNet201 kiezen, dat zijn standhoudt over verschillende hulpmiddelen heen, in plaats van InceptionV3, dat fragiel is en sterk afhankelijk is van de specifieke methode die wordt gebruikt.

Kortom, deze paper is een wake-up call. Het vertelt ons dat in de wereld van AI de "waarheid" van een uitleg niet alleen over de AI-hersenen gaat; het gaat ook over de bril die we gebruiken om ernaar te kijken. Als we willen vertrouwen op AI in levensbelangrijke situaties zoals de geneeskunde, moeten we ervoor zorgen dat onze uitleg standhoudt, ongeacht welke bril we ook opzetten.