When Explanations Mislead: A Systematic Audit of Saliency Map Localization Failures in Chest X-Ray AI Despite Correct Predictions

Technische Samenvatting: Wanneer verklaringen misleiden

Probleemstelling
Het artikel behandelt een kritieke veiligheidskloof in de klinische radiologie AI: de ongekritiseerde aanname dat correcte voorspellingen door deep learning-modellen inherent gepaard gaan met nauwkeurige ruimtelijke verklaringen. Saliency maps (bijv. GradCAM, Integrated Gradients) worden breed gebruikt als de de facto verklarende laag om het vertrouwen van clinici te winnen. De impliciete overtuiging dat een model dat een pathologie identificeert (bijv. consolidatie) noodzakelijkerwijs aandacht besteedt aan de juiste anatomische regio, blijft echter op grote schaal onverifieerd. De auteurs identificeren een specifieke "gevaarlijke foutmodus": gevallen waarin een model een correcte voorspelling doet met een hoge mate van vertrouwen, terwijl de gegenereerde saliency map er niet in slaagt de pathologie te lokaliseren, wat clinici die vertrouwen op de visuele verklaring om de output van de AI te valideren, potentieel kan misleiden.

Methodologie
De studie voert een systematische audit uit met behulp van de VinDr-CXR dataset, die bounding boxes met consensus van meerdere radiologen bevat voor 28 pathologische bevindingen.

• Dataset & Steekproef: Uit 18.000 afbeeldingen selecteerden de auteurs een gestratificeerde steekproef van 416 afbeeldingen over zes pathologieën (Atelectase, Cardiomegalie, Consolidatie, Nodule/Massa, Pleurale Effusie, Pneumothorax). De grondwaarheid (ground truth) werd gedefinieerd als het gemiddelde van drie radioloog-annotaties.
• Model: Een vooraf getraind DenseNet-121 (vanuit TorchXRayVision) werd gebruikt als baseline. Het model werd niet gefinetuned op VinDr-CXR om datalekken te voorkomen. Voorspellingen werden als positief beschouwd als het vertrouwen de 0,5 overschreed.
• XAI-methoden: Vier post-hoc verklaarbaarheidsmethoden werden toegepast op de 336 afbeeldingen die correct positieve voorspellingen ontvingen:
  1. GradCAM en GradCAM++: Op gradiënten gebaseerde class activation maps.
  2. Integrated Gradients: Axiomatische attributie langs een pad vanaf een baseline.
  3. LIME: Lokale surrogaatmodellering via superpixel-perturbaties.
• Evaluatiemetrieken:
  • Intersection over Union (IoU): Mat de overlap tussen de gebinariseerde saliency map (top 50% activatie) en de radioloog-grondwaarheid.
  • Pointing Game Accuracy: Een binaire metriek die een score van 1 geeft als het pixel met de maximale activatie binnen de grondwaarheid-box valt.
  • Dangerous Failure Rate: Het aandeel correcte voorspellingen waarbij de IoU onder de 0,1 viel. Deze drempelwaarde werd gekozen omdat deze een klinisch betekenisloze overlap vertegenwoordigt die de aandacht actief zou kunnen misleiden.

Belangrijkste Resultaten
De audit onthult een ernstige ontkoppeling tussen voorspellingsnauwkeurigheid en verklaringstrouw:

• Hoge Foutratio: Over alle vier de XAI-methoden bestond 83,0% van de correct geclassificeerde afbeeldingen uit "gevaarlijke fouten" (IoU < 0,1).
• Lage Lokalisatieprestaties:
  • Gemiddelde IoU: Varieerde van 0,044 (LIME) tot 0,062 (Integrated Gradients).
  • Pointing Game Accuracy: Varieerde van 1,2% (LIME) tot 27,4% (Integrated Gradients).
• Methodevergelijking: Integrated Gradients presteerde het best, maar faalde nog steeds in 76,2% van de gevallen. LIME presteerde het slechtst, met een foutratio van 92,0%.
• Variatie in Pathologie: Condities die grote anatomische regio's beslaan (Cardiomegalie, Pleurale Effusie) vertoonden iets hogere IoU-waarden, terwijl focale condities (Nodule/Massa, Pneumothorax) de laagste lokalisatienauwkeurigheid lieten zien.
• Kwalitatief Bewijs: Representatieve gevallen (bijv. Atelectase) toonden aan dat modellen de conditie correct voorspelden met een hoog vertrouwen (bijv. 63%), terwijl de saliency map zich concentreerde op irrelevante regio's (bijv. de basis van de longen/het diafragma) in plaats van de geannoteerde pathologie.

Belangrijkste Bijdragen

1. Kwantificering van Ontkoppeling: De studie levert empirisch bewijs dat in huidige borstkas röntgenfoto AI (specifiek DenseNet-121), een hoge voorspellingsnauwkeurigheid geen ruimtelijk getrouwe verklaringen garandeert.
2. Definitie van "Gevaarlijke Fout": De auteurs formaliseren een foutmodus die onderscheidt van eenvoudige misclassificatie: een correcte voorspelling gekoppeld aan een misleidende verklaring, wat een uniek risico vormt voor de klinische veiligheid door het vertrouwen van de clinicus uit te buiten.
3. Benchmarking van XAI-methoden: Het artikel stelt een vergelijkende baseline vast voor GradCAM, GradCAM++, Integrated Gradients en LIME op de VinDr-CXR dataset, en toont aan dat zelfs de "best" presterende methode (Integrated Gradients) niet voldoet aan de klinische lokalisatiestandaarden.

Betekenis en Claims
Het artikel betoogt dat de huidige praktijk van het inzetten van XAI-geaugmenteerde systemen op basis van enkel voorspellingsnauwkeurigheid fundamenteel gebrekkig is. De auteurs stellen dat:

• Visuele Plausibiliteit Onvoldoende is: Heatmaps die anatomisch plausibel lijken, kunnen systematisch fout zijn in hun lokalisatie.
• Verplichte Validatiepoorten: Voorspellingsnauwkeurigheid alleen is onvoldoende voor klinische inzet. De auteurs bevelen aan dat lokalisatievalidatie tegen de grondwaarheid van de radioloog een verplichte stap wordt voordat XAI-tools worden geïntegreerd in radiologische workflows.
• Specifieke Aanbevelingen:
  • Een minimale pointing game accuracy van 60% moet worden vastgesteld als drempelwaarde voor inzet.
  • Integrated Gradients heeft de voorkeur boven GradCAM-varianten en LIME voor borstkas röntgenfoto taken, hoewel geen van beide momenteel aan de voorgestelde veiligheidsstandaarden voldoet.
  • LIME mag niet worden gebruikt voor lokalisatie in deze setting vanwege de bijna nul-waardige pointing accuracy.

De studie concludeert dat de aanname "correcte voorspelling impliceert betrouwbare verklaring" niet door data wordt ondersteund, en dat zonder rigoureuze lokalisatievalidatie, saliency maps de klinische besluitvorming eerder actief kunnen verslechteren dan ondersteunen.