Bridging the Gap: Explainability Metrics for AI Image-Based Clinical Diagnostics

Technische Samenvatting: Het overbruggen van de kloof: Explainability-metrieken voor AI-gebaseerde klinische diagnostiek op basis van afbeeldingen

Probleemstelling
Hoewel Kunstmatige Intelligentie (AI), in het bijzonder Convolutionele Neurale Netwerken (CNN's), potentieel vertoont voor het verbeteren van de diagnostische nauwkeurigheid bij medische beeldvorming, wordt de integratie ervan in klinische workflows gehinderd door het "black-box"-karakter van deze modellen. Clinici missen vaak vertrouwen in systemen die geen interpreteerbare redenering kunnen bieden die aansluit bij het klinische oordeel. Huidige evaluatiekaders leunen zwaar op statistische metrieken (bijv. accuratesse, sensitiviteit, specificiteit), die voorspellende correctheid kwantificeren maar er niet in slagen te beoordelen of de interne redenering van het model overeenkomt met de logica van menselijke experts. Dit creëert een kritieke kloof: een model kan een hoge accuratesse bereiken terwijl het steunt op spuriaatieve correlaties of irrelevante beeldkenmerken, wat het klinisch onbetrouwbaar maakt ondanks de statistische prestaties.

Methodologie
De studie stelt een gefaseerd evaluatiekader voor om de AI-prestaties bij het diagnosticeren van infecties in chronische wonden te beoordelen, waarbij explainability (uitlegbaarheid) als een kernmetriek wordt geïntegreerd.

1. Dataset en Modeltraining: De auteurs maakten gebruik van een publieke dataset van chronische wondafbeeldingen (545 geïnfecteerd, 697 niet-geïnfecteerd) verkregen onder real-world klinische omstandigheden. Drie CNN-architecturen — ResNet-50, EfficientNet V2B0 en DenseNet121 — werden getraind met behulp van transfer learning. Om variabiliteit in verlichting en acquisitieapparaten aan te pakken, werd een GAN-gebaseerd illuminatie-normalisatienetwerk (gebaseerd op Pix2Pix) toegepast als een preprocessing-stap. De modellen werden gefinetuned met standaardtechnieken (dropout, early stopping, learning rate reduction) en geëvalueerd op een onafhankelijke testset van 200 afbeeldingen.
2. Explainability-technieken: Twee post-hoc explainability-methoden werden toegepast op een subset van 10 correct geclassificeerde geïnfecteerde wondafbeeldingen:
   • Saliency Maps: Een gradiënt-gebaseerde methode die de partiële afgeleide berekent van de output ten op respectie van de inputpixels om regio's met een hoge invloed te identificeren.
   • LIME (Local Interpretable Model-agnostic Explanations): Een perturbatie-gebaseerde methode die afbeeldingen segmenteert in superpixels (met behulp van SLIC-clustering), deze maskeert en een lokale lineaire surrogaatmodel traint om het gedrag van de CNN te benaderen.
3. Klinische Grondwaarheid: Twee specialisten in chronische wonden beoordeelden onafhankelijk dezelfde 10 afbeeldingen en bereikten een consensus over de specifieke pixelregio's die indicatief zijn voor infectie. Deze annotaties dienden als de klinische referentiestandaard.
4. Voorgestelde Metriek (Explainability Agreement Index - EAI): Om de afstemming tussen AI-verklaringen en klinische redenering te kwantificeren, introduceerden de auteurs de Explainability Agreement Index (EAI). De EAI wordt berekend voor true positive gevallen waarbij zowel de AI als de clinici het eens zijn over de diagnose. De EAI wordt gedefinieerd als de ratio van de pixels die door de explainability-methode (LIME of Saliency) als invloedrijk worden geïdentificeerd die overlappen met de door de clinicus geannoteerde regio's, gedeeld door het totaal aantal geannoteerde klinische pixels.
   • Formuleconcept: $EAI = \frac{|Pixels_{AI} \cap Pixels_{Clinician}|}{|Pixels_{Clinician}|}$

Belangrijkste Resultaten

• Diagnostische Prestaties: De CNN-modellen bereikten een matige classificatie-accuratesse op de testset, waarbij EfficientNet V2B0 het best presteerde met 72% accuratesse, 64% sensitiviteit en 80% specificiteit. ResNet-50 behaalde 71% accuratesse en DenseNet121 behaalde 66%.
• Explainability-prestaties: Ondanks een redelijke classificatie-accuratesse was de afstemming tussen AI-gegenereerde verklaringen en klinische redenering laag.
  • LIME: De gemiddelde EAI-waarden varieerden van 0,2119 (ResNet-50) tot 0,2999 (EfficientNet V2B0).
  • Saliency Maps: De gemiddelde EAI-waarden varieerden van 0,1946 (DenseNet121) tot 0,2811 (ResNet-50).
• Discrepantie: De lage EAI-scores (variërend tussen ongeveer 0,19 en 0,30) geven aan dat hoewel de modellen geïnfecteerde wonden correct identificeerden, de visuele regio's die zij als "belangrijk" markeerden voor de beslissing zelden overeenkwamen met de regio's die clinici als diagnostisch relevant beschouwden.

Belangrijkste Bijdragen

1. Introductie van de Explainability Agreement Index (EAI): Het artikel stelt een nieuwe, kwantitatieve metriek voor die ontworpen is om de overeenstemming te meten tussen AI-gegenereerde visuele verklaringen en klinische annotaties. In tegen tegenstelling tot traditionele metrieken die alleen de correctheid van de voorspelling beoordelen, evalueert EAI de redenering achter de voorspelling.
2. Empirische Validatie van de "Accuracy-Explainability" Kloof: De studie levert concreet bewijs dat een hoge classificatie-accuratesse geen garantie biedt voor klinische interpreteerbaarheid. De significante discrepantie tussen de accuratesse (tot 72%) en de EAI (ongeveer 0,20–0,30) benadrukt dat huidige modellen "gelijk kunnen hebben om de verkeerde redenen".
3. Evaluatie van Standaard xAI-methoden in Klinische Context: De studie laat zien dat veelgebruikte explainability-technieken (LIME en Saliency maps) er moeite mee hebben om consistent klinisch relevante kenmerken vast te leggen in complexe medische beeldtaken zoals wondbeoordeling, wat wijst op een behoefte aan domeinspecifieke verfijning.

Betekenis en Claims
De auteurs stellen dat het voorgestelde EAI-kader een praktisch pad biedt om de kloof tussen algoritmische prestaties en klinisch vertrouwen te overbruggen. De studie claimt dat voor een veilige integratie van AI in de gezondheidszorg, validatie verder moet gaan dan statistische metrieken en ook de afstemming van modelredenering met klinische expertise moet omvatten.

Het artikel concludeert bescheiden dat hoewel de EAI een stap voorwaarts is, huidige explainability-methoden onvoldoende zijn voor klinische inzet zonder verdere verfijning. Het benadrukt dat explainability een noodzakelijke, maar niet voldoende dimensie is voor betrouwbare AI, waarbij wordt opgemerkt dat factoren zoals modelkalibratie en onzekerheidsschatting ook cruciale rollen spelen. De auteurs positioneren de EAI niet als een definitieve oplossing, maar als een instrument om de transparantie van medische AI-systemen kwantitatief te beoordelen en te verbeteren.