Technische Samenvatting: Verder dan Accuratesse in Malaria-diagnostiek

Probleemstelling

Malaria blijft een belangrijke oorzaak van mortaliteit in sub-Sahara Afrika, waar de diagnostische infrastructuur vaak schaars is. Hoewel deep learning (DL) een pad biedt naar geautomatiseerde screening, wordt klinische adoptie gehinderd door twee primaire factoren: de hoge computationele kosten van complexe modellen en de "opaciteit" (ondoorzichtigheid) van hun besluitvormingsprocessen. In medische omgevingen met een hoog risico hebben clinici niet alleen behoefte aan accurate voorspellingen, maar ook aan mechanistische rechtvaardigingen voor die voorspellingen. Bovendien richten bestaande evaluaties zich vaak uitsluitend op voorspellende accuratesse, waarbij kritieke dimensies zoals modelefficiëntie, robuustheid tegen beeldcorruptie (veelvoorkomend in microscopie in omgevingen met beperkte middelen) en de betrouwbaarheid van post-hoc verklaringen worden verwaarloosd.

Methodologie

Deze studie benchmarkt vier verschillende deep learning-architecturen op de NLM-Malaria dataset, waarbij ze worden geëvalueerd over drie dimensies: voorspellende prestaties, computationele efficiëntie en verklaarbaarheid.

1. Modelarchitecturen:
De studie vergelijkt modellen met variërende ontwerpprincipes en capaciteiten:

• ResNet-18: Een standaard CNN die gebruikmaakt van skip-verbindingen.
• EfficientNet-B0: Een CNN die efficiëntie benadrukt via compound scaling van diepte, breedte en resolutie.
• MobileNet-v3-Large: Een lichtgewicht CNN met behulp van depthwise separable convoluties.
• Vision Transformer (ViT-B/16): Een transformer-gebaseerde architectuur die convoluties vervangt door patch-gebaseerde self-attention.
  Alle modellen werden getraind op ImageNet en gefinetuned voor binaire classificatie (gezond versus geïnfecteerd) met behulp van 5-voudige gestratificeerde cross-validatie.

2. Explainable AI (XAI) Framework:
Vier post-hoc attributiemethoden werden toegepast om saliency maps te genereren:

• Gradiënt-gebaseerd: Grad-CAM en Integrated Gradients (Itgd-Grad).
• Gradiënt-vrij/Score-gebaseerd: Score-CAM.
• Speltheoretisch: SHAP (Gradiënt-gebaseerde variant).
  Deze methoden werden gebruikt om te visualiseren welke beeldregio's de beslissing van het model beïnvloedden.

3. Evaluatiemetrieken:

• Voorspellende Prestaties: Accuratesse, F1-score, AUC, Sensitiviteit, Specificiteit, PPV en NPV.
• Efficiëntie: Aantal parameters, FLOPs, inferentie-latentie en piekgeheugengebruik (gemeten op CPU).
• Robuustheid: Prestaties onder drie soorten beeldcorruptie (Gaussische ruis, Salt-and-Pepper ruis en Gaussische vervaging) bij variërende ernstgraden. De gebruikte metrieken waren gemiddelde accuratesse en gemiddelde voorspelde betrouwbaarheid.
• Kwaliteit van Verklaringen:
  • Kwalitatief: Visuele inspectie van saliency maps en consistentie-analyse (overeenkomst/onovereenkomst kaarten) tussen verschillende XAI-methoden.
  • Kwantitatief: Insertion en Deletion scores, waarbij wordt gemeten hoe snel de modelbetrouwbaarheid verandert wanneer belangrijke (of onbelangrijke) beeldpatches worden onthuld of afgedekt.
• Statistische Analyse: De Friedman-test gevolgd door Wilcoxon signed-rank tests met Bonferroni-correctie werden gebruikt om de statistische significantie tussen modellen te bepalen.

Belangrijkste Resultaten

1. Voorspellende Prestaties en Efficiëntie:

• Alle vier de architecturen bereikten een vergelijkbare diagnostische prestatie. De Friedman-test leverde een p-waarde op van 0,4717, wat wijst op geen statistisch significante verschillen in accuratesse, F1-score of AUC tussen de modellen.
• Lichtgewicht modellen (MobileNet-v3 en EfficientNet-B0) evenaarden de prestaties van zwaardere tegenhangers (ResNet-18 en ViT), terwijl ze aanzienlijke efficiëntiewinsten boden. MobileNet-v3 vertoonde de laagste latentie (14,37 ms) en FLOPs (0,22 G), terwijl ViT-B/16 de meest computationeel intensieve was (293,8 ms latentie, 16,8 G FLOPs).
• Een ensemble van de vier modellen bereikte de hoogste accuratesse (0,972), maar de marginale winst ten opzichte van individuele lichtgewicht modellen was klein.

2. Robuustheid tegen Corruptie:

• Modellen vertoonden sterke robuustheid tegen Salt-and-Pepper ruis, maar waren gevoeliger voor Gaussische ruis en vervaging.
• Een cruciale bevinding was dat de modelbetrouwbaarheid sneller afnam dan de accuratesse bij toenemende ruigniveaus. Dit suggereert dat betrouwbaarheidsscores een praktisch signaal kunnen vormen om menselijke beoordeling te triggeren wanneer de beeldkwaliteit slecht is, zelfs als de voorspelling technisch gezien correct blijft.

3. Verklaarbaarheid en XAI-robuustheid:

• Lokalisatie: CAM-gebaseerde methoden (Grad-CAM, Score-CAM) lokaliseerden consistent diagnostisch relevante regio's (de parasiet). In tegen tegenstelling hiertoe produceerden fijnmazige methoden (Integrated Gradients, SHAP) minder gerichte verklaringen, waarbij ze de hoog-attributie pixels vaak breed over de afbeelding verspreidden, vooral bij zwaardere backbones zoals ResNet-18.
• Consistentie: Er was een gestructureerde onovereenstemming tussen Grad-CAM en Score-CAM, geconcentreerd in anatomisch betekenisvolle gebieden. Daarentegen verscheen de onovereenstemming tussen Integrated Gradients en SHAP als ongestructureerde, diffuse ruis.
• XAI-fragiliteit: Cruciaal is dat geen enkele XAI-methode robuust was tegen beeldcorruptie. De betrouwbaarheid van de verklaringen nam significant af bij ruigniveaus die gangbaar zijn in de klinische praktijk, zelfs wanneer de onderliggende voorspellingen accuraat bleven. Dit geeft aan dat verklaringen niet als stabiele signalen kunnen worden vertrouwd in ruisige omgevingen.
• ViT-gedrag: De Vision Transformer richtte zich op zeer gelokaliseerde regio's (specifiek de chromatine-dot), wat contrasteert met de meer diffuse activatiepatronen van CNN's.

Betekenis en Claims

Het artikel betoogt dat voor klinische settings met beperkte middelen, lichtgewicht, door ontwerp efficiënte modellen (MobileNet-v3, EfficientNet-B0) voldoende zijn voor malaria-diagnostiek, aangezien ze de voorspellende prestaties van grotere modellen evenaren zonder de computationele overhead.

Echter, de studie benadrukt een belangrijke beperking in de huidige staat van verantwoorde AI-implementatie: de kwetsbaarheid van post-hoc verklaringen. De auteurs stellen dat hoewel modellen accuraat kunnen blijven onder ruis, hun verklaringen onbetrouwbaar worden. Deze ontkoppeling van voorspellende accuratesse en verklaring-stabiliteit suggereert dat het vertrouwen op XAI voor klinische validatie in ruisige, real-world omgevingen extreme voorzichtigheid vereist. Het werk ondersteunt de inzet van efficiënte architecturen, maar waarschuwt dat de interpreteerbaarheid van deze systemen niet gegarandeerd is onder de imperfecte omstandigheden die typerend zijn voor malaria-endemische regio's.