Sintesi Tecnica: Oltre l'Accuratezza nella Diagnosi della Malaria

Definizione del Problema

La malaria rimane una delle principali cause di mortalità nell'Africa sub-sahariana, dove le infrastrutture diagnostiche sono spesso scarse. Sebbene il deep learning (DL) offra una via verso lo screening automatizzato, l'adozione clinica è ostacolata da due fattori primari: l'elevato costo computazionale dei modelli complessi e l' "opacità" dei loro processi decisionali. In contesti medici ad alto rischio, i clinici richiedono non solo previsioni accurate, ma anche giustificazioni meccanicistiche per tali previsioni. Inoltre, le valutazioni esistenti si concentrano spesso esclusivamente sull'accuratezza predittiva, trascurando dimensioni critiche come l'efficienza del modello, la robustezza alla corruzione delle immagini (comune nella microscopia in contesti a basse risorse) e l'affidabilità delle spiegazioni post-hoc.

Metodologia

Questo studio confronta quattro diverse architetture di deep learning sul dataset NLM-Malaria, valutandole attraverso tre dimensioni: prestazioni predittive, efficienza computazionale e spiegabilità.

1. Architetture dei Modelli:
Lo studio confronta modelli con diverse filosofie di progettazione e capacità:

• ResNet-18: Una CNN standard che utilizza connessioni skip.
• EfficientNet-B0: Una CNN che enfatizza l'efficienza tramite il compound scaling di profondità, larghezza e risoluzione.
• MobileNet-v3-Large: Una CNN leggera che utilizza convoluzioni depthwise separable.
• Vision Transformer (ViT-B/16): Un'architettura basata su transformer che sostituisce le convoluzioni con l'auto-attenzione basata su patch.
  Tutti i modelli sono stati pre-addestrati su ImageNet e perfezionati (fine-tuned) per la classificazione binaria (sano vs infetto) utilizzando una validazione incrociata stratificata a 5 fold.

2. Framework di Intelligenza Artificiale Spiegabile (XAI):
Sono stati impiegati quattro metodi di attribuzione post-hoc per generare mappe di salienza:

• Basati sul gradiente: Grad-CAM e Integrated Gradients (Itgd-Grad).
• Senza gradiente/Basati sul punteggio: Score-CAM.
• Teoria dei giochi: SHAP (variante basata sul gradiente).
  Questi metodi sono stati utilizzati per visualizzare quali regioni dell'immagine hanno influenzato la decisione del modello.

3. Metriche di Valutazione:

• Prestazioni Predittive: Accuratezza, F1-score, AUC, Sensibilità, Specificità, PPV e NPV.
• Efficienza: Conteggio dei parametri, FLOPs, latenza di inferenza e utilizzo del picco di memoria (misurato su CPU).
• Robustezza: Prestazioni sotto tre tipi di corruzione delle immagini (rumore Gaussiano, rumore Salt-and-Pepper e sfocatura Gaussiana) a diversi livelli di severità. Le metriche includevano l'accuratezza media e la confidenza prevista media.
• Qualità della Spiegazione:
  • Qualitativa: Ispezione visiva delle mappe di salienza e analisi di coerenza (mappe di accordo/disaccordo) tra i diversi metodi XAI.
  • Quantitativa: Punteggi di Inserimento e Cancellazione (Insertion/Deletion), che misurano quanto velocemente cambia la confidenza del modello man mano che i patch d'immagine importanti (o non importanti) vengono rivelati o occlusi.
• Analisi Statistica: Il test di Friedman seguito dai test di Wilcoxon signed-rank con correzione di Bonferroni sono stati utilizzati per determinare la significatività statistica tra i modelli.

Risultati Chiave

1. Prestazioni Predittive ed Efficienza:

• Tutte e quattro le architetture hanno raggiunto prestazioni diagnostiche comparabili. Il test di Friedman ha prodotto un p-value di 0,4717, indicando l'assenza di differenze statisticamente significative in accuratezza, F1-score o AUC tra i modelli.
• I modelli leggeri (MobileNet-v3 ed EfficientNet-B0) hanno eguagliato le prestazioni delle controparti più pesanti (ResNet-18 e ViT), offrendo al contempo sostanziali guadagni di efficienza. MobileNet-v3 ha dimostrato la latenza più bassa (14,37 ms) e i FLOPs minori (0,22 G), mentre ViT-B/16 è stato il più dispendioso dal punto di vista computazionale (latenza di 293,8 ms, 16,8 G FLOPs).
• Un ensemble dei quattro modelli ha raggiunto l'accuratezza più elevata (0,972), ma il guadagno marginale rispetto ai singoli modelli leggeri è stato esiguo.

2. Robustezza alla Corruzione:

• I modelli hanno dimostrato una forte robustezza al rumore Salt-and-Pepper, ma sono stati più sensibili al rumore Gaussiano e alla sfocatura.
• Un risultato critico è che la confidenza del modello è degradata più velocemente dell'accuratezza all'aumentare dei livelli di rumore. Ciò suggerisce che i punteggi di confidenza possono servire come segnale pratico per attivare la revisione umana quando la qualità dell'immagine è scarsa, anche se la previsione rimane tecnicamente corretta.

3. Spiegabilità e Robustezza XAI:

• Localizzazione: I metodi basati su CAM (Grad-CAM, Score-CAM) hanno localizzato costantemente le regioni diagnosticamente rilevanti (il parassita). Al contrario, i metodi più fini (Integrated Gradients, SHAP) hanno prodotto spiegazioni meno mirate, distribuendo spesso pixel ad alta attribuzione in modo diffuso su tutta l'immagine, specialmente con backbone più pesanti come ResNet-18.
• Coerenza: Esisteva un disaccordo strutturato tra Grad-CAM e Score-CAM, concentrato in aree anatomicamente significative. Al contrario, il disaccordo tra Integrated Gradients e SHAP appariva come rumore diffuso e non strutturato.
• Fragilità XAI: Fondamentalmente, nessun metodo XAI è stato robusto alla corruzione delle immagini. L'affidabilità della spiegazione è degradata significativamente ai livelli di rumore plausibili nella pratica clinica, anche quando le previsioni sottostanti rimanevano accurate. Ciò indica che le spiegazioni non possono essere considerate segnali stabili in ambienti rumorosi.
• Comportamento di ViT: Il Vision Transformer si è concentrato su regioni altamente localizzate (specificamente il punto di cromatina), contrastando con i pattern di attivazione più diffusi delle CNN.

Significato e Rivendicazioni

L'articolo sostiene che, per i contesti clinici con risorse limitate, modelli leggeri e progettati per l'efficienza (MobileNet-v3, EfficientNet-B0) sono sufficienti per la diagnosi della malaria, poiché eguagliano le prestazioni predittive dei modelli più grandi senza l'overhead computazionale.

Tuttavia, lo studio evidenzia un limite significativo nello stato attuale del deployment dell'IA responsabile: la vulnerabilità delle spiegazioni post-hoc. Gli autori affermano che, sebbene i modelli possano rimanere accurati sotto l'effetto del rumore, le loro spiegazioni diventano inaffidabili. Questo disaccoppiamento tra accuratezza della previsione e stabilità della spiegazione suggerisce che affidarsi alla XAI per la validazione clinica in ambienti rumorosi richiede estrema cautela. Il lavoro supporta il deployment di architetture efficienti, ma mette in guardia sul fatto che l'interpretabilità di questi sistemi non è garantita nelle condizioni imperfette tipiche delle regioni endemiche di malaria.