Explaining Digital Pathology Models via Clustering Activations

Riepilogo Tecnico: Spiegazione dei Modelli di Patologia Digitale tramite Clustering delle Attivazioni

Enunciato del Problema
L'adozione di modelli di deep learning nella patologia digitale clinica è ostacolata da un "divario di fiducia". Sebbene le Reti Neurali Convoluzionali (CNN) possano classificare con accuratezza i vetrini tissutali (ad esempio, rilevando il cancro alla prostata), funzionano come opache "scatole nere". I patologi sono riluttanti a fidarsi di questi modelli perché le tecniche standard di spiegabilità, come l'occlusione, GradCAM o la propagazione della rilevanza, forniscono solo mappe di salienza unidimensionali e locali. Queste mappe evidenziano le regioni che contribuiscono a una singola previsione, ma non riescono a spiegare il ragionamento alla base della decisione o il comportamento globale del modello. A differenza dei patologi umani che sintetizzano varie caratteristiche morfologiche e tipi di tessuto, i metodi attuali non rivelano le rappresentazioni semantiche interne che il modello utilizza per distinguere tra tessuto sano e canceroso.

Metodologia
Gli autori propongono una tecnica di spiegabilità basata sul clustering che visualizza il comportamento globale dei modelli CNN raggruppando attivazioni di caratteristiche simili. Il metodo opera come segue:

1. Estrazione delle Caratteristiche: Per un dato modello CNN, i vettori di caratteristiche vengono estratti da un specifico strato convoluzionale $\ell$ per ogni posizione spaziale $(i, j)$ delle piastrelle dell'immagine di input. Questi vettori rappresentano i valori di attivazione attraverso tutti i canali $C$.
2. Fattorizzazione della Matrice Non Negativa (NMF): Per garantire l'interpretabilità semantica, gli autori impiegano la NMF sui vettori di caratteristiche. Poiché la NMF richiede input non negativi, utilizzano gli output dello strato successivo alla funzione di attivazione ReLU.
3. Processo di Clustering:
   • Addestramento: Una matrice di addestramento $V$ di vettori di caratteristiche viene decomposta in matrici non negative $W$ e $H$ minimizzando la norma di Frobenius $\|V - WH\|_F^2$. La matrice $H$ rappresenta $K$ vettori di classe (centroidi del cluster), mentre $W$ rappresenta l'intensità (peso) di ciascuna classe per ogni vettore di caratteristiche.
   • Inferenza: Per nuovi dati, $H$ rimane fissa e $W$ viene ottimizzata. Ogni posizione spaziale viene assegnata al cluster con il peso di intensità più alto.
4. Adattamento alle Immagini Intere del Vetrino (WSI): Per gestire la scala massiccia delle WSI (centinaia di migliaia di pixel) e il problema della sovrapposizione delle piastrelle:
   • Il bordo di 2 pixel dei vettori di caratteristiche in ciascuna piastrella viene scartato per mitigare gli artefatti di bordo.
   • I vettori di caratteristiche provenienti da piastrelle sovrapposte nella stessa posizione spaziale vengono mediati per creare una singola rappresentazione coerente per pixel.
   • Le piastrelle senza sovrapposizione di tessuto (sfondo) vengono scartate per concentrare il calcolo sulle aree rilevanti.

Contributi Chiave

• Spiegazione Globale vs. Locale: A differenza delle mappe di salienza che evidenziano regioni specifiche per una singola decisione, questo metodo rivela il comportamento globale del modello raggruppando le rappresentazioni interne in categorie semantiche distinte.
• Segmentazione Semantica senza Supervisione: La tecnica genera una segmentazione semantica dell'immagine di input basata su cluster appresi, nonostante il modello sottostante sia stato addestrato esclusivamente per la classificazione binaria (cancro vs. non cancro) e mai per la segmentazione.
• Gestione delle Sfide delle WSI: L'approccio è specificamente progettato per gestire l'alta dimensionalità e la distribuzione sparsa del tessuto caratteristiche delle diapositive di patologia digitale.
• Validazione rispetto alla Conoscenza Esperta: Il metodo è stato valutato su un modello di rilevamento del cancro alla prostata, dimostrando che i cluster risultanti corrispondono a caratteristiche morfologiche osservabili riconosciute dai patologi.

Risultati
La tecnica è stata valutata utilizzando un modello di rilevamento del cancro alla prostata (backbone VGG-16) addestrato su 87 WSI provenienti dall'Istituto Oncologico Memoriale Masaryk. Gli autori hanno addestrato modelli di clustering con $K=4, 6,$ e $8$ classi.

• Valutazione del Patologo: Un patologo residente ha analizzato l'output di clustering per $K=6$ e ha identificato che i cluster corrispondevano a strutture morfologiche specifiche:
  • Le Classi 2, 4 e 5 sono state identificate come corrispondenti ad aree carcinomatose (ad esempio, catene di nuclei densamente impaccati, piccoli lumi).
  • Le Classi 1, 3 e 6 corrispondevano a strutture tissutali sparse, bordi o epitelio normale.
• Analisi Quantitativa:
  • Un modello di regressione logistica addestrato esclusivamente sui pesi dei cluster ha ottenuto prestazioni elevate nella previsione della positività al cancro (Accuratezza: 0,984, AUC: 0,998).
  • I coefficienti di regressione hanno confermato che le classi 2, 4 e 5 correlano fortemente con le etichette positive per il cancro, mentre le classi 1, 3 e 6 correlano con le etichette negative, allineandosi alla valutazione qualitativa del patologo.
• Confronto con GradCAM:
  • Sebbene le classi 2, 4 e 5 mostrassero una forte correlazione con le mappe di calore GradCAM, l'Intersezione sull'Unione (IoU) tra i cluster e le maschere GradCAM era bassa.
  • Ciò indica che, sebbene i cluster si sovrappongano alle regioni che GradCAM ritiene importanti, il metodo di clustering fornisce informazioni più sfumate e dettagliate su quali caratteristiche specifiche all'interno di quelle regioni il modello sta utilizzando.

Significato e Affermazioni
Il documento afferma che questo approccio basato sul clustering offre uno strumento robusto per comprendere il funzionamento interno delle CNN nella patologia digitale. Spostandosi oltre le semplici mappe di salienza per rivelare il comportamento semantico globale del modello, il metodo aiuta a demistificare la natura di "scatola nera" dell'IA. Gli autori sostengono che fornire intuizioni interpretabili sulle specifiche caratteristiche morfologiche che un modello privilegia può aumentare significativamente la fiducia dei patologi, facilitando così un'adozione più rapida e sicura dei modelli di IA nella pratica clinica. Il metodo è presentato come applicabile a qualsiasi architettura di modello che utilizzi vettori di caratteristiche spaziali, con lavori futuri suggeriti per l'ispezione di modelli transformer fondamentali.