Deep neural networks with Fisher vector encoding for medical image classification

Riepilogo Tecnico: Reti Neurali Profonde con Codifica a Vettori di Fisher per la Classificazione di Immagini Mediche

Enunciato del Problema
Le Reti Neurali Convoluzionali (CNN) sono diventate lo standard per il riconoscimento delle immagini, ma incontrano limitazioni nella classificazione delle immagini mediche, tra cui la necessità di dimensioni di input fisse (che spesso portano a una perdita di informazioni tramite pooling) e un "bias di località" che ostacola la cattura di informazioni globali. Sebbene i Vision Transformers (ViT) affrontino il bias di località attraverso l'attenzione self, richiedono tipicamente grandi dataset per l'addestramento e mostrano una complessità computazionale quadratica rispetto alla risoluzione dell'immagine, rendendoli meno adatti per immagini mediche ad alta risoluzione o scenari con disponibilità limitata di dati. Inoltre, sebbene siano emersi modelli ibridi CNN+ViT per mitigare questi problemi, l'integrazione di tecniche sofisticate di rappresentazione delle caratteristiche senza ordine, in particolare i Vettori di Fisher (FV), con queste architetture ibride rimane in gran parte inesplorata. Un ostacolo significativo all'applicazione dei Vettori di Fisher in contesti su larga scala è l'alto costo computazionale della stima del Modello a Misure Gaussiane (GMM) sottostante.

Metodologia
Gli autori propongono un'architettura ibrida che combina MIT-EfficientViT (un Vision Transformer multi-scala) con la codifica a Vettori di Fisher per creare un modello adatto sia a piccoli che a grandi dataset medici. La metodologia centrale comprende i seguenti componenti:

1. Modifica dell'Architettura: La testa di classificazione standard del modello MIT-EfficientViT viene sostituita. Invece di un layer Mobile inverted Bottleneck Convolution (MBConv) seguito da pooling globale, gli autori inseriscono un layer di codifica a Vettori di Fisher.
2. Concatenazione di Caratteristiche Senza Perdita: Per affrontare il problema della concatenazione di caratteristiche locali provenienti da più stadi della spina dorsale del Transformer (che esistono in spazi dimensionali diversi), gli autori propongono un approccio senza perdita. Invece di sottocampionare caratteristiche a dimensionalità più elevata (che causa perdita di informazioni) o sovracampionare quelle a dimensionalità più bassa (che aumenta il costo computazionale), calcolano il Massimo Comun Divisore (MCD) delle dimensioni delle caratteristiche. Le caratteristiche locali vengono suddivise in sotto-caratteristiche di questa dimensione comune e successivamente concatenate.
3. Stima del GMM tramite Sottocampionamento Basato sull'Entropia: Per superare il collo di bottiglia computazionale della stima del GMM su grandi dataset, gli autori introducono una strategia di campionamento basata sull'entropia dell'immagine. Calcolano l'entropia di Shannon delle immagini nel set di addestramento e selezionano un sottoinsieme di campioni (fino a un limite, ad esempio 5.000) con i valori di entropia più alti per stimare i parametri del GMM. Questo mira a mantenere i campioni più informativi riducendo il carico computazionale.
4. Adattamento per Dati 3D: Per gestire immagini mediche 3D (ad esempio, scansioni TC), i layer convoluzionali 2D della spina dorsale vengono sostituiti con convoluzioni 3D. Poiché non sono disponibili pesi pre-addestrati 3D, gli autori inizializzano il modello ripetendo i pesi pre-addestrati 2D lungo un asse.
5. Strategia di Addestramento: La spina dorsale viene affinata (fine-tuned) sul dataset target prima di estrarre le caratteristiche per la codifica a Vettori di Fisher. Questo passaggio è cruciale per generare caratteristiche di alto livello specifiche per l'applicazione, in particolare per i dati 3D dove non esistono pesi pre-addestrati.

Contributi Chiave
Il documento delinea quattro contributi principali:

• Stima Robusta del GMM: Un metodo per stimare i Modelli a Misure Gaussianhe sottocampionando il set di addestramento basato sull'entropia dell'immagine. Gli esperimenti dimostrano che ciò riduce il numero di campioni necessari per l'addestramento del GMM senza una perdita statisticamente significativa nelle prestazioni del modello.
• Modello Ibrido di Classificazione Medica: L'introduzione di un modello di classificazione di immagini mediche che combina architetture ibride CNN+ViT con la codifica a Vettori di Fisher.
• Concatenazione di Caratteristiche Senza Perdita: Un approccio nuovo e senza perdita per concatenare caratteristiche provenienti da più stadi del Transformer, affrontando i problemi di perdita di informazioni riportati in lavori precedenti.
• Estensione al 3D: L'espansione delle applicazioni dei Vettori di Fisher a dataset di immagini 3D sviluppando una metodologia per recuperare conoscenze da domini pre-addestrati 2D.

Risultati
Il metodo proposto è stato valutato su una collezione diversificata di dataset, tra cui la suite MedMNIST (v2) (che copre modalità 2D e 3D), Clean-CC-CCII (TC toraciche COVID-19) e ISIC2018 (immagini dermatoscopiche).

• MedMNIST (v2): Il modello ha superato i risultati di riferimento (inclusi varianti ResNet, AutoML e altri modelli ibridi) su tutti i dataset MedMNIST. Sono state osservate migliorie notevoli di almeno il 5% in accuratezza in RetinaMNIST, OrganMNIST3D, FractureMNIST3D e SynapseMNIST3D.
• Impatto dell'Affinamento (Fine-tuning): L'affinamento della spina dorsale prima della stima del GMM ha migliorato costantemente sia l'Accuratezza (ACC) che l'Area sotto la curva ROC (AUC) per i casi 2D e 3D. Il miglioramento è stato particolarmente significativo nei casi 3D in cui erano assenti pesi pre-addestrati.
• Stadi di Estrazione delle Caratteristiche: L'uso di caratteristiche provenienti da due stadi (Stadio 4 e Stadio 3) ha generalmente prodotto risultati ottimali, specialmente quando la spina dorsale era stata affinata.
• Dataset Realistici: Su Clean-CC-CCII e ISIC2018, il modello ha ottenuto risultati competitivi rispetto alla letteratura recente (ad esempio ResGANet, Hiera, MogaNet), superandoli in Clean-CC-CCII e eguagliandoli o superandoli in ISIC2018, mantenendo al contempo un numero di parametri comparabile (limitato a circa 25 milioni).
• Efficacia del Sottocampionamento: L'analisi utilizzando la Divergenza di Kullback-Leibler (KL) ha mostrato che un GMM stimato utilizzando solo il 2% del set di addestramento (selezionato per entropia) era tanto simile al caso base (100% dei dati) quanto un GMM stimato utilizzando il 50% dei dati, validando l'efficienza della strategia di campionamento.

Significato e Affermazioni
Gli autori affermano che il loro lavoro colma con successo il divario tra l'efficienza dei dati dei metodi di codifica senza ordine (come i Vettori di Fisher) e il potere rappresentativo dei modelli ibridi CNN+ViT. Affrontando le problematiche di scalabilità della stima del GMM attraverso il sottocampionamento basato sull'entropia e risolvendo i problemi di concatenazione delle caratteristiche tramite un metodo di suddivisione senza perdita, il modello proposto si presenta come una soluzione robusta per la classificazione di immagini mediche attraverso diverse scale di dati e modalità. I risultati suggeriscono che questo approccio è particolarmente adatto per applicazioni biomediche in cui l'acquisizione dei dati è costosa e i dataset possono essere piccoli o ad alta risoluzione. Gli autori concludono con modestia che, sebbene il loro metodo sia efficace, il lavoro futuro potrebbe esplorare la stima di statistiche del primo e del secondo ordine addestrabili per abilitare l'apprendimento end-to-end e le capacità di apprendimento incrementale.