Entropy-Guided Self-Supervised Learning for Medical Image Classification

Sintesi Tecnica: Apprendimento Auto-Supervisionato Guidato dall'Entropia per la Classificazione di Immagini Mediche

Enunciato del Problema
Una classificazione accurata delle immagini mediche è fondamentale per la diagnosi precoce delle malattie e la pianificazione terapeutica. Tuttavia, i modelli di deep learning spesso faticano in questo dominio a causa della scarsità di dati annotati, dell'alta variabilità intra-classe, delle sottili differenze inter-classe e della presenza di rumore e artefatti. Sebbene le Reti Neurali Convolutive (CNN) eccellano nell'estrazione di caratteristiche, i modelli addestrati da zero o perfezionati esclusivamente su ImageNet spesso non riescono a cogliere le sfumature specifiche del dominio. Al contrario, i Vision Transformers (ViT) richiedono dataset vasti e risorse computazionali elevate, che spesso non sono disponibili per l'imaging medico. Il lavoro affronta la necessità di un framework robusto che sfrutti sia caratteristiche generalizzabili sia rappresentazioni specifiche del dominio per superare la scarsità di dati e migliorare le prestazioni di classificazione.

Metodologia
Gli autori propongono un framework di deep learning sinergico che integra transfer learning, apprendimento auto-supervisionato (SSL) e apprendimento di ensemble. L'architettura utilizza due percorsi paralleli, entrambi impiegando un backbone ConvNeXt-Tiny:

1. Percorso Pre-addestrato su ImageNet: Un modello ConvNeXt-Tiny inizializzato con pesi pre-addestrati sul dataset su larga scala ImageNet. Questo funge da baseline per fornire estrattori di caratteristiche forti e generalizzabili.
2. Percorso Pre-addestrato MAE Guidato dall'Entropia: Un secondo modello ConvNeXt-Tiny subisce un pre-addestramento auto-supervisionato sul dataset medico target utilizzando un nuovo Masked Autoencoder (MAE) Guidato dall'Entropia.
   • Meccanismo: Ispirato dal "diffusion forcing", questo approccio calcola un punteggio di entropia per ogni patch di immagine basato sulla frequenza dei valori di colore. Viene quindi applicato rumore gaussiano a ciascuna patch in modo indipendente, con la varianza ($\sigma^2$) controllata dall'entropia di Shannon della patch.
   • Obiettivo: Ciò trasforma il processo di mascheramento in una trasformazione continua, focalizzando il compito di ricostruzione sulle regioni con maggiore contenuto informativo o incertezza. Il modello minimizza l'Errore Quadratico Medio (MSE) tra le patch mascherate originali e quelle ricostruite.
3. Perfezionamento (Fine-Tuning): Entrambi i modelli vengono successivamente perfezionati su dataset di immagini mediche etichettati utilizzando la funzione di perdita Cross-Entropy.
4. Strategia di Ensemble: La decisione finale di classificazione viene presa mediando le probabilità predette dai due modelli perfezionati. Questo approccio di ensemble mira a sfruttare i punti di forza complementari delle caratteristiche generali (ImageNet) e delle caratteristiche specifiche del dominio (MAE Guidato dall'Entropia).

Contributi Chiave

• MAE Guidato dall'Entropia: L'introduzione di una strategia di pre-addestramento che utilizza punteggi di entropia per guidare il processo di mascheramento e iniezione di rumore, dando priorità alle regioni informative durante l'apprendimento auto-supervisionato su immagini mediche.
• Framework Sinergico: Un'architettura innovativa che combina transfer learning da ImageNet, SSL guidato dall'entropia e apprendimento di ensemble per migliorare robustezza e accuratezza nella classificazione di immagini mediche.
• Validazione Estesa: Esperimenti completi condotti su quattro dataset diversificati: Immagini Ecografiche del Seno (BUSI), Collaborazione Internazionale per l'Imaging Cutaneo (ISIC) 2018, Kvasir (endoscopia) e un dataset di radiografie toraciche per COVID-19.
• Analisi di Ablazione: Uno studio dettagliato che valuta l'impatto delle epoche di pre-addestramento e delle configurazioni di perfezionamento sulle prestazioni del modello.

Risultati Sperimentali
Il framework è stato valutato utilizzando Accuratezza, Precisione, Recall, F1-score e Area Under the Curve (AUC). La configurazione ottimale identificata è stata 1.000 epoche di pre-addestramento MAE seguite da 15 epoche di perfezionamento.

• Prestazioni: Il modello di ensemble ha costantemente superato i modelli singoli (solo ImageNet e solo MAE) e i metodi all'avanguardia (SOTA), inclusi SWIN, CMT, SMT e il Vision Transformer a Visione Centrale-Periferica (CPVT).
• Metriche Specifiche:
  • BUSI: Ha raggiunto un'accuratezza del 97,44% e un AUC del 99,74%, superando significativamente il CPVT (81,95% di accuratezza).
  • ISIC 2018: Ha raggiunto un'accuratezza del 91,18% e un AUC del 98,32%, superando il CPVT (87,98% di accuratezza).
  • Kvasir: Ha raggiunto un'accuratezza del 94,30% e un AUC del 99,66%.
  • COVID: Ha raggiunto un'accuratezza del 97,82% e un AUC del 99,88%.
• Osservazioni: I risultati suggeriscono che un pre-addestramento auto-supervisionato prolungato (1.000 epoche) costruisce efficacemente astrazioni strutturali specifiche del dominio, aiutando il modello a gestire l'alta varianza intra-classe e i complessi confini dei tessuti.

Significato e Affermazioni
Il lavoro afferma che l'approccio ibrido proposto costituisce un framework altamente affidabile per la classificazione generalizzata di immagini biomediche. Combinando la ricostruzione generativa di maschere con priors ampi di immagini naturali, il metodo previene il collasso dell'ottimizzazione in campi con vincoli di dati. Gli autori affermano che la strategia di ensemble cattura con successo informazioni complementari, portando a risultati all'avanguardia su diverse modalità mediche. Il lavoro evidenzia l'efficacia della mascheratura guidata dall'entropia nel focalizzarsi su regioni informative, migliorando così il potere discriminatorio delle caratteristiche apprese da dati medici non etichettati. Sono previsti lavori futuri per esplorare tecniche di fusione più sofisticate (ad esempio, media ponderata) e per indagare l'interpretabilità delle caratteristiche apprese.