Improving Imbalanced Multi-Label Chest X-Ray Diagnosis via CBAM-Enhanced CNN Backbones

Riepilogo Tecnico: Miglioramento della Diagnosi di Radiografie Toraciche Multi-Etichetta Squilibrata tramite Backbone CNN Potenziati da CBAM

Enunciato del Problema
La radiografia toracica è una modalità primaria per la diagnosi di malattie toraciche, tuttavia l'interpretazione manuale rimane dispendiosa in termini di tempo e dipendente dalla conoscenza esperta. Sebbene l'Apprendimento Profondo (DL) abbia automatizzato l'estrazione delle caratteristiche, due sfide critiche persistono in questo dominio:

1. Complessità Multi-Etichetta: Una singola radiografia contiene spesso multiple patologie coesistenti, richiedendo ai modelli di gestire classificazioni complesse e simultanee.
2. Squilibrio Severo delle Classi: Dataset su larga scala come ChestXray14, MIMIC-CXR e CheXpert sono dominati da condizioni frequenti e dall'etichetta "No-Finding" (Nessuna Anomalia). Questo squilibrio distorce il comportamento di apprendimento, portando a prestazioni degradate su malattie rare ma clinicamente significative.
   Inoltre, le Reti Neurali Convoluzionali (CNN) standard soffrono di campi ricettivi limitati, ostacolando la cattura di dipendenze a lungo raggio cruciali per l'identificazione di anomalie semanticamente correlate ma spazialmente distanti. Sebbene le architetture basate su Transformer offrano soluzioni, i loro elevati requisiti computazionali e di dati limitano spesso la fattibilità in scenari clinici reali.

Metodologia
Gli autori propongono una strategia di integrazione pratica che potenzia i backbone CNN standard con il Modulo di Attenzione a Blocchi Convoluzionali (CBAM) per migliorare la classificazione multi-etichetta senza richiedere annotazioni a livello di pixel. La metodologia si concentra su tre componenti fondamentali:

1. Architettura Potenziata da CBAM:

   • Il framework integra CBAM in backbone ampiamente adottati, specificamente DenseNet121 e VGG16.
   • CBAM viene applicato sequenzialmente lungo le dimensioni dei canali e spaziali per generare mappe di attenzione che agiscono come maschere di caratteristiche soft. Questo amplifica le regioni rilevanti per il compito sopprimendo al contempo le informazioni di sfondo irrilevanti.
   • Posizionamento Strategico: Il paper introduce uno schema di posizionamento del modulo fondato su principi. Per DenseNet121, CBAM viene inserito dopo il 3° e il 4° blocco denso. Per VGG16, viene inserito dopo i blocchi 3, 4 e 5. Questa strategia mira agli strati semantici più profondi dove si formano astrazioni di alto livello, bilanciando l'estrazione di caratteristiche di basso livello con la raffinazione semantica di alto livello.

2. Paradigma di Addestramento:

   • Lo studio adotta un paradigma di apprendimento a due stadi (ispirato a lavori precedenti [7]).
   • Stadio 1: Il modello viene addestrato esclusivamente su campioni anomali per catturare pattern discriminatori specifici della classe, mitigando il dominio della classe "No-Finding".
   • Stadio 2: Il modello viene affinato su tutto il dataset per rafforzare l'apprendimento della rappresentazione globale.
   • Gli autori investigano varie funzioni di perdita, inclusa la Cross Entropy Binaria (BCE) e la Focal Loss, confrontando l'addestramento a stadio singolo con quello a due stadi.

3. Ablazione e Valutazione:

   • Lo studio conduce studi di ablazione per determinare il posizionamento ottimale dei moduli CBAM e l'efficacia di diverse configurazioni di addestramento.
   • La valutazione viene eseguita sul dataset ChestXray14 (112.120 immagini, 14 categorie di malattie) utilizzando una divisione basata sul paziente per prevenire la fuoriuscita di informazioni.

Contributi Chiave
Il paper delinea quattro contributi principali:

• Integrazione del Framework: Un framework CNN potenziato da CBAM che incorpora meccanismi di attenzione in backbone standard (DenseNet121, VGG16) per rifinire le rappresentazioni delle caratteristiche per la classificazione multi-etichetta.
• Strategia di Posizionamento: Uno schema fondato su principi per identificare i punti di inserimento ottimali per CBAM, dimostrando che l'integrazione dell'attenzione negli strati semantici più profondi produce risultati superiori rispetto a un posizionamento completo o minimo.
• Analisi dell'Addestramento: Uno studio di ablazione che investiga gli effetti della Focal Loss, dell'addestramento a stadio singolo e di una strategia a due stadi ispirata al curriculum. L'analisi evidenzia come le configurazioni di addestramento influenzino le prestazioni in presenza di squilibrio severo delle classi.
• Benchmark delle Prestazioni: Valutazione su ChestXray14 che mostra un miglioramento nel rilevamento di condizioni sottorappresentate rispetto ai baseline dello stato dell'arte.

Risultati
Il metodo proposto ottiene i seguenti risultati sul dataset ChestXray14:

• Prestazioni Complessive: Il modello VGG16 potenziato da CBAM ha raggiunto una media AUC di 0,8695, e il DenseNet121 potenziato da CBAM ha raggiunto 0,8681. Questi punteggi superano i precedenti benchmark, inclusi Wang et al. (0,7451), CheXNet (0,841) e SynthEnsemble (0,854).
• Rilevamento di Patologie Rare: I modelli hanno dimostrato resilienza allo squilibrio delle classi nelle categorie rare:
  • Ernia: CBAM-DenseNet121 ha raggiunto un AUC di 0,9660 (vs 0,9172 nel lavoro precedente).
  • Enfisema: Ha raggiunto AUC di 0,9426 (DenseNet) e 0,9422 (VGG16).
  • Polmonite: CBAM-VGG16 ha raggiunto un AUC di 0,7915.
• Risultati dell'Ablazione:
  • Posizionamento: L'inserimento di CBAM dopo il 3° e il 4° blocco in DenseNet121 e dopo i blocchi 3, 4 e 5 in VGG16 ha prodotto le prestazioni più elevate. Limitare l'attenzione all'ultimo blocco ha causato un calo significativo delle prestazioni.
  • Strategia di Addestramento: L'approccio di addestramento a due stadi ha costantemente superato l'addestramento a stadio singolo, anche quando i modelli a stadio singolo utilizzavano la Focal Loss. Ad esempio, il DenseNet121 a due stadi (Loss BCE) ha raggiunto 0,8681, significativamente più alto del miglior risultato a stadio singolo di 0,8400 (Focal Loss). Ciò suggerisce che isolare i dati anomali nello stadio iniziale è critico per apprendere le semantiche inter-classe in dataset squilibrati.

Significato e Affermazioni
Il paper afferma che la sua architettura proposta offre un compromesso pratico tra capacità di modellazione ed efficienza. Potenziando le CNN standard con meccanismi di attenzione, il metodo migliora il rilevamento di patologie sottili e a bassa prevalenza senza l'overhead computazionale dei modelli basati su Transformer o la necessità di costose annotazioni a livello di pixel. Gli autori sottolineano che il curriculum di addestramento a due stadi è un fattore critico per superare lo squilibrio delle classi, permettendo al modello di apprendere efficacemente pattern discriminatori prima di generalizzare all'intero dataset. Il lavoro conclude che il dispiegamento mirato dei meccanismi di attenzione, combinato con curricoli di addestramento su misura, è essenziale per una diagnosi multi-etichetta robusta nell'imaging medico. Si suggerisce che il lavoro futuro si concentri sul potenziamento dell'interpretabilità clinica e sulla modellazione delle dipendenze inter-patologiche.