Focal Modulation and Bidirectional Feature Fusion Network for Medical Image Segmentation

Di seguito è riportata una sintesi tecnica dettagliata del paper "Focal Modulation and Bidirectional Feature Fusion Network for Medical Image Segmentation" (riferito come FM-BFF-Net o M-BFF-Net nel testo).

1. Enunciazione del Problema

La segmentazione delle immagini mediche è fondamentale per compiti clinici come la diagnosi, la pianificazione del trattamento e il monitoraggio. Tuttavia, i metodi esistenti affrontano sfide significative:

• Limitazioni delle CNN: Le Reti Neurali Convoluzionali (CNN) tradizionali eccellono nel catturare caratteristiche spaziali locali, ma faticano con il contesto globale e le dipendenze a lungo raggio a causa dei loro campi ricettivi localizzati. Ciò porta a difficoltà nella segmentazione di strutture con bordi complessi, dimensioni variabili e basso contrasto.
• Limitazioni dei Transformer: Sebbene i Vision Transformers (ViT) catturino efficacemente il contesto globale tramite l'attenzione self, spesso mancano della capacità di preservare i dettagli spaziali locali fini-granulari essenziali per una delimitazione precisa dei confini.
• Variabilità Clinica: Le immagini mediche (Risonanza Magnetica, TC, Ecografia, ecc.) presentano un'alta variabilità nella qualità dell'immagine, nel contrasto e nelle strutture anatomiche, rendendo difficile per i modelli generalizzare attraverso diverse scale e modalità.

2. Metodologia: Architettura M-BFF-Net

Gli autori propongono un framework di deep learning ibrido che integra i punti di forza delle CNN (estrazione di caratteristiche locali) e dei Transformer (consapevolezza del contesto globale). L'architettura segue una struttura encoder-decoder con i seguenti componenti chiave:

A. Backbone e Encoder

• Backbone: Utilizza EfficientNetV2S1 come backbone per massimizzare l'efficienza computazionale.
• Blocchi Encoder: Comprende quattro blocchi encoder ($B_{enc}^{1}$ fino a $B_{enc}^{4}$) che estraggono caratteristiche gerarchiche.
• Connessioni Skip: Vengono stabilite connessioni skip aggregate tra encoder e decoder per preservare le informazioni spaziali.

B. Blocco di Attenzione ConvFormer basato su Focal Modulation (FMCAB)

Inserito tra i blocchi encoder e le connessioni skip, questo modulo rifina il flusso delle caratteristiche:

• Meccanismo: Combina operazioni convoluzionali con un meccanismo di attenzione a modulazione focalizzata.
• Funzione: Utilizza il Pooling Medio Globale (GAP) e il Pooling Massimo Globale (GMP) per calcolare i pesi di attenzione, permettendo al modello di focalizzarsi dinamicamente su regioni cruciali mentre modula adattivamente il contesto.
• Obiettivo: Migliora l'integrazione dei contesti locali e globali, potenziando la capacità del modello di gestire dimensioni e forme variabili delle lesioni.

C. Modulo Vision Transformer (ViTM)

Posizionato al livello bottleneck (tra encoder e decoder):

• Componenti: Integra l'Auto-attenzione basata su Token (TSA) e l'Auto-attenzione Spaziale Globale (GSA).
• Funzione: La TSA cattura le dipendenze a lungo raggio utilizzando matrici Query, Key e Value, mentre la GSA cattura le dipendenze di posizione globale. Ciò permette al modello di comprendere le relazioni in tutta l'immagine, affrontando le limitazioni delle operazioni CNN locali.

D. Modulo di Fusione Bidirezionale delle Caratteristiche (BiFFM)

Situato nella fase decoder per unire le caratteristiche dalle connessioni skip e le caratteristiche ricostruite del decoder:

• Meccanismo: Prende in ingresso dalla connessione skip dell'encoder ($s_n$) e dal ramo decoder. Li elabora attraverso percorsi paralleli che coinvolgono convoluzioni $1\times3$ e $3\times1$ e Shuffling dei Canali (CS).
• Funzione: Facilita un'interazione bidirezionale efficiente tra le rappresentazioni dell'encoder e del decoder. Armonizza i dettagli locali (dalle connessioni skip) con le informazioni semantiche globali (dal decoder), garantendo una ricostruzione precisa dei confini.

E. Decoder

• Utilizza Moduli di Rifinitura delle Caratteristiche (FRM) e il BiFFM per aumentare progressivamente la risoluzione e fondere le caratteristiche.
• L'output finale è generato tramite una convoluzione $1\times1$ seguita da un'attivazione sigmoide per produrre la maschera di segmentazione.

3. Contributi Chiave

1. Architettura Ibrida: Combina con successo CNN e Transformer per bilanciare l'estrazione di caratteristiche locali con la consapevolezza del contesto globale.
2. FMCAB: Introduce un blocco di attenzione innovativo che modula il flusso delle caratteristiche, migliorando l'adattabilità del modello a strutture anatomiche complesse.
3. BiFFM: Sviluppa un modulo di fusione bidirezionale che arricchisce il contesto in ogni fase del decoder, migliorando significativamente la precisione dei confini.
4. Efficienza: Impiega EfficientNetV2S1 come backbone per garantire che il modello rimanga computazionalmente efficiente, rendendolo adatto ad ambienti clinici con risorse limitate.

4. Risultati Sperimentali

Il modello è stato valutato su otto dataset pubblici in tre domini di imaging medico:

• Segmentazione di Polipi: Kvasir-SEG, CVC-ClinicDB, CVC-ColonDB.
• Segmentazione di Lesioni Cutanee: ISIC2016, ISIC2017, ISIC2018.
• Segmentazione Ecografica: BUSI (Seno), DDTI (Tiroide).

Metriche di Prestazione:
Il modello è stato confrontato con metodi all'avanguardia (SOTA) tra cui U-Net, UNet++, Swin-Unet, Meta-Polyp e altri.

• Segmentazione di Polipi: M-BFF-Net ha raggiunto un Indice di Jaccard del 92,96% su Kvasir-SEG, superando il secondo miglior metodo (Meta-Polyp al 92,10%) e mostrando miglioramenti fino al 34,54% sul dataset CVC-300.
• Segmentazione di Lesioni Cutanee: Ha costantemente superato i concorrenti su tutti i dataset ISIC, con miglioramenti dell'Indice di Jaccard che vanno dallo 0,05% all'11,61%.
• Segmentazione Ecografica: Ha ottenuto risultati superiori sui dataset BUSI e DDTI, con miglioramenti dell'Indice di Jaccard dallo 0,64% all'11,67% rispetto ai metodi esistenti.
• Qualità Visiva: L'analisi qualitativa ha mostrato che M-BFF-Net produce maschere che si allineano strettamente con la Verità Terrena (GT), in particolare nei casi con basso contrasto, forme irregolari e occlusioni.

5. Significato e Conclusione

• Impatto Clinico: Migliorando l'accuratezza della segmentazione e la precisione dei confini, il modello aiuta in una diagnosi più affidabile delle malattie e nella pianificazione del trattamento (ad esempio, delimitazione dei bordi tumorali).
• Robustezza: L'approccio ibrido dimostra un'alta adattabilità attraverso diverse modalità di imaging (endoscopia, dermatoscopia, ecografia) e caratteristiche variabili delle lesioni.
• Lavori Futuri: Gli autori suggeriscono di estendere il modello a dati volumetrici 3D e imaging multimodale, nonché di integrare la quantificazione dell'incertezza per fornire stime di affidabilità per il processo decisionale clinico.

In sintesi, M-BFF-Net rappresenta un avanzamento significativo nella segmentazione delle immagini mediche colmando efficacemente il divario tra l'estrazione di caratteristiche locali e la modellazione del contesto globale, risultando in una soluzione robusta e ad alta accuratezza per diverse applicazioni cliniche.