SwinTextUNet: Integrating CLIP-Based Text Guidance into Swin Transformer U-Nets for Medical Image Segmentation

1. Il Problema

La segmentazione precisa delle immagini mediche è fondamentale per la diagnosi assistita da computer (CAD) e la pianificazione terapeutica. Tuttavia, i modelli tradizionali basati esclusivamente su caratteristiche visive (come le CNN classiche o i Transformer unimodali) mostrano limiti significativi quando affrontano pattern ambigui, a basso contrasto o rumorosi.
Un aspetto critico trascurato da queste architetture è l'uso delle informazioni testuali (es. referti radiologici, note diagnostiche) che i clinici utilizzano regolarmente per interpretare le immagini. L'assenza di questo contesto semantico riduce la robustezza del modello in scenari clinici complessi. Sebbene esistano modelli Vision-Language (VLM) come CLIP, la loro integrazione in compiti di segmentazione medica supervisionata e end-to-end rimane poco esplorata.

2. Metodologia: SwinTextUNet

Gli autori propongono SwinTextUNet, un framework di segmentazione multimodale che integra le embedding testuali derivate da CLIP (Contrastive Language-Image Pre-training) all'interno di un backbone Swin Transformer U-Net. L'architettura è composta da quattro componenti principali:

• Codifica del Testo (CLIP): Viene utilizzato un encoder CLIP pre-addestrato (congelato) per trasformare i prompt testuali (es. "infezione polmonare bilaterale") in embedding semantici. Questi vengono proiettati nella dimensione dei token visivi per l'allineamento.
• Codifica Visiva (Swin Transformer): L'immagine medica (es. radiografia del torace) viene elaborata da un encoder gerarchico basato su Swin Transformer, che cattura sia il contesto semantico globale che i dettagli fini attraverso finestre spostate (shifted windows).
• Fusione Multimodale:
  • Cross-Attention Guidata dal Testo: Ad ogni stadio dell'encoder, i token visivi vengono raffinati utilizzando un meccanismo di attenzione incrociata asimmetrica, dove i token visivi "ascoltano" i token testuali. Questo permette al contesto semantico di guidare le caratteristiche visive senza sovrastare le strutture locali.
  • ConvFuse (Fusione Convoluzionale): Un blocco ibrido che fonde le mappe di skip (dall'encoder) con le feature upsampled del decoder tramite convoluzioni. Questo migliora la ricostruzione dei bordi e sfrutta la continuità spaziale locale.
• Decoder e Output: Il decoder ricostruisce la maschera di segmentazione a piena risoluzione, utilizzando un'architettura a patch expansion e i blocchi ConvFuse, ottimizzata con una funzione di perdita ibrida (Dice + Cross-Entropy).

3. Contributi Chiave

1. Nuova Architettura Multimodale: Introduzione di una variante di Swin Transformer U-Net che incorpora esplicitamente embedding testuali CLIP per la segmentazione medica.
2. Meccanismo di Condizionamento Testuale: Sviluppo di un meccanismo di fusione che integra le embedding semantiche con i token delle immagini sia nell'encoder che nel decoder, garantendo un allineamento cross-modale efficace.
3. Approccio End-to-End Supervisionato: A differenza di lavori precedenti che spesso si basano su moduli fondazionali esterni o supervisione debole, SwinTextUNet è un framework completamente supervisionato e addestrato da capo.

4. Risultati Sperimentali

Il modello è stato valutato sul dataset QaTa-COV19, che contiene 9.258 radiografie del torace con annotazioni manuali delle lesioni COVID-19 e descrizioni testuali associate.

• Performance Quantitativa: La variante a 4 stadi ha raggiunto il miglior compromesso tra complessità e prestazioni, ottenendo:
  • Dice Score: 86.47%
  • IoU (Intersection over Union): 78.2%
• Analisi di Ablazione:
  • Rimuovere la guida testuale ha causato un calo significativo del 7.3% nel punteggio Dice e dell'8.8% nell'IoU, dimostrando l'importanza cruciale dei prior semantici.
  • L'assenza del blocco ConvFuse o dell'attenzione incrociata ha portato a riduzioni minori ma misurabili, confermando la sinergia dei moduli.
• Confronto con Baseline: SwinTextUNet ha superato tutti i modelli di riferimento, inclusi U-Net, Attention U-Net, CLIP puro e altri modelli basati su Transformer (come LViT), dimostrando una superiorità sia nella precisione che nella definizione dei bordi.
• Analisi Qualitativa: I risultati visivi mostrano che il modello produce confini più nitidi e riduce i falsi positivi, specialmente in casi di infezioni bilaterali complesse o multifocali, grazie all'orientamento fornito dal testo.

5. Significato e Implicazioni

Questo lavoro dimostra che l'integrazione di modelli Vision-Language (VLM) nei sistemi di segmentazione medica può migliorare significativamente la robustezza e l'accuratezza, specialmente in presenza di immagini ambigue.

• Avanzamento Clinico: L'uso di descrizioni testuali come guida permette al modello di simulare il processo decisionale del radiologo, che combina visione e conoscenza medica testuale.
• Scalabilità: L'approccio proposto offre una via percorribile per sviluppare strumenti diagnostici più interpretabili e affidabili.
• Limitazioni e Futuro: Lo studio è attualmente limitato a immagini 2D e a un singolo dataset. I lavori futuri mirano a estendere il modello a dataset 3D, a più patologie e a validarlo in flussi di lavoro clinici reali, affrontando la sfida della disponibilità non sempre garantita di annotazioni testuali in contesti clinici.

In sintesi, SwinTextUNet rappresenta un passo avanti significativo verso la fusione efficace di dati visivi e linguistici per la medicina di precisione.