Riassunto Tecnico: CPS4 – Segmentazione della Colonna Vertebrale Semi-Supervisionata Guidata da Prompt di Classe con Vincolo di Coerenza Specifico per la Classe

Definizione del Problema

La segmentazione automatica della colonna vertebrale, specificamente la segmentazione multi-classe dei corpi vertebrali (VB) e dei dischi intervertebrali (IVD) nelle risonanze magnetiche (RM), è fondamentale per la diagnosi ortopedica e la pianificazione chirurgica. Sebbene i metodi di deep learning abbiano fatto progressi significari, essi dipendono fortemente dalle annotazioni a livello di pixel, che sono laboriose e richiedono conoscenze specialistiche. L'apprendimento semi-supervisionato (SSL) offre una soluzione utilizzando dati etichettati limitati insieme ad abbondanti dati non etichettati. Tuttavia, gli attuali metodi SSL, che tipicamente si affidano alla regolarizzazione della coerenza e alla pseudo-etichettatura, soffrono spesso di pseudo-etichette di bassa qualità. Queste etichette rumorose introducono una supervisione errata, causando l'attenzione del modello su caratteristiche irrilevanti e ostacolando l'efficace sfruttamento dei dati non etichettati.

Sebbene i Modelli Vision-Language (VLM) mostrino il potenziale per migliorare la qualità delle pseudo-etichette sfruttando i prompt testuali delle classi per generare mappe di segmentazione, gli attuali VLM mancano di vincoli espliciti per garantire la coerenza tra i prompt di classe e gli oggetti d'immagine specifici. Questa carenza porta a un debole legame semantico specifico per la classe e a interferenze tra le classi, risultando in una prestazione insoddisfacente nella generazione della mappa di segmentazione multi-classe.

Metodologia

Gli autori propongono CPS4, un nuovo framework che integra i prompt di classe nella segmentazione semi-supervisionata della colonna vertebrale attraverso una strategia di addestramento in due fasi.

Fase 1: Pre-addestramento VLM con Vincolo di Coerenza Specifico per la Classe

I VLM esistenti (ad esempio, CLIP, MedCLIP) eseguono l'allineamento cross-modale a livello di immagine, il che non riesce a garantire che i distinti prompt di classe si concentrino sui rispettivi oggetti. Per affrontare questo problema, CPS4 introduce una fase di pre-addestramento utilizzando un Modello Vision-Language (specificamente utilizzando ViT per la visione e BioClinicalBERT per il testo) con due nuove funzioni di perdita per imporre la coerenza tra i prompt di classe e le unità spinali:

1. Perdita di Attenzione a Livello di Token ($L_{token}$): Questa perdita ottimizza l'allineamento tra un token del prompt di classe ($F_{T,i}$) e i corrispondenti token di patch dell'immagine ($F_I$). Calcola un punteggio di similarità per generare una mappa di attenzione grossolana ($A_i$) e aggrega le attivazioni verso la regione prevista dell'unità spinale ($B_i$). L'obiettivo è costringere il prompt testuale a accoppiarsi strettamente con l'unità spinale target nello spazio semantico.
2. Perdita di Attenzione a Livello di Pixel ($L_{pixel}$): Per evitare che il modello sovra-aggreghi l'attenzione solo in certe sottoregioni di un'unità target, viene aggiunta un'obiettivo di cross-entropy a livello di pixel. Ciò assicura che la mappa di attenzione copra l'intera unità spinale target in modo uniforme.

La perdita totale di pre-addestramento è la media di $L_{token}$ e $L_{pixel}$.

Fase 2: Segmentazione della Colonna Vertebrale Semi-Supervisionata Guidata da Prompt di Classe

In questa fase, gli encoder vision-text pre-addestrati vengono utilizzati per migliorare il processo di pseudo-etichettatura per i dati non etichettati.

• Generazione della Mappa di Segmentazione Guidata dal Prompt di Classe: Per ogni immagine spinale non etichettata, il sistema genera una mappa di segmentazione binaria per ogni classe (ad esempio, "Vertebra Lombare 1") calcolando il prodotto scalare tra i token delle patch dell'immagine e i token del prompt di classe. Queste mappe vengono sovra-campionate (upsampled) e convertite in maschere binarie utilizzando il metodo automatico della soglia di OTSU. Tutte le mappe specifiche per classe vengono impilate per formare una mappa di segmentazione multi-classe unificata ($y^{text}$).
• Generazione e Ottimizzazione delle Pseudo-Etichette: Il framework impiega un'architettura Mean Teacher (MT) con una rete student e una rete teacher. La rete teacher genera pseudo-etichette ($y^t_u$) per le immagini non etichettate tramite Exponential Moving Average (EMA).
  • Perdita Supervisionata ($L_{sup}$): Calcolata tra le predizioni dello studente sui dati etichettati e la verità di base (ground truth).
  • Perdita Semi-Supervisionata ($L_{semi}$): Composta da due parti:
    1. $L^{text}_{semi}$: Perdita di coerenza tra la predizione dello studente sui dati non etichettati e la mappa generata dal prompt di classe ($y^{text}$).
    2. $L^{enhance}_{semi}$: Perdita di coerenza tra la predizione dello studente e una pseudo-etichetta migliorata creata integrando la pseudo-etichetta del teacher ($y^t_u$) e la mappa del prompt di classe ($y^{text}$).

Principali Contributi

1. Primo SSL Guidato dal Testo per la Segmentazione della Colonna Vertebrale: Questo lavoro è il primo a introdurre i prompt di classe testuali per migliorare la qualità delle pseudo-etichette nella segmentazione semi-supervisionata della colonna vertebrale.
2. Nuovo Vincolo di Coerenza Specifico per la Classe: Gli autori propongono un meccanismo di pre-addestramento specifico utilizzando perdite di attenzione a livello di token e di pixel per imporre vincoli espliciti, garantendo un forte accoppiamento semantico tra ogni prompt di classe e la sua unità spinale target.
3. Prestazioni allo Stato dell'Arte: Il metodo dimostra prestazioni superiori in varie proporzioni di dati etichettati, in particolare nei regimi con pochi dati.

Risultati Sperimentali

Il metodo è stato valutato sul dataset MRSpineSeg, che contiene immagini volumetriche RM pesate in T2 di 215 soggetti con 20 categorie (19 strutture spinali e background).

• Prestazioni: Utilizzando solo il 5% dei dati etichettati, CPS4 ha raggiunto un Dice score dell'80,44% e un mIoU del 70,63%.
• Confronto: Questi risultati superano i popolari metodi di apprendimento semi-supervisionato (ad esempio, MT, BCP, SS-Net) e gli approrenti approcci basati su VLM (ad esempio, CLIP, MedCLIP, MGCA, EGMA).
  • Rispetto al metodo sottottimale GraphCL con prompt di testo su dati etichettati al 5%, CPS4 ha migliorato l'mDice del 2,23% e l'mIoU del 2,42%.
• Robustezza: Gli studi di ablazione hanno confermato che sia la perdita a livello di token che quella a livello di pixel contribuiscono significativamente alle prestazioni. Il metodo ha mostrato guadagni di prestazioni stabili all'aumentare del rapporto di dati etichettati dal 5% al 50%, superando nettamente il baseline MT.
• Visualizzazione: Le mappe di attenzione generate da CPS4 mostrano un forte allineamento con le unità spinali target, mentre i VLM di base (come MedCLIP) presentano attivazioni sparse e un debole legame semantico.

Significato

L'articolo sostiene che CPS4 mitiga efficacemente il problema della scarsità di etichette nella segmentazione della colonna vertebrale sfruttando il potere semantico del testo per guidare la generazione di pseudo-etichette di alta qualità. Imponendo esplicitamente la coerenza tra i prompt di classe e le unità spinali durante il pre-addestramento, il framework supera i limiti degli attuali VLM nei compiti di imaging medico. I risultati suggeriscono che questo approccio consente una generazione di pseudo-etichette guidata da prompt di classe più affidabile, migliorando significativamente l'efficacia dell'apprendimento semi-supervisionato in scenari con dati annotati limitati. Gli autori segnalano che il loro codice sarà reso disponibile per facilitare ulteriori ricerche.