Adapting Medical Vision Foundation Models for Volumetric Medical Image Segmentation via Active Learning and Selective Semi-supervised Fine-tuning

Questo articolo propone il framework Active Selective Semi-supervised Fine-tuning (ASSFT), che migliora l'adattamento dei modelli fondazionali di visione medica per la segmentazione volumetrica combinando una strategia di apprendimento attivo che seleziona campioni informativi basandosi sulla divergenza di conoscenza e sulla difficoltà anatomica con un approccio semi-supervisionato che sfrutta dati non etichettati affidabili per massimizzare le prestazioni in condizioni di budget di annotazione limitato.

L'essenziale

Immagina di avere un brillante studente di medicina che ha passato anni a studiare milioni di libri di anatomia generici (questo è il Modello Fondamentale di Visione Medica, o Med-VFM). Conosce il corpo umano a fondo, ma non ha mai visto una specifica macchina per risonanza magnetica o i dati dei pazienti di un ospedale particolare.

Ora, vuoi che questo studente inizi a lavorare in un nuovo ospedale (il Dominio Target) per aiutare i medici a segmentare gli organi (come disegnare contorni attorno al fegato o ai reni) su scansioni 3D. Il problema? Le scansioni del nuovo ospedale appaiono leggermente diverse e lo studente non è ancora stato addestrato su di esse. Se lasci che indovini, commetterà errori. Se gli chiedi di studiare ogni singola nuova scansione e di farle etichettare da un esperto umano, ci vorrebbe un'eternità e costerebbe una fortuna.

Questo articolo introduce un modo intelligente ed efficiente per addestrare questo studente: Affinamento Semi-supervisionato Attivo e Selettivo (ASSFT). Immaginalo come un sistema di "Super Tutor" che aiuta lo studente a imparare lo stile specifico del nuovo ospedale utilizzando il minor numero possibile di esempi.

Ecco come funziona il sistema, scomposto in passaggi semplici:

1. La Strategia del "Super Tutor" (Apprendimento Attivo)

Invece di chiedere allo studente di studiare scansioni a caso, il sistema agisce come un tutor intelligente che sa esattamente quali esempi insegneranno di più allo studente.

Il sistema utilizza due speciali "occhiali" per selezionare le migliori scansioni da mostrare allo studente:

• Occhiali #1: La Lente del "Gap di Conoscenza" (DKD)
  Immagina che lo studente abbia una mappa mentale del corpo. Questa lente cerca scansioni in cui la mappa dello studente è completamente sbagliata o mancano pezzi. Si chiede: "Questa scansione mostra qualcosa che lo studente non ha mai visto prima?" Se la risposta è sì, è un elemento di studio ad alta priorità. Assicura anche che lo studente non studi solo lo stesso tipo di fegato strano due volte; garantisce che veda una varietà di cose nuove.
• Occhiali #2: La Lente dell'"Anatomia Insidiosa" (ASD)
  A volte, una scansione può essere confusa non perché è nuova, ma perché l'organo ha una forma strana o è difficile da vedere. Questa lente guarda specificamente gli organi (il primo piano) e ignora lo spazio vuoto (lo sfondo). Si chiede: "È difficile tracciare il contorno di questo organo?" Se lo studente fatica a indovinare dove finisce il rene e inizia il muscolo, questa lente segnala quella scansione come priorità assoluta per lo studio.

Il Risultato: Il sistema seleziona solo le scansioni più confuse e uniche, chiede a un esperto umano di etichettarle e poi insegna allo studente. Questo fa risparmiare un'enorme quantità di tempo perché lo studente impara prima dalle "cose difficili".

2. La Strategia del "Indovino Sicuro" (Apprendimento Semi-supervisionato Selettivo)

Una volta che lo studente ha appreso dagli esempi etichettati dall'esperto, ci sono ancora migliaia di scansioni non etichettate nella pila. Il sistema non le ignora. Invece, lascia che lo studente provi a etichettarle da solo, ma con una rete di sicurezza.

• La Rete di Sicurezza: Il sistema permette allo studente di "studiare da solo" solo le scansioni in cui lo studente è molto sicuro e in cui la scansione appare molto simile a quelle già etichettate dall'esperto.
• Il Filtro: Se lo studente è incerto o la scansione sembra totalmente diversa da ciò che ha imparato, il sistema dice: "No, non indovinare su questa ancora." Questo impedisce allo studente di imparare cattive abitudini (etichette errate) dai propri errori.

3. Il Ciclo

Il processo si ripete in un ciclo:

1. Scegli i nuovi esempi migliori utilizzando le due lenti (Gap di Conoscenza + Anatomia Insidiosa).
2. Falle etichettare da un umano.
3. Lascia che lo studente studi queste nuove etichette più quelle "sicure" non etichettate che ha indovinato correttamente.
4. Ripeti finché lo studente non diventa un esperto sui dati del nuovo ospedale.

Perché è una grande novità?

L'articolo ha testato questo approccio su cinque diversi dataset medici (diverse parti del corpo, diversi tipi di scansioni come TC e RM). Hanno scoperto che:

• È più veloce: Il sistema ha raggiunto prestazioni a livello di esperto utilizzando solo una minuscola frazione dei dati etichettati necessari ai metodi tradizionali.
• È più intelligente: Ha costantemente battuto altri metodi che selezionavano semplicemente scansioni a caso o guardavano solo all'"incertezza".
• Funziona senza i vecchi dati: Di solito, per adattare un modello, è necessario vedere i dati di addestramento originali. Questo sistema funziona anche se quei dati originali sono bloccati per motivi di privacy.

In sintesi: Questo articolo offre all'IA medica un modo per imparare rapidamente un nuovo lavoro studiando solo gli esempi più interessanti e difficili, ignorando attentamente le cose facili e le congetture confuse. Trasforma un'IA "taglia unica" in un esperto specializzato con molto poco aiuto umano.

Sommario tecnico

Riepilogo Tecnico: Affinamento Fine Semi-supervisionato Selettivo Attivo per Modelli Fondamentali di Visione Medica

1. Enunciato del Problema

I Modelli Fondamentali di Visione Medica (Med-VFMs), pre-addestrati su grandi dataset medici non etichettati tramite apprendimento auto-supervisionato, hanno dimostrato un forte potenziale per l'analisi di immagini mediche. Tuttavia, le loro prestazioni nei compiti a valle, in particolare nella segmentazione di immagini mediche volumetriche, rimangono limitate quando applicati a nuovi domini target.

Le attuali strategie di adattamento affrontano tre limitazioni primarie:

1. Selezione inefficiente dei campioni: I metodi esistenti di Apprendimento Attivo (AL) e Adattamento Attivo di Dominio (ADA) spesso si basano su campionamento casuale o metriche semplici di incertezza/diversità. Questi approcci non sfruttano esplicitamente la conoscenza pre-addestrata dei Med-VFMs per identificare campioni contenenti pattern del dominio target "non appresi". Inoltre, le metriche a livello di immagine tendono a favorire la selezione basata sull'incertezza dello sfondo, trascurando le strutture anatomiche informative in primo piano.
2. Dipendenza dai dati sorgente: Molti metodi di adattamento di dominio richiedono l'accesso ai dati del dominio sorgente per guidare l'adattamento. Nella pratica, i dati di pre-addestramento per i Med-VFMs sono spesso indisponibili a causa di vincoli sulla privacy, rendendo questi metodi inapplicabili.
3. Addestramento semi-supervisionato rumoroso: Sebbene l'apprendimento semi-supervisionato (SSL) possa sfruttare abbondanti dati target non etichettati, l'uso ingenuo di tutti i campioni pseudo-etichettati introduce rumore, specialmente nelle prime fasi di adattamento quando il modello non è ancora affidabile. Ciò può degradare le prestazioni o causare l'overfitting del modello su pseudo-etichette rumorose invece che sull'apprendimento da dati etichettati di alta qualità.

La sfida centrale è adattare i Med-VFMs ai domini target in modo efficiente sotto un budget di annotazione limitato, senza dati sorgente, massimizzando al contempo l'utilità sia dei campioni target etichettati che di quelli non etichettati.

2. Metodologia: Affinamento Fine Semi-supervisionato Selettivo Attivo (ASSFT)

Gli autori propongono ASSFT, un framework che integra una strategia di apprendimento attivo con un meccanismo di affinamento fine semi-supervisionato selettivo. Il framework opera in modo iterativo su $R$ round senza richiedere l'accesso ai dati del dominio sorgente.

2.1. Strategia di Query Attiva dei Campioni al Momento del Test

Per selezionare i campioni più informativi per l'annotazione, gli autori introducono una strategia di query basata su due metriche complementari: Divergenza di Conoscenza Diversificata (DKD) e Difficoltà di Segmentazione Anatomiche (ASD).

• Divergenza di Conoscenza Diversificata (DKD): Questa metrica identifica campioni che introducono nuova conoscenza rispetto al modello pre-addestrato, garantendo al contempo la diversità all'interno del dataset target. Comprende due componenti:

  • Divergenza di Conoscenza Prioritaria e Adattiva (PAKD): Misura la distanza coseno tra gli embedding delle caratteristiche provenienti dal codificatore pre-addestrato iniziale $E^{(0)}$ e il codificatore adattato $E^{(i)}$. Un alto PAKD indica che il campione contiene informazioni specifiche del dominio non ancora catturate dal modello.
  • Dissimilarità a Coppie (PD): Misura la dissimilarità semantica di un campione candidato rispetto ai campioni precedentemente classificati con alto PAKD, per evitare ridondanza e promuovere la diversità intra-dominio.
  • Punteggio DKD: Definito come il prodotto di PAKD e PD.

• Difficoltà di Segmentazione Anatomiche (ASD): Questa metrica si concentra sulla difficoltà di segmentare le strutture anatomiche in primo piano piuttosto che sull'intero volume dell'immagine.

  • Per prevenire il dominio dello sfondo, viene applicato un meccanismo di scalatura della temperatura $\tau(r)$ alla probabilità della classe di sfondo, che diminuisce dinamicamente da 3 a 1.5 durante i round di adattamento.
  • Viene generata una maschera binaria di primo piano basata sulle probabilità aggiustate.
  • Il punteggio ASD è calcolato come l'entropia delle probabilità di classe all'interno della regione di primo piano. Un alto ASD indica pattern anatomici complessi che sono impegnativi per il modello.

• Criterio di Query Unificato: I punteggi DKD e ASD vengono normalizzati e trasformati tramite mappatura quantile per garantire la comparabilità, quindi sommati per formare il punteggio di query finale $Q(x)$. I primi $N_B$ campioni vengono selezionati per l'annotazione da parte di esperti.

2.2. Affinamento Fine Semi-supervisionato Selettivo

Per sfruttare i dati non etichettati senza introdurre rumore, il framework impiega un processo a tre stadi in ogni round:

1. Affinamento Fine Supervisionato: Il modello viene prima aggiornato utilizzando i campioni target etichettati attualmente disponibili.
2. Selezione dei Campioni Non Etichettati Affidabili: Un sottoinsieme di campioni non etichettati viene selezionato per la pseudo-etichettatura basandosi su:
   • Confidenza Predittiva: Il margine tra le due probabilità di classe predette più alte nelle regioni di primo piano.
   • Distanza Semantica: La distanza coseno minima tra l'embedding delle caratteristiche del campione candidato e gli embedding dei campioni etichettati (ancore).
   • I campioni con alta confidenza e piccola distanza semantica sono considerati affidabili. Il numero di campioni selezionati ($N_{SU}$) aumenta con il numero di iterazioni ($N_{SU} = N_B \cdot r$).
3. Affinamento Fine basato su Pseudo-etichette: Vengono generate pseudo-etichette per i campioni affidabili selezionati. Queste vengono combinate con il set etichettato per formare un set di addestramento aumentato per un ulteriore affinamento fine.

Nota: I campioni selezionati per la pseudo-etichettatura sono esplicitamente esclusi dal pool di candidati per il successivo round di apprendimento attivo per evitare annotazioni ridondanti.

3. Contributi Chiave

1. Framework ASSFT: Un framework unificato per adattare i Med-VFMs ai compiti di segmentazione volumetrica che integra apprendimento attivo e apprendimento semi-supervisionato selettivo, operando senza dati del dominio sorgente.
2. Query Attiva dei Campioni al Momento del Test: Una strategia innovativa che utilizza DKD e ASD per selezionare campioni informativi. DKD cattura la novità della conoscenza e la diversità, mentre ASD dà priorità alla complessità anatomica, affrontando le limitazioni dei metodi standard basati sull'incertezza.
3. Affinamento Fine Semi-supervisionato Selettivo: Un meccanismo che incorpora selettivamente campioni non etichettati affidabili basandosi sulla confidenza predittiva e sulla prossimità semantica ai dati etichettati, mitigando i rischi delle pseudo-etichette rumorose.
4. Validazione Estensiva: Esperimenti completi su cinque diversi compiti di segmentazione di immagini mediche volumetriche (differenti modalità, strutture anatomiche e scale di dataset).

4. Risultati Sperimentali

Gli autori hanno valutato ASSFT su cinque dataset: AMOS2022-CT, FLARE 2021, Abdomen Atlas, AMOS2022-MRI e Abdominal MRI.

• Prestazioni: ASSFT ha costantemente superato i metodi AL e ADA dello stato dell'arte (inclusi Random, Entropy, Core-set, BADGE, SANN, UGTST e CUP) su tutti i dataset e budget di query.
  • Su AMOS2022-CT, con solo il 5% di campioni interrogati, ASSFT ha raggiunto un punteggio Dice di 80.51, superando la solida baseline UGTST di circa 4.7 punti e la selezione casuale di circa 7.2 punti.
  • Su AMOS2022-MRI (adattamento cross-modale), ASSFT ha migliorato il punteggio Dice da una baseline quasi zero-shot di 0.46 a 52.06 con il 5% di campioni interrogati, un guadagno di oltre 51 punti.
  • Su Abdominal MRI (setting few-shot), ASSFT ha raggiunto un Dice di 83.98 con soli 3 campioni etichettati (3-shot), superando significativamente altri metodi.
• Efficienza: Il metodo si avvicina rapidamente alle prestazioni del limite superiore completamente supervisionato (100% di dati etichettati) con una frazione del costo di annotazione. Ad esempio, su FLARE 2021, il 25% di campioni interrogati ha permesso al modello di raggiungere il 97.96% delle prestazioni completamente supervisionate.
• Studi di Ablazione:
  • La rimozione della componente semi-supervisionata (solo DKD+ASD) ha portato a prestazioni inferiori, confermando il valore della pseudo-etichettatura selettiva.
  • L'uso di PAKD o PD individualmente è stato inferiore alla metrica DKD combinata.
  • La scalatura dinamica della temperatura in ASD si è dimostrata superiore alla temperatura fissa o all'assenza di mascheratura.
  • L'analisi statistica (test U di Mann-Whitney) ha confermato che i campioni selezionati per la pseudo-etichettatura avevano punteggi Dice significativamente più alti rispetto ai campioni non selezionati ($p < 0.01$).

5. Significato e Affermazioni

Il paper afferma che ASSFT fornisce una soluzione efficiente in termini di annotazione e generalizzabile per il dispiegamento dei Med-VFMs in contesti clinici dove:

• I dati sorgente non sono disponibili: Il metodo opera in un setting di adattamento di dominio senza sorgente, cruciale per i dati medici vincolati dalla privacy.
• Le annotazioni sono scarse: Selezionando attivamente i campioni più informativi e sfruttando dati non etichettati affidabili, il framework raggiunge alte prestazioni con un'etichettatura esperta minima.
• Il cambiamento di dominio è significativo: Il framework dimostra robustezza attraverso diverse modalità di imaging (da CT a MRI) e diverse complessità anatomiche.

Gli autori sottolineano che il loro approccio affronta le limitazioni specifiche dell'applicazione di modelli fondamentali alla segmentazione medica, in particolare la necessità di bilanciare la novità della conoscenza, la diversità dei dati e la difficoltà anatomica specifica del compito. Concludono che ASSFT facilita la traduzione dei Med-VFMs in flussi di lavoro clinici pratici riducendo significativamente il carico di annotazione mantenendo al contempo un'alta accuratezza di segmentazione.