Unsupervised Source-Free Ranking of Biomedical Segmentation Models Under Distribution Shift

1. Il Problema

Nel campo dell'imaging biomedico, la segmentazione è fondamentale per l'interpretazione di strutture biologiche e anatomiche. Tuttavia, l'addestramento di modelli di deep learning richiede dati annotati, un processo costoso e laborioso che spesso limita l'adozione pratica. Sebbene esistano repository di modelli pre-addestrati (come il BioImage Model Zoo) e modelli generalisti, selezionare il modello più adatto per un nuovo dataset target rimane una sfida significativa, specialmente quando:

• Non sono disponibili etichette nel dominio target (source-free e unsupervised).
• Esiste uno spostamento della distribuzione dei dati (distribution shift) tra il dominio di addestramento (source) e quello di applicazione (target).
• I modelli provengono da architetture eterogenee o sono "black-box".
• Le metriche di trasferimento esistenti, spesso sviluppate per la classificazione, falliscono nel correlare con le prestazioni reali nella segmentazione (sia semantica che di istanza) in contesti biomedici.

2. Metodologia: Consistency Model Ranking (CMR)

Gli autori propongono CMR, il primo framework compatibile con i black-box per il ranking non supervisionato e privo di dati sorgente di modelli di segmentazione. Il metodo si basa sull'ipotesi che un modello che trasferisce bene su un nuovo dominio manterrà una maggiore coerenza delle previsioni quando sottoposto a piccole perturbazioni, indicando margini di decisione più ampi e robusti.

Il processo si articola come segue:

1. Perturbazioni: Si applicano perturbazioni agli input dell'immagine (es. rumore gaussiano, variazioni di luminosità/contrasto, correzione gamma) o direttamente agli spazi delle feature interne del modello (es. Test-Time Dropout - TTD) durante l'inferenza.
2. Misura della Coerenza: Si confrontano le previsioni originali con quelle perturbate per quantificare la stabilità del modello.
   • Per la Segmentazione Semantica: Vengono utilizzati due indicatori:
     • CMR-EI (Effective Invariance): Una metrica "soft" che considera sia la coerenza delle etichette che la confidenza (softmax).
     • CMR-NHD (Normalized Hamming Distance): Una metrica "hard" basata sul conteggio dei pixel che cambiano etichetta (simile all'IoU ma focalizzato sui flip di classe).
   • Per la Segmentazione di Istanza: Poiché le etichette delle istanze sono permutabili e non fisse, il confronto diretto pixel-per-pixel è impossibile. Gli autori utilizzano l'Adapted Rand Score (ARS) su coppie di pixel, misurando l'accordo sulla partizione degli oggetti tra previsione originale e perturbata.
3. Punteggio Finale: Il punteggio di ranking per un modello è la mediana dei punteggi di coerenza calcolati su tutte le immagini del dataset target e su più perturbazioni. I modelli sono poi ordinati in base a questo punteggio.

Il metodo è agnostico rispetto all'architettura e richiede solo l'accesso alle previsioni di output, rendendolo ideale per repository di modelli eterogenei.

3. Contributi Chiave

1. Primo metodo unificato: Introduce il primo metodo non supervisionato e source-free capace di valutare e classificare sia la segmentazione semantica che quella di istanza.
2. Compatibilità Black-Box: Funziona senza accesso ai pesi del modello, alle feature interne o ai dati di addestramento, operando esclusivamente sulle previsioni.
3. Validazione su scenari reali: Il metodo è stato testato su una vasta gamma di task biomedici (nuclei, cellule, mitocondri) in 2D e 3D, inclusi dati di microscopia elettronica e ottica, nonché su un benchmark competitivo (ToothFairy2 per la segmentazione 3D CBCT).
4. Efficacia post-UDA: Dimostra di funzionare anche dopo l'adattamento di dominio non supervisionato (UDA), aiutando a selezionare i modelli adattati migliori senza bisogno di etichette.

4. Risultati Sperimentali

Gli esperimenti hanno mostrato che le stime di ranking di CMR correlano fortemente con le prestazioni reali (misurate tramite F1-score o mAP) nel dominio target:

• Superiorità rispetto alle Baseline: CMR supera significativamente le metriche di trasferibilità supervisionate (come LEEP, LogME, H-score) e non supervisionate (come Transfer Score, NuNo, Dispersion), che spesso falliscono o mostrano correlazioni negative nei task di segmentazione biomedica.
• Robustezza: Il metodo mantiene alte correlazioni (Kendall tau > 0.7-0.9 in molti casi) su diversi dataset e architetture, indipendentemente dal fatto che i modelli siano stati addestrati con o senza augmentation.
• Segmentazione di Istanza: CMR-ARS supera i metodi esistenti basati su ensemble (come SEG), che riducono il problema al rilevamento di centroidi e ignorano la qualità dei bordi. CMR valuta direttamente la coerenza a livello di pixel.
• Efficienza: Richiede solo due passaggi di inferenza per immagine (originale + perturbata), rendendolo computazionalmente efficiente rispetto ad altri metodi che richiedono molte iterazioni o calcoli complessi.
• Caso d'uso Challenge: Nel challenge ToothFairy2, CMR è riuscito a riprodurre il ranking medio dei modelli basato sul DICE senza accedere alle etichette del test set.

5. Significato e Implicazioni

Questo lavoro risolve un collo di bottiglia critico nell'adozione dell'IA in biomedicina: la selezione di modelli in assenza di dati annotati.

• Riuso Scalabile: Permette ai ricercatori e ai clinici di sfruttare efficacemente i vasti repository di modelli (come BioImage Model Zoo) selezionando automaticamente l'opzione migliore per il proprio dataset specifico.
• Indipendenza dalle Etichette: Rimuove la necessità di costose annotazioni esperte solo per valutare quale modello usare prima dell'implementazione o dell'adattamento.
• Generalità: La capacità di gestire sia la segmentazione semantica che di istanza, e di operare su modelli black-box, rende CMR uno strumento pratico e immediatamente applicabile in contesti reali dove i dati sono scarsi e le distribuzioni variano.

In sintesi, il paper introduce un paradigma basato sulla coerenza delle previsioni sotto perturbazione come proxy affidabile per la qualità del trasferimento, offrendo una soluzione robusta, efficiente e agnostica per la selezione di modelli di segmentazione biomedica.