OOD-SEG: Exploiting out-of-distribution detection techniques for learning image segmentation from sparse multi-class positive-only annotations

1. Il Problema

Il lavoro affronta due sfide critiche nella segmentazione di immagini mediche e chirurgiche basata su reti neurali profonde:

1. Carenza di annotazioni dense: Ottenere etichette a livello di pixel per tutte le classi è costoso, richiede tempo e competenza di esperti. Spesso, le annotazioni disponibili sono sparse (solo alcune regioni sono etichettate) e positive-only (solo le classi di interesse sono etichettate, mentre lo sfondo e altre strutture non etichettate sono ignorate).
2. Mancanza di rilevamento Out-of-Distribution (OOD): I pipeline di segmentazione convenzionali assumono che tutti i dati di test provengano dalla stessa distribuzione di addestramento (In-Distribution, ID). In ambienti clinici reali, questo porta a output errati quando il modello incontra nuovi strumenti chirurgici, tessuti non visti o artefatti, senza poterli segnalare come incerti.

L'approccio tradizionale di trattare i pixel non etichettati come "sfondo" (classe negativa) introduce rumore sistematico, poiché quei pixel potrebbero effettivamente appartenere a classi positive non etichettate per ambiguità o vincoli temporali.

2. Metodologia: Il Framework OOD-SEG

Gli autori propongono un framework innovativo che ricade nel paradigma dell'apprendimento Positive-Unlabelled (PU) e sfrutta tecniche di rilevamento OOD.

Formulazione del Problema

• Apprendimento Positive-Only: Il modello viene addestrato esclusivamente sui pixel etichettati come positivi (classi ID). Non vengono fornite annotazioni per lo sfondo o per le classi negative.
• Trattamento dei Pixel Non Etichettati: I pixel non etichettati non sono considerati negativi, ma potenzialmente appartenenti a classi positive non viste o a classi OOD (sfondo/artefatti).
• Rilevamento OOD a livello di pixel: Il framework tratta il problema di segmentazione come un problema di rilevamento di outlier. I pixel che non rientrano nelle distribuzioni delle classi positive apprese vengono identificati come OOD (sfondo).

Architettura e Tecniche

Il framework utilizza una rete di segmentazione standard (basata su U-Net con encoder EfficientNet-B4) addestrata con una funzione di perdita a entropia incrociata sui soli pixel annotati. Durante l'inferenza, viene introdotta una funzione di punteggio di confidenza $S$ per determinare se un pixel appartiene a una classe ID o è OOD.
Vengono integrate e confrontate diverse tecniche di scoring OOD:

1. Baseline: Softmax diretto dell'output della rete.
2. ODIN (Out-of-Distribution INdicator): Utilizza il temperature scaling e perturbazioni avversarie (in questo lavoro, solo temperature scaling con $T=10$) per calibrare i punteggi di confidenza.
3. Mahalanobis Distance: Calcola la distanza statistica delle feature intermedie rispetto alle distribuzioni gaussiane delle classi ID (media e covarianza).
4. GODIN (Generalized ODIN): Una versione adattata per la segmentazione che introduce un layer convoluzionale per apprendere una funzione di temperatura e una misura di similarità specifica per ogni pixel, estendendo il metodo originale di Hsu et al. (2020).

La decisione finale avviene applicando una soglia di confidenza $\tau$: se il punteggio massimo è superiore a $\tau$, il pixel viene assegnato alla classe ID corrispondente; altrimenti, viene classificato come OOD (sfondo).

Strategia di Valutazione (Cross-Validation a Due Livelli)

Poiché mancano dataset OOD standardizzati per la segmentazione medica, gli autori propongono una strategia di cross-validation a due livelli basata su:

• Partizioni per Soggetto (SP): Garantisce che non ci sia sovrapposizione di pazienti tra training e test.
• Partizioni per Classe (CP): Durante l'addestramento di una specifica fold, alcune classi etichettate vengono "tenute fuori" (held-out). Queste classi agiscono come dati OOD per quella specifica fold, permettendo di valutare la capacità del modello di rilevare classi non viste senza bisogno di dataset esterni.

Metriche

Vengono utilizzate metriche indipendenti dalla soglia:

• AUROC (Area Under the ROC Curve) e AUPR (Area Under the Precision-Recall curve) calcolate distinguendo tra classi ID (positive) e classi tenute fuori (negative/OOD).

3. Contributi Chiave

1. Nuovo Framework di Segmentazione: Prima proposta, a quanto ne sanno gli autori, che formula la segmentazione multi-classe con annotazioni sparse positive-only come un problema di apprendimento PU risolto tramite tecniche OOD.
2. Protocollo di Valutazione Innovativo: Introduzione di una strategia di cross-validation che simula scenari OOD all'interno di un singolo dataset, eliminando la necessità di dataset di test OOD aggiuntivi e costosi da annotare.
3. Adattamento di Metodi OOD: Estensione di metodi OOD classici (come GODIN) per operare a livello di pixel nella segmentazione, dimostrando come strumenti di classificazione possano essere riutilizzati efficacemente.
4. Validazione su Dati Reali: Sperimentazione su dataset complessi di imaging chirurgico, inclusi dati iperspettrali (HSI) e RGB laparoscopici.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su tre dataset:

• Heiporspectral: Dati iperspettrali di organi porcini (20 classi).
• ODSI-DB: Dati iperspettrali di tessuti dentali umani (9 classi selezionate).
• DSAD: Dati RGB laparoscopici di organi addominali (11 classi).

Risultati Principali:

• Prestazioni OOD: Il metodo ODIN ha ottenuto le prestazioni migliori in termini di AUROC e AUPR su tutti i dataset, superando significativamente la baseline e gli altri metodi (Mahalanobis e GODIN). Ciò suggerisce che una calibrazione accurata della confidenza è cruciale per il rilevamento OOD nella segmentazione.
• Robustezza: Il framework riesce a rilevare efficacemente i pixel OOD (inclusi le classi tenute fuori) senza compromettere l'accuratezza di classificazione delle classi ID.
• Generalizzazione: I risultati sono coerenti tra dati iperspettrali e RGB, dimostrando la versatilità del metodo.
• Analisi Qualitativa: Le visualizzazioni mostrano che il modello evita di assegnare erroneamente pixel di sfondo o classi non viste alle classi positive, a differenza delle baseline che tendono a essere eccessivamente confidenti.

5. Significato e Impatto

Questo lavoro è significativo per diversi motivi:

• Sicurezza Clinica: Fornisce un meccanismo per segnalare situazioni in cui il modello potrebbe fallire (rilevamento OOD), un requisito fondamentale per l'implementazione di sistemi autonomi in chirurgia.
• Efficienza delle Annotazioni: Permette di addestrare modelli robusti utilizzando annotazioni sparse e positive-only, riducendo drasticamente il carico di lavoro per gli esperti medici.
• Benchmarking: La proposta di una nuova strategia di valutazione basata su hold-out di classi offre un protocollo standardizzabile per la ricerca futura nella segmentazione medica OOD, colmando il gap tra la teoria della classificazione OOD e la pratica della segmentazione medica.

In sintesi, OOD-SEG dimostra che è possibile costruire sistemi di segmentazione medica sicuri ed efficienti anche in assenza di annotazioni complete, trasformando il problema della mancanza di etichette negative in un'opportunità per il rilevamento di anomalie.