Label tree semantic losses for rich multi-class medical image segmentation

Riepilogo Tecnico: Perdite Semantiche ad Albero di Etichette per la Segmentazione Ricca Multi-Classe di Immagini Mediche

Enunciato del Problema
Una segmentazione accurata e ricca delle immagini mediche è fondamentale per la pianificazione pre-operatoria, la navigazione intra-operatoria e la valutazione post-operatoria. Tuttavia, i metodi di apprendimento standard per le attività di segmentazione penalizzano tipicamente tutti gli errori di classificazione in modo uguale, non riuscendo a sfruttare le relazioni semantiche all'interno dello spazio delle etichette. Questa limitazione diventa sempre più problematica man mano che la cardinalità delle etichette cresce per includere classi sottilmente diverse (ad esempio, specifiche sottoregioni cerebrali o tipi di tessuto). Inoltre, nell'imaging chirurgico e negli sforzi di annotazione su larga scala, i dati sono spesso annotati in modo sparso con etichette "solo positive", dove le regioni non etichettate non possono essere assunte come sfondo. Gli approcci esistenti spesso mancano di meccanismi per sfruttare le gerarchie delle etichette o gestire l'ambiguità dei pixel non etichettati in modo semanticamente significativo.

Metodologia
Gli autori propongono un framework che incorpora un'organizzazione gerarchica delle etichette (un albero delle etichette) nel processo di addestramento tramite due funzioni di perdita semantica complementari. Queste perdite sono progettate per funzionare sia con supervisione densa (ad esempio, parcellazione dell'intero cervello) sia con annotazioni sparse e prive di sfondo (ad esempio, imaging iperspettrale neurochirurgico).

1. Perdita di Segmentazione Basata sulla Distanza di Wasserstein ($\mathcal{L}_{wass+seg}$):
   Questa perdita utilizza la distanza di Wasserstein (trasporto ottimale) per misurare il costo di trasformare le distribuzioni di probabilità previste nelle distribuzioni di verità fondamentale. La matrice della "distanza di terra" ($M$) è derivata dall'albero delle etichette, dove la distanza tra due nodi foglia è definita dalla lunghezza del percorso tra di essi nella gerarchia. Questa formulazione penalizza gli errori in base alla gravità semantica; classificare erroneamente una classe come un fratello semanticamente distante comporta una penalità più alta rispetto alla classificazione errata come un parente stretto. La perdita finale è una composizione della distanza di Wasserstein e di una perdita di segmentazione generica (ad esempio, Dice o Cross-Entropy).

2. Perdita di Cross-Entropy Semantica Ponderata ad Albero ($\mathcal{L}_{twce+seg}$):
   Questo approccio estende la Cross-Entropy (CE) standard aggregando le probabilità su tutti i nodi nell'albero delle etichette, non solo sui nodi foglia. Utilizzando una matrice di adiacenza per rappresentare le relazioni genitore-figlio, il modello calcola le probabilità aggregate per i nodi interni. La perdita viene quindi calcolata come una somma ponderata della CE su tutti i nodi, dove i pesi sono assegnati in base alla struttura degli archi. Ciò permette al modello di ricevere segnali di supervisione a più livelli di astrazione (grossolani e fini).

3. Integrazione con l'Apprendimento Sparso Solo-Positivo:
   Le perdite proposte sono integrate in un framework per l'addestramento con annotazioni sparse e solo-positive (basato su Wang et al., 2026). In questo contesto, il modello viene addestrato solo sulle classi positive annotate. Durante l'inferenza, un meccanismo di rilevamento Out-of-Distribution (OOD) segnala i pixel con bassa probabilità massima prevista come sfondo. Gli autori estendono questo aggregando le probabilità a un livello gerarchico scelto (ad esempio, nodi di livello superiore) per determinare la soglia OOD, consentendo un rilevamento dello sfondo più robusto senza degradare le prestazioni sulle classi positive.

Contributi Chiave

• Nuove Funzioni di Perdita: Introduzione di due perdite semantiche basate su alberi (basata su Wasserstein e CE ponderata ad albero) che codificano esplicitamente le relazioni gerarchiche delle etichette durante l'ottimizzazione.
• Framework Versatile: Dimostrazione di come queste perdite si applichino sia alla parcellazione dell'intero cervello supervisionata densamente (WBP) sia all'imaging iperspettrale neurochirurgico supervisionato in modo sparso (HSI), inclusa l'integrazione con il rilevamento OOD per l'identificazione dello sfondo.
• Miglioramento delle Prestazioni: Evidenza empirica che dimostra che l'incorporazione di gerarchie di etichette definite da esperti o derivate anatomicamente porta a una supervisione semanticamente più significativa e a prestazioni di segmentazione migliorate rispetto ai baseline standard.
• Robustezza su Strutture Piccole: Miglioramenti specifici osservati su strutture anatomiche piccole con annotazioni limitate, dove i baseline standard spesso faticano.

Risultati Sperimentali
Gli autori hanno valutato il loro approccio su due compiti distinti:

1. Parcellazione dell'Intero Cervello (WBP): Utilizzando dati MRI 3D pesati in T1 da tre dataset (Mindboggle42, AOMIC, IXI) con supervisione completa.
   • Risultati: La perdita composita basata su Wasserstein ($\mathcal{L}_{wass+seg}$) ha costantemente superato il baseline nnU-Net standard (Dice + CE) e la perdita Generalised Wasserstein Dice. I miglioramenti sono stati più significativi per le metriche relative alle strutture piccole (Dicesmall, NSDsmall) e per la sovrapposizione superficiale (NSD). L'analisi statistica ha confermato guadagni significativi in NSD e nelle metriche delle strutture piccole in quasi tutti i contesti di addestramento-test.
2. Imaging Iperspettrale Neurochirurgico (HSI): Utilizzando annotazioni sparse e solo-positive da video chirurgici intra-operatori.
   • Risultati: Il framework proposto ha migliorato le prestazioni sulle classi di livello superiore (ad esempio, distinguere tessuto normale da tessuto anomalo) rispetto ai baseline addestrati solo sui nodi foglia. La supervisione di livello superiore ponderata gerarchicamente ($\mathcal{L}_{twce+seg}$ con pesi specifici degli archi) ha mostrato un forte supporto nel contesto sparso. L'analisi della matrice di confusione ha rivelato che i metodi proposti hanno ridotto errori semanticamente implausibili (ad esempio, confondere tessuti normali e anomali) rispetto al baseline.

Significato e Affermazioni
Il documento afferma che sfruttare la struttura dello spazio delle etichette come fonte di informazioni è cruciale per compiti di segmentazione ricchi, in particolare quando si tratta di variazioni di classe sottili e dati sparsi. Superando la penalizzazione uniforme degli errori, i metodi proposti permettono ai modelli di commettere "errori migliori" (cioè errori semanticamente più vicini alla verità). Gli autori sottolineano che il loro approccio migliora i baseline standard senza richiedere modifiche architetturali alle reti di segmentazione (ad esempio, nnU-Net o U-Net), rendendolo un'estensione pratica per le pipeline esistenti. Il lavoro colma un divario nell'imaging chirurgico, dove una tale supervisione semantica gerarchica non era stata precedentemente esplorata, e fornisce una soluzione scalabile per l'addestramento su grandi dataset annotati in modo sparso.