Label tree semantic losses for rich multi-class medical image segmentation

Resumo Técnico: Perdas Semânticas de Árvore de Rótulos para Segmentação Rica de Imagens Médicas Multiclasse

Declaração do Problema
A segmentação rica e precisa de imagens médicas é crítica para o planejamento pré-operatório, navegação intraoperatória e avaliação pós-operatória. No entanto, os métodos de aprendizado padrão para tarefas de segmentação tipicamente penalizam todos os erros de classificação de forma igual, falhando em explorar as relações semânticas dentro do espaço de rótulos. Essa limitação torna-se cada vez mais problemática à medida que a cardinalidade dos rótulos cresce para incluir classes sutilmente diferentes (por exemplo, sub-regiões específicas do cérebro ou tipos de tecidos). Além disso, na imagem cirúrgica e em esforços de anotação em grande escala, os dados são frequentemente anotados de forma esparsa com rótulos "apenas positivos", onde regiões não rotuladas não podem ser assumidas como fundo. Abordagens existentes frequentemente carecem de mecanismos para aproveitar hierarquias de rótulos ou lidar com a ambiguidade de pixels não rotulados de uma maneira semanticamente significativa.

Metodologia
Os autores propõem um framework que incorpora uma organização hierárquica de rótulos (uma árvore de rótulos) no processo de treinamento por meio de duas funções de perda semântica complementares. Essas perdas são projetadas para funcionar tanto com supervisão densa (por exemplo, parcellação de cérebro inteiro) quanto com anotações esparsas e livres de fundo (por exemplo, imagem hiperespectral neurocirúrgica).

1. Perda de Segmentação Baseada em Distância de Wasserstein ($\mathcal{L}_{wass+seg}$):
   Esta perda utiliza a distância de Wasserstein (transporte ótimo) para medir o custo de transformar distribuições de probabilidade previstas em distribuições de verdade fundamental. A matriz de "distância de solo" ($M$) é derivada da árvore de rótulos, onde a distância entre dois nós folha é definida pelo comprimento do caminho entre eles na hierarquia. Essa formulação penaliza erros com base na severidade semântica; classificar erroneamente uma classe como um irmão semanticamente distante incorre em uma penalidade maior do que classificá-la erroneamente como um parente próximo. A perda final é um composto da distância de Wasserstein e uma perda de segmentação genérica (por exemplo, Dice ou Entropia Cruzada).

2. Perda de Entropia Cruzada Semântica Ponderada por Árvore ($\mathcal{L}_{twce+seg}$):
   Esta abordagem estende a Entropia Cruzada (EC) padrão agregando probabilidades em todos os nós da árvore de rótulos, não apenas nos nós folha. Usando uma matriz de adjacência para representar relações pai-filho, o modelo computa probabilidades agregadas para nós internos. A perda é então calculada como uma soma ponderada da EC em todos os nós, onde os pesos são atribuídos com base na estrutura de arestas. Isso permite que o modelo receba sinais de supervisão em múltiplos níveis de abstração (grossos e finos).

3. Integração com Aprendizado Esparsos Apenas Positivos:
   As perdas propostas são integradas a um framework para treinamento com anotações esparsas e apenas positivas (baseado em Wang et al., 2026). Neste cenário, o modelo é treinado apenas em classes positivas anotadas. Durante a inferência, um mecanismo de detecção de Fora de Distribuição (OOD) sinaliza pixels com baixa probabilidade prevista máxima como fundo. Os autores estendem isso agregando probabilidades em um nível hierárquico escolhido (por exemplo, nós de nível superior) para determinar o limiar OOD, permitindo uma detecção de fundo mais robusta sem degradar o desempenho nas classes positivas.

Contribuições Principais

• Funções de Perda Novas: Introdução de duas perdas semânticas baseadas em árvore (baseada em Wasserstein e EC ponderada por árvore) que codificam explicitamente relações hierárquicas de rótulos durante a otimização.
• Framework Versátil: Demonstração de como essas perdas se aplicam tanto à parcellação de cérebro inteiro supervisionada densamente (WBP) quanto à imagem hiperespectral neurocirúrgica supervisionada esparsamente (HSI), incluindo integração com detecção OOD para identificação de fundo.
• Melhoria de Desempenho: Evidência empírica mostrando que a incorporação de hierarquias de rótulos definidas por especialistas ou derivadas anatomicamente leva a uma supervisão semanticamente mais significativa e a um desempenho de segmentação aprimorado em comparação com baselines padrão.
• Robustez em Estruturas Pequenas: Melhorias específicas observadas em estruturas anatômicas pequenas com anotações limitadas, onde as baselines padrão frequentemente lutam.

Resultados Experimentais
Os autores avaliaram sua abordagem em duas tarefas distintas:

1. Parcellação de Cérebro Inteiro (WBP): Usando dados de MRI ponderados em T1 3D de três conjuntos de dados (Mindboggle42, AOMIC, IXI) com supervisão completa.
   • Descobertas: A perda composta baseada em Wasserstein ($\mathcal{L}_{wass+seg}$) superou consistentemente a baseline padrão nnU-Net (Dice + EC) e a Perda de Dice de Wasserstein Generalizada. As melhorias foram mais significativas para métricas relacionadas a estruturas pequenas (Dicesmall, NSDsmall) e sobreposição de superfície (NSD). A análise estatística confirmou ganhos significativos em NSD e métricas de estruturas pequenas em quase todos os cenários de treino-teste.
2. Imagem Hiperespectral Neurocirúrgica (HSI): Usando anotações esparsas e apenas positivas de vídeos cirúrgicos intraoperatórios.
   • Descobertas: O framework proposto melhorou o desempenho em classes de nível superior (por exemplo, distinguir tecido normal vs. anormal) em comparação com baselines treinadas apenas em nós folha. A supervisão ponderada por hierarquia de nível superior ($\mathcal{L}_{twce+seg}$ com pesos de aresta específicos) mostrou forte suporte no cenário esparsos. A análise da matriz de confusão revelou que os métodos propostos reduziram erros semanticamente implausíveis (por exemplo, confundir tecidos normais e anormais) em comparação com a baseline.

Significado e Alegações
O artigo alega que aproveitar a estrutura do espaço de rótulos como fonte de informação é crucial para tarefas de segmentação rica, particularmente ao lidar com variações sutis de classe e dados esparsos. Ao ir além da penalização uniforme de erros, os métodos propostos permitem que os modelos cometam "erros melhores" (ou seja, erros que estão semanticamente mais próximos da verdade). Os autores enfatizam que sua abordagem melhora as baselines padrão sem exigir modificações arquitetônicas nas redes de segmentação (por exemplo, nnU-Net ou U-Net), tornando-a uma extensão prática para pipelines existentes. O trabalho preenche uma lacuna na imagem cirúrgica, onde tal supervisão semântica hierárquica foi anteriormente inexplorada, e fornece uma solução escalável para treinamento em grandes conjuntos de dados esparsamente anotados.