Instance Awareness of Multi-class Semantic Segmentation Loss Functions

1. Declaração do Problema

O artigo aborda o desafio do desequilíbrio simultâneo de instâncias e classes na segmentação semântica multiclasse, especificamente no contexto da segmentação de metástases cerebrais (BraTS-METS 2025).

• Desequilíbrio de Classes: Classes raras (por exemplo, Cavidade de Ressecção - RC) possuem significativamente menos voxels e instâncias do que classes comuns (por exemplo, Tumor Inteiro - WT). Funções de perda padrão (como Dice + Entropia Cruzada) médias os gradientes em todos os voxels de primeiro plano, fazendo com que classes raras recebam sinais de treinamento desproporcionalmente pequenos.
• Desequilíbrio de Instâncias: Dentro de uma única classe, lesões pequenas (micro-metástases) são frequentemente sub-representadas em comparação com lesões grandes, porque as perdas baseadas em nível de voxel padrão são dominadas pelo volume maior de grandes instâncias.
• A Lacuna: Funções de perda "sensíveis a instâncias" existentes (Blob Loss, CC Loss) foram projetadas para segmentação de classe única. Elas equalizam os gradientes entre instâncias da mesma classe, mas falham em abordar o desequilíbrio entre classes diferentes em um cenário multiclasse. Por outro lado, as perdas multiclasse padrão lidam com o desequilíbrio de classes através de uma média uniforme, mas ignoram disparidades de tamanho ao nível de instância.

2. Metodologia

Os autores propõem um framework que estende perdas sensíveis a instâncias para segmentação multiclasse e integra ponderação inversa ao tamanho de maneira novel e localizada.

A. Extensão Multiclasse via Decomposição Um-contra-Rest

Os autores adaptam a Blob Loss e a CC Loss (Connected Component) para configurações multiclasse usando uma estratégia um-contra-rest:

1. Decomposição: Para cada classe de primeiro plano $c$, o mapa de rótulos multiclasse é isolado em um mapa binário $y_c$ (onde a classe $c$ é primeiro plano, e todas as outras são fundo).
2. Extração de Instâncias: Componentes conectados 3D são identificados dentro de $y_c$ para definir instâncias individuais $\{S^c_1, \dots, S^c_{K_c}\}$.
3. Cálculo da Perda:
   • CC Loss: Partitiona o volume em células de Voronoi $V^c_k$ baseadas na distância Euclidiana ao componente mais próximo. A perda é computada apenas dentro dessas regiões locais para evitar que grandes vizinhos dominem os pequenos.
   • Blob Loss: Constrói um domínio específico de instância $\Omega^c_k$ removendo todos os outros componentes de primeiro plano da mesma classe, deixando apenas o componente alvo e o fundo.
4. Agregação: A perda de instância final ($L_{instance}$) é a média uniforme das perdas através de todos os componentes e todas as classes:
   $$L_{instance} = \frac{1}{|C|} \sum_{c \in C} \frac{1}{K_c} \sum_{k=1}^{K_c} \ell^c_k$$
   Insight Chave: Ao fazer a média uniformemente sobre as classes ($\frac{1}{|C|}$), uma classe rara com poucas instâncias (por exemplo, RC) contribui igualmente para o gradiente quanto uma classe comum com muitas instâncias (por exemplo, ET), resolvendo efetivamente o desequilíbrio de classes enquanto a média por componente resolve o desequilíbrio de instâncias.

B. Ponderação Inversa ao Tamanho Localizada (IWL)

A ponderação inversa ao tamanho padrão (atribuir pesos inversamente proporcionais ao tamanho do componente) falha em configurações multiclasse quando aplicada globalmente porque os pesos variam em ordens de magnitude entre classes raras e comuns, desestabilizando o treinamento.

• Solução Proposta: Integrar a ponderação dentro da perda por componente.
• Mecanismo: Um mapa de pesos $w^c_k$ é aplicado apenas aos voxels dentro do domínio específico do componente ($\Omega^c_k$ ou $V^c_k$).
  $$w^c_k(v) = \min(\max(|\Omega^c_k|/|S^c_k|, 1), 2 \times 10^5)$$
• Efeito: Isso confina a reponderação ao contexto espacial de um único componente, amplificando gradientes para instâncias pequenas sem criar desequilíbrios de pesos globais entre classes.

C. Função de Perda Combinada

A perda total combina a perda global padrão (para penalizar falsos positivos em regiões de fundo) com a nova perda de instância:
$$L = \alpha \cdot L_{global} + \beta \cdot L_{instance}$$
Os autores avaliam $\alpha=1, \beta=1$ e $\alpha=1, \beta=2$.

3. Contribuições Principais

1. Reaproveitamento de Perdas de Instância: Demonstrou que estender perdas sensíveis a instâncias (Blob/CC) para segmentação multiclasse via decomposição um-contra-rest resolve simultaneamente o desequilíbrio de classes (via média uniforme de classes) e o desequilíbrio de instâncias.
2. Reponderação Localizada: Mostrou que a ponderação inversa ao tamanho é eficaz apenas quando integrada localmente dentro das perdas por componente. A aplicação global desestabiliza o treinamento, enquanto a aplicação local melhora significativamente o desempenho de classes raras (por exemplo, o Dice da RC aumentou de 0,22 para 0,44).
3. Análise de Trade-off: Identificou um trade-off sistemático entre sobreposição em nível de voxel (Dice) e detecção em nível de instância (Qualidade Panóptica). Métodos que aumentam agressivamente o peso de classes raras melhoram o Dice, mas frequentemente degradam a qualidade de detecção (PQ).

4. Resultados Experimentais

Os experimentos foram conduzidos no conjunto de dados BraTS-METS 2025 (260 casos de teste), focando em quatro regiões: WT, TC, ET e a rara Cavidade de Ressecção (RC).

• Linha de Base: nnU-Net padrão (Dice + CE) alcançou um Dice de RC de 0,15 e uma Média de PQ de Primeiro Plano (em $\tau=0,5$) de 0,38.
• CC Loss Multiclasse:
  • Melhorou o Dice de RC para 0,31.
  • Mantive a Média de PQ de Primeiro Plano em 0,39 (comparável à linha de base).
  • Alcançou a melhor Média de Dice de Primeiro Plano geral (0,64).
• Blob Loss Multiclasse:
  • Alcançou a melhor Média de PQ de Primeiro Plano (0,40) e Qualidade de Reconhecimento (0,53).
  • Melhorou o Dice de RC para 0,22.
• Com Ponderação Inversa ao Tamanho Localizada (IWL):
  • Blob + IWL: Alcançou o maior Dice de RC (0,44) e Média de Dice de Primeiro Plano (0,65).
  • Custo: Isso veio às custas da qualidade de detecção, reduzindo a Média de PQ de Primeiro Plano para 0,31.
• Parâmetro de Ponderação ($\beta$): Diferentemente de configurações de classe única onde $\beta=2$ é recomendado, a configuração multiclasse performou melhor com $\beta=1$. A decomposição um-contra-rest já fornece equilíbrio de classes suficiente, e $\beta=2$ leva à supersegmentação de classes raras.

5. Significado e Conclusão

• Impacto Clínico: A segmentação precisa da cavidade de ressecção (RC) é crítica para o planejamento de Radiocirurgia Estereotáxica (SRS) pós-operatória. Melhorar o Dice da RC de 0,15 para 0,44 aumenta diretamente a precisão do planejamento de tratamento.
• Insight Metodológico: O artigo estabelece que a reponderação estruturada e espacialmente delimitada (decomposição um-contra-rest + ponderação inversa ao tamanho local) é superior à reponderação global para segmentação multiclasse com dados desequilibrados.
• Direções Futuras: Os autores destacam o trade-off inerente entre Dice e Qualidade Panóptica. Trabalhos futuros devem visar resolver este trade-off para alcançar simultaneamente alta sobreposição de voxels e detecção precisa de instâncias.

Em resumo, este trabalho fornece um framework robusto de função de perda que trata cada instância de tumor e cada classe de tumor com igual importância, preenchendo a lacuna entre a segmentação automatizada e a precisão por lesão necessária para o tratamento individualizado de metástases cerebrais.