Resumo Técnico: NucEval – Um Framework de Avaliação Robusto para Segmentação de Instâncias Nucleares

Declaração do Problema

Na patologia computacional, a segmentação de instâncias nucleares é uma tarefa fundamental, crítica para aplicações clínicas subsequentes, como diagnóstico e prognóstico de câncer. Embora esforços significativos de pesquisa tenham se focado na melhoria de modelos de segmentação (por exemplo, CNNs como HoVer-Net e ViTs como CellViT) e técnicas de pré/pós-processamento, o pipeline de avaliação recebeu comparatively menos atenção.

As práticas atuais de avaliação sofrem de várias limitações fundamentais que podem levar a estimativas de desempenho subótimas e comparações injustas de modelos. Os autores identificam quatro questões específicas na literatura existente:

1. Regiões Vagas: Conjuntos de dados padrão frequentemente carecem de anotações para áreas ambíguas (por exemplo, regiões fora de foco, dobras de tecido ou limites indistinguíveis). Incluir essas regiões na avaliação pode penalizar ou recompensar injustamente modelos por previsões em áreas onde até mesmo especialistas humanos não podem fornecer uma verdade-terreno confiável.
2. Pontuações Não Normalizadas: Métricas são tipicamente médias aritméticas de pontuações em patches de imagem sem levar em conta o número de núcleos por patch. Isso introduz um viés onde patches com poucos núcleos influenciam desproporcionalmente a pontuação final, o que não reflete a realidade clínica, onde a segmentação é realizada em imagens de lâmina inteira (WSIs).
3. Instâncias Sobrepostas: Em muitos conjuntos de dados, regiões nucleares sobrepostas são arbitrariamente atribuídas a uma única instância (geralmente a última encontrada no arquivo de anotação). Isso penaliza modelos que identificam corretamente estruturas sobrepostas e introduz um viés lógico baseado na ordem de anotação.
4. Incerteza de Borda: Anotações manuais nas bordas de objetos são inerentemente incertas. Penalizar modelos por pequenos desvios (alguns pixels) na borda é frequentemente injusto, pois os próprios anotadores humanos podem discordar sobre a localização exata da borda.

Metodologia

Para abordar essas questões, os autores propõem o NucEval, um framework de avaliação unificado e baseado em Python que integra quatro modificações específicas em métricas padrão (Qualidade Panóptica [PQ], Índice Jaccard Agregado [AJI], Dice, Qualidade de Detecção [DQ] e Qualidade de Segmentação [SQ]).

As Quatro Modificações

1. Incorporação de Áreas Vagas (Modificação #1):

   • Regiões ambíguas são explicitamente excluídas tanto da verdade-terreno quanto das previsões do modelo.
   • Para instâncias que intersectam essas regiões, é empregada uma estratégia baseada em limiar: uma instância é removida se a razão de sua sobreposição com a região ambígua em relação à sua área total exceder um limiar predefinido (por exemplo, 0,25).
   • As instâncias restantes são reetiquetadas para garantir identificadores inteiros contíguos para o cálculo das métricas.

2. Normalização da Pontuação (Modificação #2):

   • Em vez de uma média aritmética simples de pontuações entre imagens, o framework calcula uma média normalizada pela contagem de núcleos.
   • A contribuição de cada imagem para a pontuação final é ponderada pelo número de núcleos anotados que ela contém. Isso mitiga o viés em favor de patches pouco anotados.

3. Tratamento de Regiões Sobrepostas (Modificação #3):

   • Regiões sobrepostas são atribuídas a todas as instâncias relevantes, em vez de arbitrariamente a uma única.
   • Isso exige que os dados de verdade-terreno sejam fornecidos como um conjunto de Regiões de Interesse (ROIs) ou uma lista de máscaras binárias onde as sobreposições são preservadas, em vez de uma única máscara rotulada onde as sobreposições são mescladas.

4. Tratamento da Incerteza de Borda (Modificação #4):

   • Uma "zona de incerteza" é criada ao redor de cada limite de instância aplicando erosão e dilatação morfológica.
   • A diferença entre as máscaras dilatadas e erodidas define uma zona que é excluída da avaliação (pixels são zerados tanto na verdade-terreno quanto na previsão).
   • A largura da zona é um hiperparâmetro configurável (definido como 1 pixel no estudo) para equilibrar a incerteza de anotação com a preservação de regiões de avaliação significativas.

Configuração Experimental

O framework foi avaliado utilizando:

• Conjuntos de Dados:
  • NuInsSeg: O conjunto de dados principal, escolhido por sua provisão única de anotações de áreas vagas e versões duplas de tratamento de áreas sobrepostas (preservadas vs. mescladas).
  • CryoNuSeg: Utilizado para testar as modificações #2, #3 e #4 (carece de anotações de áreas vagas).
  • PCNS: Utilizado para testar as modificações #2 e #4 (carece de anotações de áreas vagas e ROIs).
• Modelos: Três modelos de aprendizado profundo de última geração representando diferentes arquiteturas:
  • HoVer-Net (baseado em CNN)
  • Hover-Next (baseado em CNN)
  • CellViT (baseado em Vision Transformer)
• Treinamento: Os modelos foram treinados utilizando validação cruzada de 5 dobras em uma única estação de trabalho com uma GPU NVIDIA RTX 4090.

Resultados Principais

O estudo demonstra que a aplicação dessas modificações melhora consistentemente as métricas de avaliação em todos os três modelos e conjuntos de dados.

• Impacto Individual:

  • A Modificação #4 (Incerteza de Borda) mostrou o impacto mais substancial e consistente, melhorando a PQ em aproximadamente 5–6% em todos os modelos no conjunto de dados NuInsSeg.
  • A Modificação #1 (Áreas Vagas) melhorou consistentemente todas as métricas.
  • A Modificação #2 (Normalização da Pontuação) mostrou ganhos significativos em subconjuntos desbalanceados dos dados (por exemplo, melhorias de PQ de 27–32% em um subconjunto específico), destacando sua importância para conjuntos de dados com densidades nucleares variáveis.
  • A Modificação #3 (Regiões Sobrepostas) teve o menor impacto nas métricas gerais (já que as sobreposições constituem uma pequena parte do conjunto de dados), mas demonstrou que mesclar sobreposições pode degradar significativamente o desempenho (queda de até ~10% na PQ em comparações idealizadas).

• Impacto Cumulativo:

  • A aplicação simultânea de todas as modificações resultou nos maiores ganhos. No conjunto de dados NuInsSeg completo, a PQ aumentou de 10,67% a 12,00% entre os três modelos em comparação com a linha de base.
  • No subconjunto desbalanceado do NuInsSeg, as melhorias cumulativas de PQ foram ainda mais pronunciadas, variando de 38,45% a 43,19%.
  • Tendências positivas semelhantes foram observadas no CryoNuSeg e no PCNS, confirmando a generalizabilidade da abordagem, mesmo quando nem todas as modificações puderam ser aplicadas devido à falta de tipos específicos de anotação.

Significado e Alegações

Os autores posicionam o NucEval não como um novo algoritmo de segmentação, mas como um framework de avaliação robusto essencial para a comparação justa e seleção de modelos para aplicações clínicas.

• Agnosticismo de Modelo: As modificações são independentes da arquitetura do modelo de segmentação, tornando-as aplicáveis a qualquer abordagem baseada em CNN ou ViT.
• Justiça e Reprodutibilidade: Ao abordar vieses na agregação de pontuações, regiões ambíguas e incerteza de borda, o NucEval visa prevenir a seleção de modelos inferiores para tarefas clínicas subsequentes.
• Utilidade Prática: Os autores fornecem uma implementação pública em Python (NucEval) com diretrizes completas, permitindo que pesquisadores apliquem seletivamente essas modificações com base na disponibilidade de anotações específicas (por exemplo, máscaras de áreas vagas ou conjuntos de ROIs) em seus próprios conjuntos de dados.
• Direção Futura: O artigo observa que, embora a implementação atual utilize parâmetros fixos, o framework é projetado para ser flexível. Também sugere que futuras liberações de conjuntos de dados devem considerar a preservação de regiões sobrepostas e a anotação de áreas vagas para aproveitar plenamente essas melhorias de avaliação.

Em conclusão, o artigo argumenta que a avaliação rigorosa é tão crítica quanto o desenvolvimento de modelos na patologia computacional. Ao padronizar e refinar o pipeline de avaliação por meio do NucEval, a comunidade pode alcançar estimativas de desempenho mais confiáveis e, em última análise, melhores resultados clínicos.