CTSCAN: Evaluation Leakage in Chest CT Segmentation and a Reproducible Patient-Disjoint Benchmark

1. O Problema: Vazamento de Avaliação (Evaluation Leakage)

O artigo identifica um problema crítico e generalizado em pipelines de segmentação de Tomografia Computadorizada (TC) do tórax. Muitas implementações atuais exportam estudos volumétricos para imagens 2D (PNG) por fatia (slice) e realizam a divisão dos dados (treino, validação e teste) diretamente sobre essas fatias individuais.

• A Falha: Quando a divisão é feita ao nível da fatia, fatias do mesmo paciente podem acabar distribuídas aleatoriamente entre os conjuntos de treino e teste.
• A Consequência: Isso cria um vazamento de dados onde o modelo "memoriza" características específicas do paciente em vez de aprender a generalizar para novos pacientes. As métricas reportadas (como Dice e IoU) ficam artificialmente infladas, refletindo a reutilização de casos (patient reuse) e não a verdadeira qualidade do modelo.
• O Cenário Atual: O artigo demonstra que o fluxo de trabalho padrão (slice-PNG) induz uma reutilização de casos quase completa entre os conjuntos de treino, validação e teste, distorcendo completamente a conclusão científica sobre o desempenho do modelo.

2. Metodologia e o Benchmark CTSCAN

Para abordar esse problema, os autores apresentam o CTSCAN, um benchmark multi-fonte reprodutível e uma pilha de pesquisa projetada para medir o desempenho sob avaliação disjunta por paciente (patient-disjoint).

• Composição dos Dados: O benchmark atual agrega 89 casos de três fontes públicas (PleThora, MedSeg SIRM e LongCIU), totalizando 10.423 fatias. As classes incluem fundo, vidro fosco, consolidação e derrame pleural.
• Protocolos Comparados:
  1. Slice-Mixed (Misturado por Fatia): As fatias são agrupadas em uma única lista e divididas aleatoriamente (o método padrão que causa vazamento).
  2. Patient-Disjoint (Disjunto por Paciente): As fatias são agrupadas por ID de caso antes da divisão. O conjunto de treino, validação e teste não compartilha nenhum paciente.
• Configuração Experimental:
  • Arquitetura de Controle: FPN (Feature Pyramid Network) com codificador EfficientNet-B0.
  • Protocolo: Varredura multi-semente (3 sementes) com 12 épocas cada.
  • Ambiente: Execução controlada em GPU Apple e ambiente de validação descartável para garantir reprodutibilidade.
  • O estudo compara estritamente o mesmo modelo e hiperparâmetros sob os dois protocolos de divisão.

3. Principais Contribuições

O artigo oferece três contribuições concretas para a comunidade de visão computacional médica:

1. Exposição do Vazamento: Evidencia que a divisão ao nível de fatia, em vez de ID de caso, causa uma reutilização quase total de casos, inflando artificialmente as métricas de desempenho.
2. Benchmark Determinístico: Lança um protocolo de benchmark público e reprodutível com divisões exatas (manifestos), auditoria de sobreposição (garantindo zero sobreposição de pacientes) e uma página de benchmark que ranqueia modelos apenas sob avaliação disjunta por paciente.
3. Evidência Executável: Fornece um script de estudo multi-semente que executa controles parecidos, demonstrando que a queda de desempenho é um efeito do protocolo e não de uma execução única ("one-off").

4. Resultados Chave

Os resultados mostram uma queda drástica no desempenho quando o vazamento é eliminado, alterando a conclusão científica sobre a eficácia dos modelos:

• Queda no Desempenho (FPN + EfficientNet-B0):
  • Protocolo Slice-Mixed: Dice de 0,6665 ± 0,0067 e IoU de 0,5031 ± 0,0070.
  • Protocolo Patient-Disjoint: Dice de 0,2066 ± 0,0509 e IoU de 0,1181 ± 0,0313.
• Impacto Relativo: A remoção da reutilização de pacientes reduz o Dice de foreground em 0,4599 absoluto (69,00% relativo) e o IoU em 0,3850 absoluto (76,52% relativo).
• Robustez Arquitetural: O efeito de vazamento não é específico de uma arquitetura. Um modelo U-Net compartilhado também sofreu uma queda similar (de ~0,71 para ~0,25 no Dice).
• Ablação de Treinamento: Ajustes de treinamento (como amostragem de foreground raro ou funções de perda Lovász-CE) melhoram ligeiramente as métricas dentro de cada protocolo, mas não conseguem fechar a lacuna criada pelo protocolo de divisão incorreto. O efeito do protocolo domina qualquer ajuste fino de hiperparâmetros.

5. Significado e Conclusão

O artigo conclui que a escolha do protocolo de divisão de dados altera fundamentalmente a conclusão científica sobre o desempenho absoluto em segmentação de TC torácica.

• Mudança de Paradigma: Métricas altas em benchmarks baseados em fatias podem ser ilusórias, indicando apenas a capacidade do modelo de memorizar pacientes específicos.
• Reprodutibilidade: O CTSCAN fornece a infraestrutura necessária para que a avaliação disjunta por paciente se torne o padrão reprodutível e auditável, em vez de uma reflexão tardia.
• Recomendação: Para estudos futuros em segmentação médica baseada em volumes 3D, a divisão deve ser estritamente feita ao nível do caso (paciente), nunca ao nível da fatia, para garantir que o modelo esteja realmente generalizando para novos pacientes.

Em resumo, o CTSCAN não propõe uma nova arquitetura de rede neural, mas sim uma correção crítica na metodologia de avaliação, demonstrando que, sem o controle de vazamento, os resultados atuais na literatura podem estar superestimados em até 70%.