How reliable is deep learning segmentation of the infant brain? Variability and failure analysis of segmentation pipelines under a common protocol in 51 infants aged 1 to 9 months

Resumo Técnico: Confiabilidade e Variabilidade da Segmentação por Aprendizado Profundo em RM de Cérebro Infantil

Definição do Problema
A segmentação por aprendizado profundo é cada vez mais utilizada para derivar volumes cerebrais e dados morfométricos de neuroimagem infantil. No entanto, o primeiro ano pós-natal apresenta um desafio único: o "período isointenso" (aproximadamente 4–8 meses), onde o contraste entre substância cinzenta e branca é mal expresso tanto em sequências T1 quanto T2, fazendo com que métodos projetados para cérebros mais velhos degradem. As práticas atuais de avaliação frequentemente dependem de um único escore médio de Dice para classificar pipelines. Os autores argumentam que essa abordagem obscurece a variabilidade crítica, incluindo flutuações de retreinamento, efeitos de partição de validação cruzada e falhas catastróficas raras, mas por scan, que podem influenciar desproporcionalmente as médias das coortes. O estudo visa quantificar quanto das diferenças observadas entre pipelines refletem lacunas reais de desempenho versus ruído estatístico e modos de falha, e derivar um modelo de relatório robusto para validar tais ferramentas.

Metodologia
O estudo conduziu uma avaliação computacional retrospectiva utilizando o conjunto de dados público Baby Open Brains (BOB), composto por 71 visitas de RM ponderadas em T1 e T2 de 51 lactentes (com idades de 1,0 a 9,4 meses) com 31 segmentações de referência corrigidas por especialistas.

• Pipelines Avaliados: Quatro pipelines distintos de aprendizado profundo foram comparados como sistemas end-to-end:
  1. nnU-Net: Uma CNN 3D autoconfigurável.
  2. 3D TransUNet: Um híbrido de convolução–transformer.
  3. Swin UNETR: Um transformer de janela deslocada (shifted-window).
  4. STSNet: Uma CNN 2.5D adaptada para alvos pequenos (usando contexto de fatias adjacentes).
  • Um consenso de cross-fitting também foi gerado via votação de pluralidade voxelwise das quatro predições out-of-fold.
• Design Experimental:
  • Validação Cruzada Disjunta por Sujeito: Uma divisão de cinco dobras (five-fold split) foi utilizada, na qual todas as visitas de um mesmo lactente foram atribuídas à mesma dobra para evitar vazamento de dados (data leakage).
  • Agregação Ponderada por Sujeito: As métricas foram calculadas pela média dentro de cada lactente primeiro, e depois entre os 51 lactentes com peso igual para evitar que lactentes com visitas repetidas dominassem os resultados.
  • Métricas: Coeficiente de Similaridade de Dice (Dice), Normalized Surface Dice (NSD@1mm), 95º percentil de Distância de Hausdorff (HD95) e Distância de Superfície Simétrica Média (ASSD). Predições vazias foram tratadas via uma política predefinida (atribuídas como zero para métricas de sobreposição; excluídas para métricas de superfície).
• Análise Estatística: O estudo empregou testes de postos sinalizados de Wilcoxon pareados com correção de Holm, tamanhos de efeito de Cohen's d e modelagem linear para avaliar a contribuição do termo do pipeline versus outros fatores (volume, razão superfície-volume, idade). A variação de retreinamento foi medida por execuções repetidas em dobras idênticas, enquanto a variação de partição foi avaliada comparando as diferenças específicas entre as dobras.

Resultados Principais

• Precisão de Desempenho: O pipeline de consenso alcançou o maior Dice médio (0,8867), seguido pelo 3D TransUNet (0,8805), Swin UNETR (0,8772) e nnU-Net (0,8722). O STSNet (2.5D) apresentou desempenho significativamente inferior (0,7868).
• Variabilidade de Pipeline: Entre os três pipelines 3D, o termo "pipeline" explicou apenas 0,134% da variância do Dice ($p=0,177$). Todos os intervalos de confiança de diferença média pareados incluíram zero, e os tamanhos de efeito padronizados foram pequenos ($|d| \le 0,22$).
• Fontes de Variância:
  • Variação de Retreinamento: Mínima (SD das médias das dobras $\approx 0,0005–0,0016$).
  • Variação de Partição: Significativamente maior (SD entre as dobras $\approx 0,0258$). A direção das diferenças de desempenho entre nnU-Net e Swin UNETR inverteu-se dependendo da dobra.
• Análise de Falhas:
  • Falhas Raras: Dois scans específicos impulsionaram a maioria das falhas e anomalias estatísticas. Um scan causou todas as cinco predições vazias para o nnU-Net; outro causou a única predição vazia para o 3D TransUNet.
  • Desacordo Média-Mediana: Para a comparação nnU-Net vs. Swin UNETR, a diferença média foi negativa ($-0,0050$), sugerindo que o Swin UNETR era melhor, enquanto a mediana foi positiva ($+0,0072$) e o nnU-Net venceu em 42 de 51 lactentes. Essa reversão foi inteiramente impulsionada pelos dois scans influentes.
• Utilidade do Consenso: O consenso de cross-fitting eliminou todas as predições vazias e proporcionou um pequeno ganho de Dice médio sobre o 3D TransUNet, embora o intervalo de confiança para esse ganho tenha incluído zero.
• Efeitos Geométricos e de Idade: Os escores de Dice foram fortemente associados negativamente com a razão superfície-volume das estruturas ($\rho = -0,836$). Nenhuma associação significativa foi encontrada entre o desempenho da segmentação e a idade cronológica ou o contraste da imagem, apesar das mudanças conhecidas de contraste durante o período isointenso.

Principais Contribuições

1. Quantificação da Variabilidade: O estudo demonstra que, para pipelines 3D competentemente configurados, as diferenças nos desempenhos médios são superadas pela variação de partição de dobra para dobra e pela influência de falhas catastróficas raras.
2. Identificação de Modos de Falha: Destaca que um único scan pode impulsionar estatísticas de nível de coorte, levando a conclusões contraditórias dependendo se as métricas de média, mediana ou ranking são relatadas.
3. Modelo de Relato: Os autores propõem um modelo de relato de nove itens (Tabela 6) para futuros benchmarks. Isso inclui requisitos para divisões disjuntas por sujeito, políticas explícitas para predições vazias, relato de variações de retreinamento/partição e inspeção de concentrações de falhas.
4. Linha de Base de Consenso: Estabelece que um simples consenso de votação pode remover falhas totais de segmentação (máscaras vazias) sem treinamento adicional, servindo como uma linha de base de robustez.

Significância e Alegações
O artigo alega que três pipelines 3D amplamente disponíveis e competentemente configurados podem segmentar o cérebro infantil com alta precisão (média de Dice > 0,87) ao longo do desafiador intervalo de 1 a 9 meses, sem dependência detectada de idade ou contraste.

No entanto, os autores mantêm uma postura modesta e cautelosa em relação à generalização desses achados:

• Não Equivalência: A ausência de uma diferença estatisticamente significativa entre os pipelines 3D não é prova de equivalência, pois nenhuma margem de equivalência foi pré-especificada.
• Confiança via Avaliação: Os autores argumentam que a confiança nas ferramentas de segmentação por IA deve repousar sobre como elas são avaliadas (ex: relatando variabilidade, contagens de falhas e estabilidade de partição) e não apenas em escores médios de manchete.
• Limitações: O estudo é limitado a uma única coorte de um único centro, sem validação externa. Os autores afirmam explicitamente que a ausência de um efeito de idade detectado nesta amostra não prova que tal efeito não exista em outros lugares.
• Segurança Clínica: O estudo é uma avaliação de pesquisa em um conjunto de dados público; os autores não fazem reivindicações relativas à segurança clínica ou prontidão para implantação.

Em conclusão, o artigo sugere que, embora os atuais pipelines de aprendizado profundo 3D sejam promissores para a pesquisa em neuroimagem infantil, o campo deve ir além de tabelas de classificação de escore único para o relato de variabilidade, modos de falha e robustez para garantir inferências morfométricas confiáveis.