Uncertain but Useful: Leveraging CNN Training Variability into Data Augmentation

Resumo Técnico: Incerteza, mas Útil: Aproveitando a Variabilidade de Treinamento de CNN para Aumento de Dados

Declaração do Problema

Embora o aprendizado profundo (DL) tenha revolucionado a neuroimagem ao oferecer desempenho de ponta com tempos de computação reduzidos, a incerteza numérica inerente à fase de treinamento de DL permanece amplamente inexplorada. Diferente da inferência, o treinamento envolve otimização iterativa e de alta dimensão, onde pequenas perturbações numéricas podem se acumular ao longo das itrações, potencialmente direcionando os modelos para soluções diferentes mesmo em dados idênticos. Embora a incerteza numérica seja bem documentada em pipelines tradicionais de neuroimagem (ex: FreeSurfer), seu comportamento e impacto durante o treinamento de DL não são totalmente compreendidos. Esta lacuna é crítica, pois as redes neurais estão substituindo cada vez mais os kits de ferramentas clássicos, e trabalhos recentes sugerem que ruídos numéricos comparáveis em pipelines tradicionais podem distorcer achados clínicos.

Metodologia

Os autores empregaram uma abordagem multifacetada para quantificar e aproveitar a variabilidade de tempo de treinamento no modelo de segmentação FastSurfer:

1. Perturbação Numérica via Aritmética de Monte Carlo (MCA):

   • Para simular a variabilidade de hardware e software, os autores aplicaram MCA, um método de aritmética estocástica que introduz perturbações aleatórias em operações de ponto flutuante em tempo de execução.
   • Utilizando o Fuzzy PyTorch, eles integraram a aritmética estocástica diretamente no pipeline de execução do PyTorch, aplicando uma perturbação de 1 unidade de menor precisão (ulp) para simular erros de precisão virtual.
   • Para comparação, a MCA também foi aplicada ao pipeline tradicional FreeSurfer v7.3.2 usando "fuzzy libmath" em CPU.

2. Perturbação de Semente Aleatória como Proxy:

   • Para estabelecer uma base prática, os modelos foram treinados com 15 sementes aleatórias diferentes em GPU. Essas sementes controlaram processos pseudorandom (inicialização de pesos, dropout) enquanto mantinham o embaralhamento de dados fixo para isolar a incerteza do modelo (epistêmica).
   • A similaridade estrutural entre a variabilidade induzida por sementes e a variabilidade induzida por MCA foi avaliada para validar as sementes como um proxy de baixo custo para a incerteza numérica.

3. Ensemble como Aumento de Dados:

   • Os autores reformularam a instabilidade do tempo de treinamento como uma técnica de aumento de dados. Múltiplos modelos FastSurfer foram treinados com diferentes sementes, e seus outputs foram agrupados (ensemble) para gerar 15 segmentações distintas, porém anatomicamente válidas, por sujeito.
   • Esses volumes de Região de Interesse (ROI) derivados de ensemble foram usados como características para tarefas de regressão de idade cerebral subsequentes usando modelos de Random Forest (RF), Support Vector Machine (SVM) e Gradient Boosting (GB).
   • Esta abordagem foi comparada contra métodos de aumento de dados sintéticos, especificamente um sintetizador de Cópula Gaussiana e autoencoders variacionais (estes últimos excluídos devido a distribuições irreais).

4. Métricas de Avaliação:

   • Variabilidade: Medida usando o escore Sørensen-Dice mínimo entre pares de repetições para capturar a consistência do pior caso.
   • Desempenho Subsequente: Avaliado via Erro Médio Absoluto (MAE) na regressão de idade cerebral em conjuntos de dados internos (conjunto de treinamento do FastSurfer) e um conjunto de dados externo (Healthy Brain Network, HBN).

Principais Resultados

1. A Variabilidade do Tempo de Treinamento Excede os Métodos Tradicionais em Regiões Corticais:

   • A quantificação revelou que a variabilidade do tempo de treinamento do FastSurfer iguala ou excede a do FreeSurfer, particularmente em estruturas corticais. Embora a variabilidade subcortical tenha sido amplamente comparável, todas as regiões corticais exibiram significativamente maior variabilidade com o FastSurfer.
   • Isso sugere que o FastSurfer está sujeito às mesmas preocupações de reprodutibilidade identificadas anteriormente no FreeSurfer, com potenciais implicações para análises clínicas subsequentes.

2. Perturbação de Semente como um Proxy Válido:

   • As classificações de variabilidade regional entre MCA e perturbações de semente aleatória foram fortemente correlacionadas (Spearman $\rho = 0.877$).
   • Apesar de a MCA ter sido realizada em CPU e as sementes em GPU, o forte acordo estrutural indica que as sementes aleatórias capturam efetivamente os padrões regionais de instabilidade, fornecendo uma alternativa computacionalmente viável à MCA exaustiva.

3. O Ensemble Numérico Melhora o Desempenho Subsequente:

   • Modelos treinados com diferentes sementes alcançaram desempenho comparável a uma linha de base IEEE fixa, confirmando que a variabilidade observada não degrada a capacidade central do modelo.
   • Eficácia do Aumento de Dados: O ensemble numérico melhorou consistentemente o desempenho da regressão de idade cerebral. O aumento do número de repetições de ensemble levou a melhorias monotônicas significativas no MAE para modelos RF, SVM e GB em ambos os conjuntos de dados internos e externos.
   • Comparação com Métodos Sintéticos: O ensemble numérico superou o aumento sintético (Cópula Gaussiana). Enquanto os métodos sintéticos mostraram correlações fracas ou não significativas com as melhorias de desempenho, o ensemble numérico proporcionou ganhos robustos. Os autores atribuem isso ao fato de que os membros do ensemble representam variações neuroanatômicas autênticas de exames de RM reais, enquanto os métodos sintéticos lutam para aprender distribuições realistas a partir de dados limitados.

Significância e Alegações

O artigo posiciona a incerteza numérica durante o treinamento de DL como um fator substantivo na confiabilidade da neuroimagem com consequências mensuráveis para tarefas subsequentes. Os autores fazem duas alegações principais:

1. Avaliação de Risco: A incerteza numérica inerente ao treinamento do FastSurfer é pelo menos tão significativa quanto a do pipeline tradicional FreeSurfer, particularmente em regiões corticais. Isso exige investigação sistemática da propagação de incerteza de pipelines baseados em DL para análises clínicas subsequentes.
2. Oportunidade de Aumento: A variabilidade do tempo de treinamento, caracterizada efetivamente por perturbações de sementes aleatórias, pode ser construtivamente aproveitada como uma técnica de aumento de dados. Ao utilizar o ensemble, pesquisadores podem gerar representações diversas e anatomicamente realistas sem coleta adicional de dados, melhorando assim a robustez das tarefas de regressão subsequentes em comparação com a geração de dados sintéticos.

O trabalho conclui que a incerteza numérica não deve ser vista meramente como uma fonte de erro a ser minimizada, mas como um recurso que, quando adequadamente caracterizado e aproveitado, pode aumentar a confiabilidade e o desempenho das aplicações de neuroimagem.