Searching for Robust Augmentations to Improve Out-of-Domain Generalization in Dermoscopic Skin Cancer Classification

Resumo Técnico: Busca por Aumentos Robustos para Melhorar a Generalização Fora do Domínio em Classificação de Câncer de Pele Dermoscópico

Definição do Problema
Modelos de aprendizado profundo para classificação de lesões de pele dermoscópicas frequentemente alcançam alta precisão em conjuntos de teste internos, mas sofrem uma degradação significativa de desempenho quando aplicados a novas fontes (fora do domínio, ou OOD). Esse "deslocamento de domínio" (domain shift) surge de variações em dispositivos de imagem, iluminação, processamento de cores e artefatos de captura entre diferentes clínicas. Embora pesquisas anteriores tenham estudado extensivamente a seleção de arquiteturas e validação interna, há uma falta de análise sistemática sobre quais classes específicas de aumentos de dados efetivamente melhoram a robustez a esses deslocamentos de nível de fonte. Além disso, estudos de aumento existentes frequentemente otimizam para validação dentro do domínio, falhando em abordar o desafio específico de transferir modelos para ambientes de aquisição inteiramente novos.

Metodologia
O estudo emprega uma abordagem centrada em dados para melhorar a generalização OOD para um classificador binário de maligno versus não maligno.

• Conjuntos de Dados: O treinamento e a avaliação dentro do domínio utilizam uma coleção multi-fonte do Arquivo ISIC (BCN20000, Derm12345, HIBA, BALD, MILK10k, ISIC 2016–2020) e Derm7pt. Para garantir uma avaliação OOD rigorosa, os conjuntos de dados HAM10000 e ISIC 2019–2020 foram mantidos inteiramente à parte como um conjunto de teste disjunto da fonte. Um conjunto clínico fechado independente (Melanoscope) foi usado exclusivamente para validação externa final, sem influenciar a seleção do modelo.
• Arquitetura do Modelo: Foi utilizado um backbone ConvNeXt-Large, inicializado com pesos do ImageNet, com uma cabeça de classificação binária.
• Busca de Aumento: Os autores conduziram uma busca sistemática através de três categorias de aumentos:
  1. Aumentos únicos: Transformações geométricas e fotométricas individuais.
  2. Combinações fotométricas: Pares ou trios fixos de operadores baseados em cor (ex: ColorJitter, PlanckianJitter, HEStain).
  3. Políticas compostas: Configurações inspiradas em soluções de competições e nas próprias descobertas dos autores (ex: mix, kaggle_strong_hestain).
• Métricas de Avaliação: A métrica primária foi a Área Sob a Curva ROC (ROC-AUC). A avaliação incluiu testes dentro do domínio, o teste OOD disjunto da fonte e o conjunto externo independente Melanoscope. A significância estatística foi avaliada por meio de intervalos de confiança de bootstrap e testes de DeLong. O estudo também empregou visualizações t-SNE e Grad-CAM para avaliar qualitativamente a mistura do espaço de características e os mapas de atenção.

Principais Contribuições

1. Busca Sistemática de Aumento para OOD: Diferente de estudos anteriores que classificam aumentos com base no desempenho dentro do domínio, este trabalho busca explicitamente políticas que maximizem o desempenho em conjuntos de teste mantidos fora da fonte.
2. Identificação da Dominância Fotométrica: O estudo identifica que transformações fotométricas (ajustes de cor e intensidade) são os principais impulsionadores da robustez OOD, superando transformações puramente geométricas neste domínio específico.
3. A Política "Mix": Os autores propõem uma política de aumento composta específica chamada mix, que combina transformações fotométricas e geométricas moderadas. Esta política mostrou-se capaz de gerar os maiores ganhos de OOD, preservando a precisão dentro do domínio.
4. Protocolo de Validação Rigoroso: O artigo distingue entre resultados de triagem (estimativas pontuais de execução única) e avaliações expandidas (múltiplas sementes, intervalos de confiança e conjuntos de dados externos independentes), fornecendo uma visão transparente da variância e das limitações dos achados.

Resultos

• Desempenho Fora do Domínio (OOD): A política mix alcançou o maior ganho no conjunto de teste OOD, melhorando a ROC-AUC em +0,0332 em relação ao baseline na fase de triagem. Na avaliação expandida (9.921 imagens de fontes mantidas à parte), a melhoria foi de +0,053 (95% CI: +0,045 a +0,061, p < 0,001).
• Desempenho Dentro do Domínio: A política mix também manteve um efeito positivo na precisão dentro do domínio, melhorando a ROC-AUC em +0,0061, demonstrando que a robustez não ocorreu às custas do desempenho interno.
• Robustez entre Sementes: A vantagem OOD da política mix persistiu através de quatro sementes de treinamento aleatórias diferentes, com intervalos de ROC-AUC não sobrepostos (Baseline: 0,761–0,775; Mix: 0,806–0,829).
• Validação Externa (Melanoscope): No conjunto independente Melanoscope, um único checkpoint mostrou um aumento na sensibilidade de 0,591 para 0,818. No entanto, os autores observam que este resultado baseia-se em apenas 22 casos malignos, não atinge significância estatística em AUC (p = 0,22) e a vantagem desaparece quando a média é calculada entre múltiplas sementes de treinamento.
• Análise de Características: Visualizações t-SNE indicaram que a política mix reduziu o agrupamento específico de fontes no espaço de características em comparação com o baseline. A análise Grad-CAM sugeriu que o modelo aumentado focou de forma mais compacta na lesão, em vez de artefatos periféricos.
• Detalhamento por Diagnóstico: A melhoria OOD foi impulsionada principalmente pelo aumento da especificidade em ceratoses benignas (reduzindo falsos positivos), em vez de uma melhoria significativa na recall de melanoma, que permaneceu baixa (0,26–0,43) entre as configurações.

Significância e Limitações
O artigo afirma que aumentos que modelam fontes reais de deslocamento de domínio (especificamente variações fotométricas) podem ser mais críticos para a generalização OOD do que maximizar a precisão dentro do domínio ou mudar a arquitetura do modelo. A política mix é apresentada como um passo de baseline simples e reproduzível que deve ser considerado antes da validação clínica de sistemas de suporte à decisão.

Contudo, os autores qualificam explicitamente suas afirmações:

• Viés de Seleção: A política foi selecionada usando dados das mesmas fontes usadas para a avaliação OOD primária (HAM10000 e ISIC 2019–2020). Portanto, o tamanho do efeito relatado pode ter um viés otimista, e os resultados não constituem uma confirmação independente de generalização para fontes inteiramente novas.
• Evidência Externa Limitada: A melhoria no conjunto independente Melanoscope não foi estatisticamente significativa e não persistiu entre as sementes de treinamento, indicando que a robustez observada nas fontes ISIC/HAM ainda não foi comprovada em transferir para um cenário clínico completamente diferente.
• Utilidade Clínica: Embora a especificidade tenha melhorado, o recall absoluto para melanoma permanece baixo, sugerindo que o modelo é atualmente mais adequado para priorizar casos para revisão do que para diagnóstico autônomo.

Os autores concluem que, embora a política mix ofereça um baseline robusto, trabalhos futuros exigem um protocolo de seleção disjunto de fontes (ex: leave-one-source-out) e validação em coortes externas maiores e diversas para confirmar a generalização imparcial.