From pre-training to downstream performance: Does domain-specific pre-training make sense?

Resumo Técnico: Do Pré-treinamento ao Desempenho em Tarefas Específicas

Declaração do Problema
A aprendizagem profunda avançou significativamente a imagem médica, particularmente na precisão diagnóstica e na detecção de doenças. No entanto, a relação entre estratégias de pré-treinamento e desempenho em tarefas específicas no contexto médico permanece pouco explorada. Embora seja estabelecido que dados específicos de domínio podem melhorar o desempenho e que a aprendizagem auto-supervisionada (SSL) aborda a escassez de dados rotulados, questões críticas persistem: Quão estreitamente os dados de pré-treinamento devem alinhar-se com a modalidade-alvo para gerar benefícios? O pré-treinamento em grandes conjuntos de dados agnósticos de domínio (por exemplo, ImageNet) seguido de ajuste fino específico de domínio supera o pré-treinamento direto específico de domínio? Além disso, como diferentes arquiteturas (CNNs vs. Transformers) e métricas de avaliação (além da AUC média) influenciam a confiabilidade e a robustez desses modelos em diversos locais de coleta de dados e distribuições de doenças?

Metodologia
O estudo compara sistematicamente Redes Neurais Convolucionais (CNNs) e Vision Transformers (ViTs) em várias configurações de pré-treinamento e ajuste fino.

• Conjuntos de Dados: Foram utilizados oito conjuntos de dados. Para o pré-treinamento, 100.000 imagens foram amostradas aleatoriamente do ImageNet (imagens naturais), NIH ChestX-ray, MIMIC-IV-CXR, CovidxCT (TC de tórax) e OCT (retina). Para o ajuste fino e avaliação, os modelos foram principalmente treinados no conjunto de dados NIH ChestX-ray (75.312 imagens de treinamento, 11.212 imagens de validação, 14 classes). A avaliação foi conduzida em conjuntos de dados fora da distribuição (OOD): VinDr-CXR (Vietnã), PadChest (Espanha) e CheXpert (EUA), bem como testes dentro da distribuição no NIH ChestX-ray.
• Arquiteturas: O estudo avaliou ResNet50 (CNN) e ViT-small (Transformer).
• Estratégias de Pré-treinamento:
  • Inicializações: Aleatória vs. pesos supervisionados ImageNet1k.
  • Estratégias: Aprendizagem supervisionada vs. Aprendizagem auto-supervisionada (especificamente GMML, DINO, MoCo-V3 e SiT).
  • Domínios: O pré-treinamento foi conduzido em imagens naturais, radiografias de tórax, TC de tórax e OCT de retina para testar o alinhamento de modalidade.
• Ajuste Fino: Todos os modelos foram ajustados finamente por 30 épocas no NIH ChestX-ray usando cinco sementes aleatórias diferentes para garantir robustez estatística. Os autores argumentam que 30 épocas representam um ajuste breve em vez de re-treinamento prolongado.
• Métricas de Avaliação: Além da Área Sob a Curva (AUC) padrão, o estudo avaliou a confiabilidade usando precisão de subconjunto (prever todas as etiquetas corretamente), taxas de falsos negativos (subdiagnóstico) através de limiares de decisão e "AUC Oráculo" (desempenho se casos incertos forem encaminhados a um especialista).

Principais Contribuições

1. Necessidade de Alinhamento de Modalidade: A pesquisa demonstra que o pré-treinamento em dados que correspondem estreitamente à modalidade-alvo é um pré-requisito para melhorias significativas no desempenho em tarefas específicas. O pré-treinamento em uma modalidade de saúde que não se alinha com a tarefa-alvo (por exemplo, OCT ou TC para uma tarefa de radiografia de tórax) pode impactar negativamente o desempenho em comparação com o uso de um conjunto de dados agnóstico de domínio maior, como o ImageNet.
2. Sensibilidade da Arquitetura: O estudo confirma que modelos baseados em Transformers (ViTs) são mais sensíveis à inicialização do que CNNs (ResNet50). Enquanto as CNNs mostram robustez à inicialização aleatória, os ViTs beneficiam-se significativamente de pesos pré-treinados.
3. Limitações de Métricas Agregadas: O artigo destaca que métricas de desempenho médio (como AUC média) podem ser enganosas. Existem disparidades significativas de desempenho em doenças específicas (por exemplo, os modelos performaram 20 pontos percentuais melhor em Derrame Pleural do que em Atelectasia em algumas configurações) e em diferentes locais de coleta de dados.
4. Confiabilidade e Humano no Loop: O estudo introduz a importância de avaliar modelos via "AUC Oráculo", mostrando que o desempenho e a confiabilidade podem ser marcadamente melhorados se o sistema puder encaminhar previsões incertas para especialistas humanos, um recurso crítico para implementação clínica.

Resultados

• Impacto do Pré-treinamento: Experimentos (especificamente 3.3–3.8 na Tabela 2) indicam que apenas o pré-treinamento em dados estreitamente alinhados com a modalidade-alvo (por exemplo, radiografias de tórax para uma tarefa de radiografia de tórax) melhora consistentemente o desempenho em tarefas específicas sobre a inicialização base ImageNet. Por outro lado, o pré-treinamento em modalidades médicas desalinhadas (por exemplo, TC ou OCT) frequentemente resultou em desempenho igual ou pior do que o pré-treinamento ImageNet, potencialmente devido a um "problema de esquecimento de conhecimento".
• Auto-supervisionado vs. Supervisionado: A aprendizagem auto-supervisionada (SSL) pode superar o pré-treinamento supervisionado, mas isso é dependente do contexto. Em alguns casos, SSL em dados específicos de domínio (por exemplo, MIMIC-IV-CXR) produziu os melhores resultados (Experimento 3.4), enquanto em outros, os ganhos foram marginais ou inexistentes em comparação com métodos supervisionados.
• Desempenho entre Locais: Os modelos exibiram variância significativa quando avaliados em conjuntos de dados OOD (VinDr, PadChest, CheXpert). Alguns modelos ajustados finamente em dados NIH performaram surpreendentemente bem no VinDr-CXR, enquanto outros lutaram. A variância entre sementes de ajuste fino foi notavelmente maior para conjuntos de dados OOD, levantando preocupações sobre a robustez do modelo.
• Sensibilidade da Métrica: Altas pontuações de AUC não garantiram alta precisão de subconjunto ou baixas taxas de subdiagnóstico. Por exemplo, mesmo os modelos de melhor desempenho frequentemente falharam em prever corretamente todas as cinco etiquetas de doença simultaneamente. A análise de AUC Oráculo revelou que encaminhar casos incertos para um oráculo poderia impulsionar significativamente o desempenho efetivo.

Significado e Alegações
O artigo alega fornecer uma referência sistemática que esclarece as condições sob as quais o pré-treinamento específico de domínio é benéfico. Argumenta que, embora o pré-treinamento agnóstico de domínio (ImageNet) sirva como uma base forte, a abordagem "tamanho único" de pré-treinar em qualquer conjunto de dados médico grande é insuficiente; os dados de pré-treinamento devem alinhar-se estreitamente com a modalidade-alvo para superar as bases padrão.

Os autores enfatizam que a escolha da estratégia de pré-treinamento interage com os métodos de ajuste fino e que nenhuma estratégia única domina em todos os conjuntos de dados. Eles concluem que, para implementação clínica confiável, os pesquisadores devem ir além das métricas agregadas de AUC para avaliar o desempenho por doença, a robustez entre locais e o potencial para colaboração humano-no-loop (AUC Oráculo). O estudo visa orientar a priorização de recursos, sugerindo que o ajuste fino específico de domínio é crucial para melhorar o desempenho do modelo em tarefas-alvo, mas apenas quando os dados de pré-treinamento são adequadamente correspondidos.