Pretext Matters: An Empirical Study of SSL Methods in Medical Imaging

Título: Pretext Matters: Um Estudo Empírico de Métodos de Aprendizado Auto-supervisionado (SSL) em Imagens Médicas

1. Problema e Motivação

O Aprendizado Auto-supervisionado (SSL) tornou-se o paradigma dominante para treinar modelos fundamentais em grandes conjuntos de dados de imagens não rotuladas. No entanto, a escolha da tarefa de pretext (o objetivo de pré-treinamento) pode levar a resultados de desempenho drasticamente diferentes em domínios especializados como a medicina.

Embora arquiteturas de Joint Embedding (JEAs) e Joint Embedding Predictive Architectures (JEPAs) tenham mostrado robustez ao ruído e aprendizado de recursos semânticos fortes em comparação com métodos baseados em reconstrução de pixels, não havia estudos sistemáticos investigando qual objetivo de SSL está melhor alinhado com a organização espacial do sinal clinicamente relevante. A questão central é: como a escolha do método de SSL impacta as representações aprendidas em modalidades de imagem médica distintas (ultrassom vs. histopatologia) e como isso afeta a utilidade clínica downstream?

2. Metodologia

Os autores realizaram um estudo empírico comparando três paradigmas modernos de SSL em duas modalidades de imagem com perfis de ruído e estrutura de sinal únicos:

• Métodos Avaliados:

  1. MAE (Masked Autoencoders): Baseado em reconstrução de pixels (pixel-space).
  2. DINOv3 (Joint Embedding Architecture - JEA): Baseado em invariância de visão através de distillation e augmentations (foco em alinhamento de vistas).
  3. I-JEPA (Joint Embedding Predictive Architecture): Baseado em previsão de representações latentes de regiões mascaradas (latent-space prediction), sem dependência de augmentations manuais.

• Modalidades e Dados:

  • Histopatologia: Dados de Whole Slide Images (WSIs) do TCGA (5 milhões de patches). Tarefas downstream incluem classificação de subtipos de câncer (pulmão, mama, ovário, próstata).
  • Ultrassom: 4,7 milhões de quadros de diversos contextos clínicos (coração, fígado, tireoide, rins, etc.). Tarefas downstream incluem classificação de tumores, detecção de doenças (esteatose hepática) e diferenciação de órgãos.

• Avaliação:

  • Desempenho Downstream: Linear probing para ultrassom e Attention-based Multiple Instance Learning (ABMIL) para histopatologia.
  • Análise de Representação: Visualização de mapas de atenção, mapas de similaridade cosseno e projeções PCA.
  • Validação Clínica: Revisão cega por radiologistas e patologistas certificados para avaliar a relevância clínica e a interpretabilidade das representações aprendidas.

3. Principais Contribuições

1. Primeiro Estudo Sistemático: Apresenta a primeira comparação empírica sistemática de objetivos modernos de SSL para imagens médicas, analisando como a tarefa de pretext influencia a estrutura espacial das representações aprendidas.
2. Descoberta de Cues Visuais Complementares: Demonstra que diferentes objetivos codificam informações visuais distintas:
   • DINOv3 (JEA): Captura preferencialmente estruturas locais de alta granularidade.
   • I-JEPA (JEPA): Preserva melhor as relações espaciais globais e a continuidade estrutural.
3. Diretrizes Práticas: Deriva um framework para selecionar métodos de SSL baseado no alinhamento entre o objetivo de pretext e as características espaciais do sinal clinicamente relevante da modalidade de imagem.

4. Resultados Principais

A. Em Ultrassom (Estrutura Macroscópica e Contexto Espacial)

• Desempenho: O I-JEPA superou significativamente o DINOv3 e o MAE em tarefas que exigem compreensão de grandes estruturas anatômicas e continuidade, como a detecção de Fígado Gorduroso (AUROC de 98,70% vs. 86,66% do DINOv3) e identificação de artérias carótidas e pulmão.
• Análise de Representação: O I-JEPA aprendeu a agrupar regiões anatômicas contíguas (ex.: parênquima hepático) de forma semanticamente consistente. Os mapas de similaridade cosseno mostraram que o I-JEPA captura a coerência estrutural do órgão inteiro.
• Validação Clínica: Radiologistas observaram que o I-JEPA atende a regiões anatômicas completas e relevantes, enquanto o DINOv3 tende a focar em bordas de alto contraste e estruturas locais, ignorando o contexto macroscópico necessário para diagnósticos como esteatose hepática.

B. Em Histopatologia (Estrutura Local e Morfologia Celular)

• Desempenho: O DINOv3 superou consistentemente todos os outros métodos em todas as tarefas de classificação de câncer (Pulmão, Mama, Ovário, Próstata), alcançando os melhores scores de AUROC e F1. O I-JEPA teve desempenho uniformemente baixo, com dificuldade em distinguir classes.
• Análise de Representação: O DINOv3 aprendeu a separar tipos celulares, morfologia nuclear e arquitetura glandular. Os mapas de atenção mostraram cabeças de atenção especializadas em estruturas biológicas específicas (núcleos, células basais, cromatina).
• Validação Clínica: Patologistas classificaram as representações do DINOv3 como "biologicamente interpretáveis" e estruturadas. Em contraste, as representações do I-JEPA foram descritas como "difusas" e "não específicas", capturando apenas contrastes estruturais grosseiros (tecido vs. espaço vazio) e falhando em capturar a morfologia celular fina essencial para o diagnóstico. O MAE mostrou-se ruidoso e pouco relevante clinicamente.

5. Significado e Conclusão

O artigo conclui que não existe uma tarefa de pretext ideal universal para todas as modalidades de imagem médica. A eficácia depende criticamente da organização espacial da informação clinicamente relevante:

1. Quando o diagnóstico depende de Macro-estruturas e Contexto Espacial (ex.: Ultrassom): Objetivos do tipo JEPA (como I-JEPA) são superiores. Eles modelam dependências estruturais e relações espaciais contínuas, sendo robustos ao ruído e capazes de entender a anatomia global.
2. Quando o diagnóstico depende de Texturas Finas e Morfologia Local (ex.: Histopatologia): Objetivos do tipo JEA (como DINOv3) são superiores. A invariância de visão e o foco em características discriminativas locais permitem a distinção de detalhes celulares e padrões de tecido que são críticos para o diagnóstico.
3. Reconstrução de Pixels (MAE): Geralmente subótima em imagens médicas devido à prevalência de ruído e artefatos, forçando o modelo a gastar capacidade em detalhes de baixa frequência sem valor semântico alto.

Impacto: Este trabalho fornece um guia prático para pesquisadores e praticantes de IA médica, sugerindo que a seleção do método de pré-treinamento deve ser guiada pela análise da estrutura do sinal da modalidade de imagem alvo, e não apenas pela escala do modelo ou popularidade do algoritmo. A colaboração com especialistas clínicos é essencial para validar se as representações aprendidas capturam sinais clinicamente significativos.