Resumo Técnico: RadJEPA

Declaração do Problema

Avanços recentes em modelos de visão–linguagem médicos impulsionaram a aprendizagem de representações visuais por meio de supervisão textual. No entanto, esse paradigma é limitado pela disponibilidade de dados pareados imagem–texto e baseia-se na suposição de que os laudos radiológicos fornecem um relato completo e imparcial do conteúdo visual. Na prática, os laudos clínicos enfatizam achados seletivos para tomada de decisão, frequentemente omitindo variações sutis ou observações ausentes. Consequentemente, codificadores treinados para alinhar imagens com texto podem herdar vieses e falhar em preservar a estrutura semântica completa das imagens médicas.

Além disso, alternativas auto-supervisionadas existentes, como a auto-distilação estilo DINO, aprendem invariâncias ao alinhar representações globais entre múltiplas visões aumentadas. No contexto de radiografias de tórax, onde diferenças anatômicas de alta granularidade e pistas patológicas sutis são diagnosticamente críticas, impor concordância global entre visões pode priorizar a consistência ao nível de aparência em detrimento da completude semântica. Esses métodos frequentemente enfatizam a consistência no espaço de pixels em vez de prever representações semânticas no espaço latente.

Metodologia: RadJEPA

Para abordar essas limitações, os autores introduzem o RadJEPA (Radiology Encoder for Chest X-Rays via Joint Embedding Predictive Architecture), um framework auto-supervisionado que aprende sem supervisão linguística.

Arquitetura Central

O RadJEPA é construído sobre uma Arquitetura Preditiva de Incorporação Conjunta (JEPA). Diferentemente de métodos que reconstroem pixels ou alinham representações globais de visões, o RadJEPA modela explicitamente a previsão no espaço latente:

1. Particionamento de Entrada: Uma radiografia de tórax de entrada $x$ é particionada em regiões visíveis ($x_v$) e regiões mascaradas ($x_m$).
2. Codificação: Um codificador visual $f_\theta$ mapeia essas regiões em representações latentes $z_v = f_\theta(x_v)$ e $z_m = f_\theta(x_m)$.
3. Previsão: Uma rede preditora $g_\phi$ é treinada para prever a representação latente das regiões mascaradas ($\hat{z}_m$) com base exclusivamente na representação latente do contexto visível ($z_v$).
4. Objetivo: O modelo minimiza o erro quadrático entre a representação latente prevista e a representação latente real (com gradiente interrompido) da região mascarada:
   $$L = \|g_\phi(z_v) - \text{stopgrad}(z_m)\|^2$$
5. Dinâmica de Treinamento: Os parâmetros do codificador alvo são atualizados por meio de uma média móvel exponencial (EMA) do codificador online, semelhante a formulações professor-aluno, mas o objetivo opera inteiramente no espaço de representações, sem reconstrução de pixels, negativos contrastivos ou aumentações de dados explícitas.

Adaptação Downstream

Após o pré-treinamento em radiografias de tórax não rotuladas, o codificador visual $f$ é congelado. Cabeças específicas de tarefa são treinadas independentemente para:

• Classificação de Doenças: Um classificador linear sobre incorporações globais congeladas.
• Segmentação Semântica: Um decodificador UPerNet agregando características multiescala do codificador congelado.
• Geração de Laudos: Uma configuração multimodal estilo LLaVA onde incorporações visuais congeladas são projetadas no espaço de incorporação linguística e alimentadas em um modelo de linguagem (Vicuna-7B).

Contribuições Principais

1. Limitações dos Paradigmas Existentes: O artigo demonstra que tanto a supervisão linguística quanto a auto-distilação estilo DINO possuem limitações na aprendizagem de representações radiológicas, particularmente no que tange à completude semântica e ao detalhe anatômico de alta granularidade.
2. Framework RadJEPA: Os autores introduzem uma arquitetura preditiva auto-supervisionada que aprende diretamente a partir de imagens de radiografias de tórax não rotuladas. Ela alcança desempenho comparável ou superior ao de modelos de última geração (SoTA) treinados em mais de 839 mil imagens de radiografias de tórax, apesar de utilizar uma base menor (ViT-B/14, 86 milhões de parâmetros) em comparação com modelos maiores como DINOv2 (1,1 bilhão) ou I-JEPA (0,6 bilhão).
3. Avaliação Abrangente: O trabalho fornece avaliações empíricas em três tarefas downstream distintas: classificação de doenças, segmentação semântica e geração de laudos, comparando-se com um conjunto diversificado de baselines, incluindo arquiteturas de maior capacidade.

Resultados Experimentais

O modelo foi pré-treinado em 839.364 imagens de radiografias de tórax de conjuntos de dados de código aberto (BRAX, CheXpert, MIMIC-CXR, ChestX-ray14, PadChest).

• Classificação de Imagens: Nos benchmarks VinDr-CXR e RSNA-Pneumonia, o RadJEPA superou consistentemente as baselines apenas de imagem e visão–linguagem.
  • No VinDr-CXR, alcançou uma AUPRC média de 55,2, superando o RAD-DINO (52,8) e o I-JEPA (50,0).
  • Melhorias notáveis foram observadas em achados sutis e heterogêneos, como fibrose pulmonar (+4,5 AUPRC sobre o RAD-DINO) e alargamento aórtico.
  • No RSNA-Pneumonia, atingiu a melhor AUPRC (72,7) e AUROC (89,2).
• Segmentação Semântica: Utilizando um decodificador UPerNet, o RadJEPA alcançou os maiores escores Dice em todas as tarefas de segmentação: pulmão (98,3), zona pulmonar (93,7) e costela (89,6). Mostrou ganhos particularmente fortes em alvos estruturalmente complexos, como costelas (+4,8 Dice sobre o RAD-DINO).
• Geração de Laudos: No MIMIC-CXR e no conjunto de dados fora de distribuição IU-Xray, o RadJEPA alcançou o melhor desempenho em todas as métricas (ROUGE-L, BLEU-4, RGER, Macro-F1-14) entre codificadores apenas de imagem e preditivos.
  • No MIMIC-CXR, alcançou um ROUGE-L de 26,1 e um Macro-F1-14 de 32,6.
  • No IU-Xray, melhorou o ROUGE-L em +1,7 sobre a baseline não-JEPA mais forte.
• Significância Estatística: Testes de hipótese de cauda única confirmaram que 16 dos 19 casos avaliados mostraram melhorias estatisticamente significativas ($p < 0,05$) sobre as baselines.

Significância

O artigo argumenta que as radiografias de tórax são fundamentalmente semânticas e não centradas na visão. A interpretação clínica depende do contexto anatômico global e das relações espaciais, sugerindo que aprender representações diretamente no espaço de pixels ou impor invariância ao nível de visão é subótimo. O RadJEPA demonstra que a modelagem latente preditiva permite a aprendizagem de codificadores de radiologia robustos e de propósito geral, sem depender de dados pareados imagem–texto ou arquiteturas tradicionais de distilação.

Os resultados indicam que os ganhos de desempenho em imagem médica não são impulsionados exclusivamente pela escala do modelo ou pelo tamanho do conjunto de dados, mas pela qualidade das representações aprendidas. Ao alcançar desempenho superior downstream com uma contagem menor de parâmetros (ViT-B/14) em comparação com modelos massivos, o RadJEPA destaca a eficiência de amostragem e a qualidade representacional das arquiteturas estilo JEPA no domínio médico. Os autores concluem que codificadores robustos de radiologia podem ser aprendidos efetivamente sem supervisão linguística, oferecendo um caminho reprodutível para frente por meio do lançamento público de código e pesos.