Structure is Supervision: Multiview Masked Autoencoders for Radiology

1. O Problema

O desenvolvimento de sistemas de aprendizado de máquina robustos para medicina enfrenta desafios únicos que diferem dos dados em escala da internet utilizados em modelos de visão-linguagem gerais:

• Escala e Rotulagem: Conjuntos de dados de radiografia torácica (como MIMIC-CXR, CheXpert, PadChest) contêm centenas de milhares, e não bilhões, de estudos. As anotações são caras, raras e frequentemente ruidosas.
• Ignorância da Estrutura Clínica: Métodos de aprendizado auto-supervisionado (SSL) existentes tratam as imagens de um mesmo estudo radiológico como instâncias independentes. No entanto, um estudo clínico é estruturado: ele frequentemente contém múltiplas projeções (ex: frontal e lateral), aquisições repetidas e um relatório textual associado.
• Limitações dos Métodos Atuais:
  • Abordagens baseadas apenas em reconstrução (como MAE padrão) ignoram a correspondência entre diferentes vistas (cross-view).
  • Abordagens contrastivas ignoram a qualidade da reconstrução.
  • Modelos de Visão-Linguagem (VLMs) dependem da disponibilidade e qualidade dos relatórios e muitas vezes focam em semântica abstrata em vez de correspondência visual espacial detalhada.

2. Metodologia: MVMAE e MVMAE-V2T

Os autores propõem o Multiview Masked Autoencoder (MVMAE), um framework de pré-treinamento centrado no "estudo" (study-centric) que explora a redundância clínica como sinal de auto-supervisão.

A. MVMAE (Multiview Masked Autoencoder)

O modelo combina reconstrução de imagem mascarada com alinhamento entre vistas:

1. Reconstrução Mascarada (Masked Image Modeling): Para cada vista (ex: frontal, lateral) de um estudo, o modelo mascara uma grande fração dos patches (90%) e tenta reconstruir a imagem original usando um encoder-decoder baseado em Vision Transformer (ViT).
2. Alinhamento entre Vistas (Cross-View Alignment): Introduz uma perda de regularização que força as representações latentes de diferentes projeções do mesmo estudo a serem consistentes. Isso transforma a redundância clínica (a mesma anatomia vista de ângulos diferentes) em um sinal de supervisão forte.
3. Embeddings de Modalidade: O modelo utiliza embeddings aprendíveis para identificar o tipo de projeção (frontal, lateral, desconhecido), permitindo que o encoder compartilhe parâmetros, mas seja consciente do viés de aquisição de cada vista.
4. Objetivo Final: Minimizar a soma da perda de reconstrução ($L_{Rec}$) e a perda de alinhamento ($L_{Align}$), ponderada por um coeficiente $\beta$.

B. MVMAE-V2T (Vision-to-Text)

Uma extensão do MVMAE que incorpora relatórios radiológicos como sinal de supervisão auxiliar:

• Objetivo: Adiciona uma tarefa de geração de texto (captioning) onde o modelo prevê os tokens do relatório radiológico condicionado às representações visuais não mascaradas.
• Arquitetura: Utiliza um decoder de texto leve que usa atenção cruzada com os embeddings visuais.
• Inferência: Crucialmente, o texto é usado apenas durante o pré-treinamento. Na inferência (fase de teste/ajuste fino), o modelo permanece um codificador puramente visual, garantindo compatibilidade com cenários clínicos onde relatórios podem não estar disponíveis ou não serem necessários para a decisão.

3. Contribuições Principais

1. MVMAE: O primeiro autoencoder mascarado multivista para radiologia, que adapta paradigmas de reconstrução e alinhamento à estrutura de dados médicos, gerando representações invariantes à vista, mas ricas em detalhes.
2. MVMAE-V2T: Uma extensão que usa relatórios como sinal auxiliar de supervisão, melhorando a ancoragem semântica sem comprometer a inferência puramente visual.
3. Política de Avaliação Realista: Adoção de uma política de avaliação centrada no estudo que reflete a prática diagnóstica real, permitindo analisar como a consistência entre vistas escala com o número de projeções disponíveis.
4. Benchmark Unificado: Integração de três grandes conjuntos de dados públicos (MIMIC-CXR, CheXpert Plus e PadChest) em um único benchmark, demonstrando generalização entre instituições.

4. Resultados Experimentais

Os modelos foram avaliados em tarefas de classificação de doenças em três grandes conjuntos de dados:

• Desempenho Geral: O MVMAE superou consistentemente baselines supervisionados (treinados do zero) e modelos de visão-linguagem (como BiomedCLIP e CheXagent) em métricas de AUROC e F1.
• Eficiência de Rótulos (Label Efficiency):
  • Em regimes de poucos rótulos (low-label), o MVMAE-V2T mostrou ganhos significativos, superando o MVMAE puro.
  • Para atingir ~80% de AUROC, o MVMAE precisou de 5k amostras rotuladas, enquanto a baseline supervisionada precisou de 50k (10x mais).
• Calibração: O MVMAE produziu estimativas de confiança melhor calibradas (menor Brier Score) em comparação com outras bases de pré-treinamento, indicando maior confiabilidade nas previsões.
• Impacto do Número de Vistas: O pré-treinamento multivista trouxe benefícios mesmo quando apenas uma vista estava disponível na inferência, demonstrando que a estrutura aprendida durante o treino é transferível.
• Comparação com VLMs: Curiosamente, em regimes de muitos rótulos, o MVMAE (sem texto) às vezes superou o MVMAE-V2T, sugerindo que, com dados suficientes, a estrutura visual é suficiente e o texto pode adicionar complexidade de otimização desnecessária. O texto é mais benéfico quando os dados rotulados são escassos.

5. Significado e Conclusão

O trabalho estabelece que a estrutura dos dados clínicos (múltiplas vistas, repetições, relatórios) é uma fonte poderosa de supervisão que não deve ser ignorada.

• Mudança de Paradigma: Em vez de tratar imagens médicas como dados independentes, o MVMAE explora a coerência geométrica e semântica inerente aos estudos radiológicos.
• Escalabilidade: O framework oferece um caminho escalável para modelos fundamentais (foundation models) médicos que são robustos e generalizáveis entre instituições, sem depender exclusivamente de anotações massivas.
• Aplicabilidade: A abordagem não se limita a raios-X; pode ser estendida para outras modalidades com dados estruturados, como ressonância magnética longitudinal ou tomografia computadorizada multi-sequência.

Em resumo, o artigo demonstra que alinhar objetivos de pré-treinamento com a organização real dos dados clínicos (estrutura e semântica textual auxiliar) é fundamental para o avanço da inteligência artificial na medicina.