Structure is Supervision: Multiview Masked Autoencoders for Radiology

Resumen Técnico: Structure is Supervision

1. El Problema

El desarrollo de sistemas robustos de aprendizaje automático en medicina se enfrenta a desafíos únicos en comparación con los modelos de visión general:

• Escasez de etiquetas: Las anotaciones expertas en radiología son costosas, escasas y a menudo ruidosas.
• Estructura de los datos ignorada: Los métodos de aprendizaje auto-supervisado (SSL) actuales suelen tratar cada imagen de un estudio radiológico como una instancia independiente. Sin embargo, un estudio clínico real tiene una estructura intrínseca: consta de múltiples proyecciones (ej. frontal y lateral), adquisiciones repetidas y un informe radiológico asociado.
• Limitaciones de enfoques previos:
  • Los métodos basados solo en reconstrucción (como MAE estándar) ignoran la correspondencia entre vistas.
  • Los métodos contrastivos ignoran la calidad de la reconstrucción.
  • Los modelos de visión-idioma (VLM) dependen de la disponibilidad y calidad de los informes, y a menudo se centran en semántica abstracta en lugar de la coherencia geométrica y visual detallada entre vistas.

El objetivo es explotar la redundancia clínica (múltiples vistas de la misma anatomía) como una señal de auto-supervisión potente sin depender exclusivamente de etiquetas manuales o informes de texto durante la inferencia.

2. Metodología

Los autores proponen MVMAE (Multiview Masked Autoencoder) y su extensión MVMAE-V2T.

A. MVMAE (Enfoque Estructural)
Este marco de preentrenamiento se centra en la estructura del estudio clínico:

• Enfoque centrado en el estudio: Trata todas las proyecciones de un mismo estudio como un grupo coherente, no como imágenes aisladas.
• Objetivo de Reconstrucción enmascarada (Masked Reconstruction): Se aplica un enmascaramiento aleatorio (90%) a las imágenes y se entrena un codificador-decodificador (basado en Vision Transformers - ViT) para reconstruir las partes ocultas.
• Alineación entre vistas (Cross-View Alignment): Se introduce una pérdida adicional que fuerza a las representaciones latentes de diferentes vistas del mismo estudio (ej. frontal y lateral) a estar alineadas. Esto convierte la redundancia clínica en una señal de supervisión.
• Embeddings de Modalidad: Se añaden embeddings aprendibles para distinguir el tipo de proyección (frontal, lateral, desconocido) dentro del mismo estudio, permitiendo al modelo entender el sesgo de adquisición específico de cada vista.
• Pérdida Total: Combina la pérdida de reconstrucción ($L_{Rec}$) y la pérdida de alineación ($L_{Align}$) con un peso $\beta$ que se aumenta gradualmente (annealing) durante el entrenamiento.

B. MVMAE-V2T (Incorporación de Texto)
Para mejorar la anclaje semántico cuando los informes están disponibles:

• Señal Auxiliar: Los informes radiológicos se utilizan solo durante el preentrenamiento como señal de supervisión adicional, no como entrada durante la inferencia.
• Objetivo Visión-a-Texto (V2T): Se añade un decodificador ligero que predice causalmente los tokens del informe basándose en las representaciones visuales enmascaradas.
• Ventaja: Permite que el modelo aprenda conceptos clínicos relevantes sin convertirse en un modelo de lenguaje completo, manteniendo la inferencia puramente visual.

3. Contribuciones Clave

1. MVMAE: El primer autoencoder enmascarado multivista para radiología que adapta paradigmas de reconstrucción y alineación a la estructura de los datos médicos, logrando representaciones invariantes a la vista pero ricas en detalles.
2. MVMAE-V2T: Extensión que integra informes como señal auxiliar de supervisión, mejorando la anclaje semántico y el rendimiento en regímenes con pocas etiquetas, sin requerir texto en la fase de prueba.
3. Política de Evaluación Realista: Adopción de una evaluación centrada en el estudio que refleja la práctica diagnóstica real, analizando cómo la consistencia entre vistas escala con el número de proyecciones disponibles.
4. Benchmarks Unificados: Integración de tres grandes conjuntos de datos públicos (MIMIC-CXR, CheXpert Plus, PadChest) en un único benchmark para demostrar la generalización entre instituciones.

4. Resultados Experimentales

Los modelos fueron evaluados en tareas de clasificación de enfermedades en los tres conjuntos de datos mencionados:

• Rendimiento General: MVMAE superó consistentemente a las líneas base supervisadas (entrenadas desde cero) y a modelos de visión-idioma (VLM) como BiomedCLIP y CheXagent.
  • En MIMIC-CXR, MVMAE alcanzó un AUROC de 82.46 (vs 79.25 del supervisado y 80.65 de CheXagent).
  • En CheXpert, logró 83.24 (vs 76.39 supervisado).
  • En PadChest, alcanzó 89.17.
• Eficiencia de Etiquetas (Label Efficiency):
  • MVMAE demostró una superioridad significativa en escenarios con pocas etiquetas. Para alcanzar un AUROC del 80%, MVMAE requirió 5k muestras etiquetadas, mientras que la línea base supervisada necesitó 50k (10 veces más).
  • MVMAE-V2T mostró ganancias adicionales en regímenes de muy pocas etiquetas, actuando como un puente semántico.
• Calibración: MVMAE produjo estimaciones de confianza mejor calibradas (menor puntuación Brier) que las líneas base de preentrenamiento, lo que es crucial para la toma de decisiones clínicas.
• Impacto del Número de Vistas: El modelo preentrenado con múltiples vistas mantuvo su ventaja incluso cuando solo se proporcionaba una vista durante la inferencia, demostrando que el preentrenamiento estructural transfiere beneficios robustos.
• Hallazgo Sorprendente: En escenarios con abundantes etiquetas, MVMAE (solo visión) a veces igualó o superó a MVMAE-V2T, sugiriendo que la estructura visual por sí sola es suficiente cuando hay datos suficientes, y que el texto es más crítico cuando los datos son escasos.

5. Significado e Impacto

Este trabajo establece un nuevo paradigma para los modelos fundacionales médicos:

• La Estructura es Supervisión: Demuestra que la organización natural de los datos clínicos (múltiples vistas, informes) puede utilizarse como una señal de supervisión poderosa, reduciendo la dependencia de anotaciones costosas.
• Generalización Institucional: Al preentrenar conjuntamente en múltiples datasets con protocolos diferentes, el modelo aprende a internalizar la variabilidad clínica, mejorando la transferencia entre instituciones.
• Escalabilidad y Flexibilidad: El enfoque es escalable y aplicable a otras modalidades estructuradas (como MRI longitudinal o CT multi-secuencia), no solo a radiografías de tórax.
• Inferencia Práctica: Al mantener la inferencia puramente visual (incluso en la variante V2T), el modelo es más fácil de desplegar en entornos clínicos donde los informes de texto pueden no estar disponibles o estructurados de manera uniforme.

En conclusión, MVMAE y MVMAE-V2T ofrecen una hoja de ruta simple pero efectiva para construir modelos médicos robustos que aprenden de la estructura y la semántica de los datos, en lugar de depender únicamente de la escala de anotaciones.