Resumen Técnico: RadJEPA

Enunciado del Problema

Los avances recientes en modelos de visión–lenguaje médicos han impulsado el aprendizaje de representaciones visuales mediante supervisión textual. Sin embargo, este paradigma está limitado por la disponibilidad de datos emparejados de imagen–texto y se basa en la suposición de que los informes radiológicos proporcionan un relato completo y sin sesgos del contenido visual. En la práctica, los informes clínicos enfatizan hallazgos selectivos para la toma de decisiones, omitiendo a menudo variaciones sutiles u observaciones ausentes. En consecuencia, los codificadores entrenados para alinear imágenes con texto pueden heredar sesgos y no preservar la estructura semántica completa de las imágenes médicas.

Además, las alternativas de autoaprendizaje existentes, como la auto-distilación al estilo DINO, aprenden invarianzas al alinear representaciones globales a través de múltiples vistas aumentadas. En el contexto de las radiografías de tórax, donde las diferencias anatómicas de grano fino y las señales patológicas sutiles son críticas para el diagnóstico, imponer un acuerdo global entre vistas puede priorizar la consistencia a nivel de apariencia sobre la completitud semántica. Estos métodos suelen enfatizar la consistencia en el espacio de píxeles en lugar de predecir representaciones semánticas en el espacio latente.

Metodología: RadJEPA

Para abordar estas limitaciones, los autores introducen RadJEPA (Codificador de Radiología para Radiografías de Tórax mediante Arquitectura Predictiva de Incrustación Conjunta), un marco de autoaprendizaje que aprende sin supervisión lingüística.

Arquitectura Central

RadJEPA se basa en una Arquitectura Predictiva de Incrustación Conjunta (JEPA). A diferencia de los métodos que reconstruyen píxeles o alinean representaciones globales de vistas, RadJEPA modela explícitamente la predicción en el espacio latente:

1. Partición de Entrada: Una radiografía de tórax de entrada $x$ se divide en regiones visibles ($x_v$) y regiones enmascaradas ($x_m$).
2. Codificación: Un codificador visual $f_\theta$ mapea estas regiones a representaciones latentes $z_v = f_\theta(x_v)$ y $z_m = f_\theta(x_m)$.
3. Predicción: Una red predictor $g_\phi$ se entrena para predecir la representación latente de las regiones enmascaradas ($\hat{z}_m$) basándose únicamente en la representación latente del contexto visible ($z_v$).
4. Objetivo: El modelo minimiza el error cuadrático entre la representación latente predicha y la representación latente real (con gradiente detenido) de la región enmascarada:
   $$L = \|g_\phi(z_v) - \text{stopgrad}(z_m)\|^2$$
5. Dinámica de Entrenamiento: Los parámetros del codificador objetivo se actualizan mediante una media móvil exponencial (EMA) del codificador en línea, similar a las formulaciones maestro-alumno, pero el objetivo opera enteramente en el espacio de representaciones sin reconstrucción de píxeles, negativos contrastivos o aumentaciones de datos explícitas.

Adaptación Downstream

Tras el preentrenamiento en radiografías de tórax sin etiquetas, el codificador visual $f$ se congela. Las cabezas específicas de la tarea se entrenan independientemente para:

• Clasificación de Enfermedades: Un clasificador lineal sobre incrustaciones globales congeladas.
• Segmentación Semántica: Un decodificador UPerNet que agrega características multiescala del codificador congelado.
• Generación de Informes: Una configuración multimodal al estilo LLaVA donde las incrustaciones visuales congeladas se proyectan en el espacio de incrustaciones del lenguaje y se alimentan a un modelo de lenguaje (Vicuna-7B).

Contribuciones Clave

1. Limitaciones de los Paradigmas Existentes: El artículo demuestra que tanto la supervisión lingüística como la auto-distilación al estilo DINO tienen limitaciones en el aprendizaje de representaciones radiológicas, particularmente en cuanto a la completitud semántica y el detalle anatómico de grano fino.
2. Marco RadJEPA: Los autores introducen una arquitectura predictiva de autoaprendizaje que aprende directamente a partir de imágenes de radiografías de tórax sin etiquetas. Logra un rendimiento comparable o superior a los modelos de última generación (SoTA) entrenados en más de 839 mil imágenes de radiografías de tórax, a pesar de utilizar una columna vertebral más pequeña (ViT-B/14, 86 millones de parámetros) en comparación con modelos más grandes como DINOv2 (1.1 mil millones) o I-JEPA (0.6 mil millones).
3. Evaluación Exhaustiva: El trabajo proporciona evaluaciones empíricas en tres tareas downstream distintas: clasificación de enfermedades, segmentación semántica y generación de informes, comparando contra un conjunto diverso de líneas base que incluyen arquitecturas de mayor capacidad.

Resultados Experimentales

El modelo se preentrenó en 839.364 imágenes de radiografías de tórax de conjuntos de datos de código abierto (BRAX, CheXpert, MIMIC-CXR, ChestX-ray14, PadChest).

• Clasificación de Imágenes: En los benchmarks VinDr-CXR y RSNA-Pneumonia, RadJEPA superó consistentemente a las líneas base solo de imagen y de visión-lenguaje.
  • En VinDr-CXR, logró un AUPRC medio de 55.2, superando a RAD-DINO (52.8) e I-JEPA (50.0).
  • Se observaron mejoras notables en hallazgos sutiles y heterogéneos como la fibrosis pulmonar (+4.5 AUPRC sobre RAD-DINO) y el agrandamiento aórtico.
  • En RSNA-Pneumonia, alcanzó el mejor AUPRC (72.7) y AUROC (89.2).
• Segmentación Semántica: Utilizando un decodificador UPerNet, RadJEPA obtuvo las puntuaciones Dice más altas en las tareas de segmentación de pulmón (98.3), zona pulmonar (93.7) y costilla (89.6). Mostró ganancias particularmente fuertes en objetivos estructuralmente complejos como las costillas (+4.8 Dice sobre RAD-DINO).
• Generación de Informes: En MIMIC-CXR y el conjunto de datos fuera de distribución IU-Xray, RadJEPA logró el mejor rendimiento en todas las métricas (ROUGE-L, BLEU-4, RGER, Macro-F1-14) entre los codificadores solo de imagen y predictivos.
  • En MIMIC-CXR, logró un ROUGE-L de 26.1 y un Macro-F1-14 de 32.6.
  • En IU-Xray, mejoró el ROUGE-L en +1.7 sobre la línea base no-JEPA más fuerte.
• Significancia Estadística: Las pruebas de hipótesis de una cola confirmaron que 16 de los 19 casos evaluados mostraron mejoras estadísticamente significativas ($p < 0.05$) sobre las líneas base.

Significancia

El artículo argumenta que las radiografías de tórax son fundamentalmente semánticas y no centradas en la vista. La interpretación clínica depende del contexto anatómico global y de las relaciones espaciales, lo que sugiere que aprender representaciones directamente en el espacio de píxeles o imponer invariancia a nivel de vista es subóptimo. RadJEPA demuestra que el modelado latente predictivo permite el aprendizaje de codificadores de radiología robustos y de propósito general sin depender de datos emparejados de imagen–texto o de arquitecturas tradicionales de tipo distilación.

Los resultados indican que las ganancias de rendimiento en la imagen médica no son impulsadas únicamente por la escala del modelo o el tamaño del conjunto de datos, sino por la calidad de las representaciones aprendidas. Al lograr un rendimiento downstream superior con un número menor de parámetros (ViT-B/14) en comparación con modelos masivos, RadJEPA destaca la eficiencia de muestras y la calidad representacional de las arquitecturas al estilo JEPA en el dominio médico. Los autores concluyen que se pueden aprender codificadores de radiología sólidos de manera efectiva sin supervisión lingüística, ofreciendo un camino reproducible hacia adelante mediante la publicación pública del código y los pesos.