Pretext Matters: An Empirical Study of SSL Methods in Medical Imaging

Resumen Técnico: Pretext Matters: Un Estudio Empírico de Métodos de Aprendizaje Auto-Supervisado en Imágenes Médicas

1. Planteamiento del Problema

El Aprendizaje Auto-Supervisado (SSL, por sus siglas en inglés) se ha convertido en el paradigma dominante para entrenar modelos fundacionales en grandes conjuntos de datos de imágenes no etiquetadas. Sin embargo, en el dominio de la imagen médica, la elección de la tarea de pretext (el objetivo de aprendizaje auto-supervisado) no es trivial.

Aunque arquitecturas como las de Incrustación Conjunta (JEA) y Incrustación Conjunta Predictiva (JEPA) han demostrado ser robustas al ruido y capaces de aprender características semánticas fuertes en comparación con los métodos de reconstrucción de píxeles, no existe una investigación sistemática que determine qué objetivo de SSL se alinea mejor con la organización espacial de las señales clínicamente relevantes. La pregunta central es: ¿Cómo afecta la elección del método SSL a las representaciones aprendidas en diferentes modalidades médicas (específicamente ultrasonido e histopatología) y cómo influye esto en la utilidad clínica de los modelos?

2. Metodología

Los autores realizaron un estudio empírico comparando tres enfoques modernos de SSL en dos modalidades de imagen con perfiles de ruido y estructura de señal distintos: Ultrasonido y Histopatología.

• Modelos Evaluados:

  1. MAE (Masked Autoencoders): Basado en la reconstrucción de píxeles. Enmascara grandes proporciones de parches de imagen y reconstruye los píxeles faltantes.
  2. DINOv3 (JEA - Joint Embedding Architecture): Basado en la invariancia de vistas mediante destilación de conocimiento entre un estudiante y un maestro. Utiliza recortes globales y locales para alinear representaciones.
  3. I-JEPA (Joint Embedding Predictive Architecture): Predice representaciones latentes de bloques enmascarados a partir de un contexto visible, sin reconstruir píxeles ni depender de aumentaciones de datos hechas a mano.

• Datos y Entrenamiento:

  • Pre-entrenamiento: Se utilizaron ViT-small pre-entrenados en conjuntos de datos masivos: ~4.7 millones de frames de ultrasonido y más de 5 millones de parches de imágenes de todo el tejido (WSI) de patología (TCGA).
  • Evaluación Descendente (Downstream):
    • Ultrasonido: Se evaluó mediante linear probing (sondeo lineal) en 8 tareas de clasificación (tumores, órganos, enfermedades como hígado graso).
    • Histopatología: Se utilizó Aprendizaje por Múltiples Instancias basado en Atención (ABMIL) para 5 tareas de clasificación de subtipos de cáncer (pulmón, mama, ovario, próstata).
  • Validación Clínica: Las representaciones aprendidas fueron validadas de forma independiente por radiólogos y patólogos certificados, analizando mapas de atención, similitud coseno y proyecciones PCA.

3. Contribuciones Clave

1. Primer estudio sistemático: Comparación empírica de objetivos de SSL modernos (MAE, DINOv3, I-JEPA) específicamente en imágenes médicas.
2. Descubrimiento de cues visuales complementarios: Demostraron que diferentes objetivos codifican diferentes escalas espaciales:
   • DINOv3 captura preferentemente estructuras locales de alta granularidad.
   • I-JEPA preserva mejor las relaciones espaciales globales y la continuidad estructural.
3. Marco de selección práctica: Derivaron directrices para seleccionar el método SSL basándose en la organización espacial de la señal clínica relevante de la modalidad de imagen.

4. Resultados Principales

A. En Ultrasonido (Estructura Macroscópica y Contexto Anatómico)

• Rendimiento: I-JEPA superó significativamente a DINOv3 en tareas donde la información diagnóstica depende de la estructura macroscópica y la continuidad anatómica.
  • Ejemplo destacado: En la tarea de Hígado Graso (Fatty Liver), I-JEPA alcanzó un AUROC del 98.70% frente al 86.66% de DINOv3. Esto se debe a que el diagnóstico requiere entender la textura de todo el parénquima hepático, no solo bordes locales.
  • I-JEPA también superó en la identificación de arterias carótidas y pulmones, donde la continuidad del órgano es clave.
• Interpretabilidad: Los mapas de atención de I-JEPA se dispersaron sobre estructuras anatómicas completas (ej. todo el hígado), mostrando una coherencia semántica superior. DINOv3 tendió a enfocarse en bordes de alto contraste (diáfragma, riñón) ignorando el tejido de bajo contraste relevante.
• Conclusión: Para modalidades donde la señal relevante es global y estructural, los objetivos predictivos (JEPA) son óptimos.

B. En Histopatología (Estructura Microscópica y Morfología Celular)

• Rendimiento: DINOv3 fue superior en todas las tareas de histopatología, logrando los puntajes más altos de AUROC y F1.
  • I-JEPA tuvo un rendimiento uniformemente bajo (F1 ≤ 31.6%), indicando una incapacidad fundamental para distinguir clases celulares finas.
• Interpretabilidad: Dos patólogos validaron que DINOv3 produce representaciones biológicamente interpretables. Sus cabezas de atención se especializaron en estructuras celulares específicas (núcleos, células basales, cromatina condensada, arquitectura glandular).
  • En contraste, I-JEPA mostró atención difusa y no específica, capturando contrastes estructurales gruesos (tejido vs. espacio vacío) pero fallando en la morfología celular fina.
• Conclusión: Para modalidades donde el diagnóstico depende de texturas finas y morfología celular localizada, los objetivos de invariancia de vistas (JEA) son superiores.

C. Rendimiento de MAE

• MAE (reconstrucción de píxeles) generalmente obtuvo un rendimiento inferior a ambos en ambas modalidades. En histopatología, su atención fue descrita como aleatoria y ruidosa, ya que el modelo gastaba capacidad reconstruyendo variaciones de tinción y ruido en lugar de morfología diagnóstica.

5. Significado y Conclusiones

El artículo establece que no existe un objetivo de pretext "ideal" universal para todas las imágenes médicas. La elección del método debe guiarse por la organización espacial de la señal clínicamente relevante:

1. Si la información diagnóstica está en estructuras macroscópicas y contextos espaciales continuos (ej. ultrasonido, RMN de órganos grandes): Se deben preferir arquitecturas JEPA (como I-JEPA), ya que aprenden relaciones estructurales y continuidad sin depender de aumentaciones hechas a mano.
2. Si la información diagnóstica está en texturas finas, morfología local o variaciones celulares (ej. histopatología, citología): Se deben preferir arquitecturas JEA (como DINOv3), ya que su objetivo de invariancia de vistas fomenta la discriminación de características locales altamente informativas.
3. Reconstrucción de píxeles (MAE): Se considera subóptima para la mayoría de las imágenes médicas debido a la prevalencia de ruido y artefactos que el modelo intenta reconstruir en lugar de ignorar.

Este trabajo proporciona un marco fundamental para que los investigadores y clínicos seleccionen estrategias de pre-entrenamiento que maximicen la utilidad clínica y la interpretabilidad de los modelos fundacionales en medicina.