Resumen Técnico: GazeWorld – Un Modelo del Mundo de la Lectura del Radiólogo para el Aprendizaje de Representaciones de Imágenes Médicas

1. Declaración del Problema

La traducción clínica de la inteligencia artificial en imágenes médicas enfrenta dos desafíos principales: la escasez de conjuntos de datos etiquetados a gran escala y diversos debido a las regulaciones de privacidad y al alto costo de la anotación experta, y la falta de interpretabilidad en los modelos actuales, que a menudo emiten etiquetas diagnósticas sin exponer la evidencia subyacente. Si bien los datos de seguimiento ocular de radiólogos ofrecen una solución prometedora al codificar el conocimiento previo experto y la secuencia temporal de la recopilación de evidencia, los métodos existentes utilizan esta señal solo parcialmente. Los enfoques actuales suelen tratar la mirada como un prior espacial estático (por ejemplo, mapas de calor) o como un objetivo de predicción auxiliar desacoplado del proceso de razonamiento diagnóstico. En consecuencia, la estructura temporal de cómo los expertos buscan, comparan y acumulan evidencia permanece subutilizada para mejorar las representaciones diagnósticas.

2. Metodología: GazeWorld

Los autores proponen GazeWorld, un modelo del mundo de imágenes médicas que reformula el proceso diagnóstico del radiólogo como una trayectoria a través de un mundo perceptual definido por la imagen. En lugar de tratar la mirada como un mapa estático, GazeWorld modela el proceso de lectura como una secuencia autoregresiva donde el radiólogo navega por la imagen, extrayendo evidencia local en cada fijación para informar la siguiente región de interés.

Arquitectura Central

GazeWorld consta de tres componentes principales (ilustrados en la Figura 1 del artículo):

1. Representaciones de Parches y Secuencia de Fijaciones:

   • Un codificador visual en línea ($\phi$) mapea una imagen médica $X$ a un conjunto de representaciones semánticas a nivel de parche $Z$.
   • Las secuencias de fijaciones de radiólogos $F$ se mapean a índices de parches únicos y ordenados $S = (s_1, \dots, s_L)$, preservando el orden temporal de las visitas mientras se fusionan las visitas repetidas al mismo parche.

2. Rama de Predicción de la Siguiente Fijación (Autoregresiva):

   • Siguiendo el paradigma de la Arquitectura de Predicción de Incrustación Conjunta (JEPA), el modelo predice la representación latente del parche fijado siguiente basándose en todos los parches visitados previamente.
   • Un embebidor de fijaciones ($\psi$) combina el token visual de un parche visitado con incrustaciones espaciales, rango temporal y duración de la permanencia.
   • Un predictor autoregresivo ($g_\theta$), implementado como un Transformer causal, procesa el prefijo de tokens de fijación para predecir la representación del siguiente parche ($\hat{z}_{s_i}$).
   • El objetivo de predicción se deriva de un codificador objetivo de momento ($\bar{\phi}$), una copia de media móvil exponencial (EMA) del codificador en línea, lo que garantiza objetivos de espacio de representación estables sin retropropagar gradientes a través del objetivo.

3. Rama de Completado Espacial:

   • Para abordar las regiones no visitadas, que pueden ser clínicamente informativas (por ejemplo, omitidas porque son normales), una rama de completado espacial predice representaciones para todos los parches no visitados en paralelo.
   • Un decodificador ligero de atención cruzada utiliza la representación completa del contexto de la mirada (salida del predictor autoregresivo) para inferir las representaciones de los parches no visitados.

Objetivo de Preentrenamiento

El modelo se preentrena utilizando una función de pérdida combinada:
$$L_{pre} = L_{AR} + \lambda L_{SC}$$
Donde $L_{AR}$ es la pérdida autoregresiva para la predicción de la siguiente fijación y $L_{SC}$ es la pérdida de completado espacial para las regiones no visitadas. Este objetivo es auto-supervisado, no requiere etiquetas diagnósticas, solo pares imagen-texto y trayectorias de mirada.

3. Contribuciones Clave

El artículo describe tres contribuciones principales:

1. Formulación del Modelo del Mundo de la Mirada: Los autores introducen una formulación novedosa del proceso de lectura del radiólogo como una trayectoria a través de un mundo perceptual. Este enfoque explota plenamente la estructura temporal de la mirada experta como una señal auto-supervisada, yendo más allá de los mapas de calor estáticos y la predicción de trayectorias desacopladas.
2. Arquitectura GazeWorld: Instancian esta formulación como GazeWorld, que combina de manera única la predicción autoregresiva ordenada por la mirada en el espacio latente con una rama de completado espacial. Esto moldea la representación para capturar tanto el contenido diagnóstico como la estructura secuencial del razonamiento experto.
3. Utilidad Dual de las Representaciones: Las representaciones aprendidas demuestran que un solo modelo puede apoyar tanto el diagnóstico preciso como la decodificación interpretable de trayectorias. Un decodificador genérico entrenado sobre características congeladas de GazeWorld supera a predictores de trayectoria construidos con un propósito específico, lo que indica que la representación codifica inherentemente la estructura secuencial de la búsqueda visual experta.

4. Resultados Experimentales

Los autores evaluaron GazeWorld en el diagnóstico de radiografías de tórax y la predicción de trayectorias en tres puntos de referencia: CheXpert, RSNA Pneumonia y SIIM-ACR Pneumothorax.

Rendimiento Diagnóstico

• Configuraciones Supervisadas: Las características congeladas de GazeWorld lograron un AUROC de vanguardia (SOTA) en las nueve configuraciones supervisadas (tres conjuntos de datos $\times$ tres fracciones de etiquetas: 1%, 10%, 100%). Cabe destacar que, bajo una comparación controlada con EGMA (coincidiendo en arquitectura base, inicialización y datos), GazeWorld mejoró el AUROC del 1% en CheXpert de 71.21 a 78.37.
• Rendimiento Zero-Shot: GazeWorld logró la mayor precisión zero-shot en los tres puntos de referencia y las puntuaciones F1 más altas en CheXpert y SIIM-ACR, superando a modelos como MedCLIP, EGMA y GLoRIA.
• Análisis Cualitativo: Las visualizaciones Grad-CAM indicaron que GazeWorld produce activaciones más concentradas sobre la anatomía clínicamente relevante en comparación con los modelos de referencia.

Predicción de Trayectorias

• Experimento de Sondeo: Se evaluó un decodificador genérico entrenado sobre características congeladas de GazeWorld en el punto de referencia GazeSearch (protocolo ChestSearch).
• Rendimiento: A pesar de no haber sido entrenado explícitamente para predecir la mirada, las características de GazeWorld permitieron que un decodificador superara al LogitGaze-Med construido con un propósito específico en más de un 16% en ScanMatch y un 22% en SED (Distancia Euclidiana de la Trayectoria).
• Implicación: Esto sugiere que el preentrenamiento del modelo del mundo codifica con éxito la estructura secuencial de la lectura experta en la representación visual.

Estudios de Ablación

• Ordenamiento: Reemplazar las trayectorias expertas por órdenes de barrido raster o aleatorios degradó significativamente el rendimiento, confirmando que el orden cronológico de la recopilación de evidencia es crítico.
• Componentes: El componente autoregresivo (AR) por sí solo proporcionó un rendimiento sólido, pero añadir el completado espacial mejoró aún más los resultados. El completado espacial por sí solo fue más débil, lo que sugiere que depende del contexto autoregresivo para ser efectivo.
• Arquitecturas Base: El método mejoró consistentemente el rendimiento zero-shot cuando se aplicó sobre diferentes arquitecturas visuales médicas (MGCA, EGMA, MedCLIP), lo que indica su generalizabilidad.

5. Significado y Afirmaciones

El artículo afirma que GazeWorld demuestra un paradigma de preentrenamiento prometedor para la inteligencia artificial en imágenes médicas al modelar cómo leen los expertos, no solo qué concluyen. Al tratar la imagen como un mundo y la secuencia de fijaciones como una trayectoria, el modelo aprende a predecir el siguiente paso en el razonamiento diagnóstico.

Los autores afirman que este enfoque:

• Reduce la dependencia de grandes conjuntos de datos etiquetados aprovechando la rica señal auto-supervisada de los datos de seguimiento ocular.
• Proporciona una base para la interpretabilidad que los mapas de atención estáticos no pueden ofrecer, ya que las representaciones aprendidas retienen la estructura secuencial del razonamiento experto.
• Ofrece un objetivo de refinamiento complementario para los modelos fundacionales médicos existentes, inyectando dinámicas de lectura de radiólogos en codificadores preentrenados sin requerir un reentrenamiento completo desde cero.

El estudio está modestamente limitado a radiografías de tórax y un único corpus de seguimiento ocular (MIMIC-EYE), y los autores señalan que el trabajo futuro debería explorar conjuntos de datos más grandes con múltiples lectores y modalidades de imagen más amplias.