GazeXPErT: An Expert Eye-tracking Dataset for Interpretable and Explainable AI in Oncologic FDG-PET/CT Scans

El artículo presenta GazeXPErT, un conjunto de datos de seguimiento ocular de expertos en 346 escaneos FDG-PET/CT oncológicos diseñado para mejorar la interpretabilidad, explicabilidad y rendimiento de los modelos de inteligencia artificial en la detección y localización de tumores.

Lo esencial

¡Hola! Imagina que quieres enseñarle a un robot a ser un detective médico experto. El robot tiene que mirar miles de imágenes de rayos X y tomografías para encontrar tumores ocultos. El problema es que el robot es muy inteligente, pero no tiene "intuición". No sabe cómo piensan los doctores humanos cuando buscan esos tumores.

Aquí es donde entra GazeXPErT, un proyecto fascinante que actúa como un "manual de instrucciones" hecho de miradas.

Aquí te lo explico con una analogía sencilla:

🕵️‍♂️ La Analogía: El Detective y su Lupa Mágica

Imagina que tienes un detective novato (la Inteligencia Artificial) y un detective maestro (el radiólogo experto).

• El novato mira la foto del crimen (la imagen médica) de arriba a abajo, de izquierda a derecha, como si leyera un libro. A veces se pierde o se salta pistas importantes.
• El maestro, en cambio, no mira todo al azar. Su mirada salta directamente a las zonas sospechosas. Sabe exactamente dónde buscar, qué detalles ignorar y cuándo dudar.

El problema es que el maestro no puede "transmitir" su experiencia al novato solo con palabras. El novato no sabe dónde está mirando el maestro.

GazeXPErT es como una cámara invisible que graba los ojos del detective maestro.

👁️ ¿Qué hicieron exactamente?

1. La Grabación: Pusieron a 13 expertos (doctores de Estados Unidos, Alemania, Corea y Japón) a leer 346 imágenes de pacientes con cáncer. Mientras lo hacían, usaron unas gafas especiales (o una cámara de seguimiento ocular) que grababa cada vez que sus ojos se movían, a una velocidad de 60 veces por segundo.
2. El Mapa del Tesoro: De esas horas de grabación, extrajeron 9,030 "trayectorias de mirada". Es decir, crearon un mapa que dice: "Cuando el doctor vio este tumor, sus ojos hicieron este movimiento específico antes de confirmar que era peligroso".
3. La Incertidumbre: También grabaron cuándo el doctor decía "estoy seguro" y cuándo decía "no estoy seguro". Esto es crucial porque en la vida real, los doctores a veces dudan, y la IA necesita aprender eso también.

🤖 ¿Para qué sirve esto? (Los Experimentos)

Los investigadores usaron estos datos para entrenar a sus robots de dos formas:

• Experimento 1: El Robot con "Sentido Común".
  Le dieron al robot de IA las imágenes médicas y el mapa de dónde miraron los expertos.

  • Resultado: ¡El robot mejoró muchísimo! Antes acertaba el 60% de los tumores, y con el mapa de las miradas, acertó el 68%.
  • La metáfora: Es como darle al novato una lupa que brilla en las zonas donde el maestro miró. Ahora el novato sabe dónde concentrar su atención.

• Experimento 2: Adivinar la Intención.
  Intentaron predecir qué iba a hacer el doctor antes de que lo hiciera. Si el doctor miraba fijamente un punto, ¿iba a marcarlo como tumor o solo estaba mirando?

  • Resultado: El modelo pudo predecir la intención del doctor con bastante precisión.
  • La metáfora: Es como si el robot pudiera leer la mente del detective y decir: "Oye, el doctor está mirando ese bulto con desconfianza, ¡prepara la alarma!".

🌟 ¿Por qué es importante?

Hasta ahora, la Inteligencia Artificial en medicina era como un estudiante que estudia solo con libros de texto (imágenes estáticas). No sabía cómo pensaba el profesor.

Con GazeXPErT, estamos creando una nueva generación de IA que:

1. Es más confiable: Porque aprende de la experiencia humana real, no solo de datos fríos.
2. Es explicable: Si la IA encuentra un tumor, podemos ver si "miró" en el mismo lugar que un doctor humano. Eso nos da confianza para usarla en hospitales.
3. Ayuda, no estorba: En el futuro, la IA podría poner un pequeño destello en la pantalla del doctor solo en las zonas donde ella cree que hay algo, pero que el doctor podría haber pasado por alto. Es como un copiloto que te avisa: "Eh, mira aquí".

En resumen

GazeXPErT es un tesoro de datos que captura la "magia" de cómo ven los ojos expertos. Al enseñarle a la Inteligencia Artificial a mirar como un humano experto, estamos creando herramientas que no solo son inteligentes, sino que también son comprensibles y dignas de confianza para salvar vidas.

Es como pasar de enseñarle a un robot a leer un mapa, a enseñarle a sentir el territorio como un explorador experto.

Resumen técnico

Aquí presento un resumen técnico detallado del artículo "GazeXPErT: An Expert Eye-tracking Dataset for Interpretable and Explainable AI in Oncologic FDG-PET/CT Scans", estructurado según los puntos solicitados.

1. El Problema

La tomografía por emisión de positrones combinada con tomografía computarizada (FDG-PET/CT) es fundamental para la estadificación tumoral y la evaluación de la respuesta al tratamiento en oncología. Sin embargo, existen desafíos críticos:

• Escasez de expertos: Hay una falta de radiólogos y especialistas en medicina nuclear capacitados para leer estos estudios de manera eficiente.
• Limitaciones de la IA actual: Aunque existen modelos de IA para la segmentación automática de lesiones, su adopción clínica se ve obstaculizada por problemas de interpretabilidad, explicabilidad y fiabilidad. Los modelos actuales suelen ser "cajas negras" estáticas que no incorporan el razonamiento visual de los expertos ni sus patrones de búsqueda.
• Integración en el flujo de trabajo: Es difícil integrar la salida de la IA en el flujo de trabajo clínico sin aumentar la carga cognitiva del radiólogo.
• Falta de datos de razonamiento visual: No existen grandes conjuntos de datos que capturen cómo los expertos buscan, localizan e interpretan lesiones malignas en 3D, ni su nivel de certeza (incertidumbre diagnóstica).

2. Metodología

Los autores desarrollaron GazeXPErT, un conjunto de datos multimodal 4D (3D espacial + tiempo) diseñado para capturar los patrones de búsqueda visual de expertos.

• Recopilación de Datos:

  • Muestra: 346 estudios únicos de FDG-PET/CT (98 linfomas, 122 cáncer de pulmón, 126 melanoma) de un conjunto de datos público.
  • Participantes: 13 expertos humanos (6 residentes/fellow y 7 especialistas certificados en medicina nuclear/radiología) de instituciones en EE. UU., Alemania, Corea y Japón.
  • Tecnología: Se utilizó un rastreador ocular Tobii Pro Spark (60 Hz) integrado en una plataforma personalizada de Python.
  • Protocolo: Los lectores simularon una interpretación clínica rutinaria. Debían identificar lesiones, "seleccionarlas" con la mirada, confirmarlas y clasificarlas como "certain" (cierta) o "uncertain" (incierta).
  • Interacción: El sistema proponía candidatos de lesiones basados en la mirada del usuario. Los usuarios podían aceptar, rechazar o redimensionar las cajas delimitadoras (bounding boxes) usando atajos de teclado. Se registraron todos los parámetros de visualización (ventanas, contraste, modos PET/CT/MIP) y las pulsaciones de teclas.

• Procesamiento y Estructura del Dataset:

  • Se extrajeron 9,030 trayectorias únicas de mirada a lesión a partir de 3,948 minutos de datos brutos.
  • Los datos se procesaron en un formato compatible con COCO (Common Objects in Context) para facilitar su uso en aprendizaje automático.
  • Se generaron volúmenes de calor de mirada en 3D (NIFTI) y máscaras de segmentación pseudo-píxel derivadas de los umbrales de intensidad estandarizada (SUV) utilizados por los expertos.

• Experimentos de Validación:
  Se realizaron tres experimentos para validar la utilidad de los datos:

  1. Segmentación de Tumores: Entrenamiento de un modelo 3D nnUNet con y sin mapas de calor de la mirada de los expertos como canal de entrada adicional.
  2. Corrección de Puntos de Mirada: Uso de un Vision Transformer (ViT) para predecir un punto de mirada más cercano a la lesión que el último punto capturado, corrigiendo errores de dispositivos de bajo costo (60 Hz).
  3. Predicción de Intención: Clasificación binaria para distinguir entre una búsqueda "intencional" (hacia una lesión objetivo) y una "no intencional" (búsqueda general) utilizando trayectorias temporales de mirada e imágenes.

3. Contribuciones Clave

• GazeXPErT Dataset: El primer conjunto de datos a gran escala de rastreo ocular en 4D para FDG-PET/CT, que incluye no solo coordenadas de mirada, sino también anotaciones de lesiones, parámetros de visualización y etiquetas de certeza/incertidumbre.
• Captura de la Incertidumbre: A diferencia de los datasets anteriores, GazeXPErT codifica el juicio diagnóstico experto mediante etiquetas de "cierto" vs. "incierto", permitiendo a la IA aprender a manejar la ambigüedad clínica.
• Formato Estándar: Los datos se presentan en formato COCO y volúmenes 3D, facilitando la integración inmediata en pipelines de aprendizaje profundo existentes.
• Validación Técnica: Demostración empírica de que incorporar patrones de mirada humana mejora significativamente el rendimiento de los modelos de IA en tareas de segmentación y localización.

4. Resultados

• Segmentación (Experimento 1): El modelo nnUNet que incorporó mapas de calor de la mirada experta superó al modelo base sin mirada.
  • Puntuación DICE: 0.6819 (con mirada) vs. 0.6008 (sin mirada).
  • Hallazgo: Aunque los expertos pasaron menos del 8% del tiempo mirando directamente los tumores, sus patrones de búsqueda global contenían información diagnóstica valiosa.
• Corrección de Mirada (Experimento 2): El modelo Transformer logró predecir un punto de mirada más preciso que el punto capturado por el dispositivo.
  • El 74.95% de los puntos predichos estaban más cerca de la lesión objetivo que el último punto de mirada real.
  • El error de ángulo de mirada se redujo de 1.134° (sin corregir) a 0.856° (corregido), acercándose al rango esperado para tareas de apuntado estático.
• Predicción de Intención (Experimento 3): El modelo logró distinguir entre búsqueda intencional y no intencional con una precisión del 67.53% y un AUROC de 0.747, demostrando la viabilidad de predecir la intención clínica a través de la mirada.

5. Significado e Impacto

El artículo representa un avance crucial hacia una IA explicable e interpretable en la oncología por imágenes:

• Puente entre Humano y Máquina: GazeXPErT permite que los modelos de IA no solo aprendan de las imágenes, sino de cómo los expertos las analizan, alineando el comportamiento de la IA con el razonamiento clínico real.
• Mejora de la Confianza Clínica: Al integrar patrones de atención humana, los modelos pueden ofrecer explicaciones basadas en evidencia (dónde miró el experto), lo cual es vital para la aceptación regulatoria y clínica.
• Asistencia Adaptativa: El dataset sienta las bases para sistemas de "humano en el bucle" que puedan anticipar la intención del radiólogo, priorizar regiones de interés o alertar sobre hallazgos pasados por alto, reduciendo la carga cognitiva.
• Recurso Abierto: Al publicar el dataset y el código, los autores fomentan la investigación en fundamentación visual (visual grounding), razonamiento causal y aprendizaje por refuerzo basado en recompensas humanas.

En resumen, GazeXPErT no es solo un conjunto de datos, sino una herramienta para reimaginar los flujos de trabajo diagnósticos, donde la IA y el experto humano colaboran dinámicamente, aprovechando la intuición visual del radiólogo para construir sistemas más robustos, transparentes y seguros.