Resumen Técnico: Establecimiento de Seguimiento Ocular Retinal Robusto Mediante un Marco Algorítmico Débilmente Supervisado

1. Declaración del Problema

El seguimiento ocular basado en imágenes retinianas ofrece el potencial de una precisión de mirada significativamente mayor en comparación con los métodos tradicionales basados en la pupila o la córnea utilizados en AR/VR, ya que mide la mirada directamente observando la distribución de la luz en la retina en relación con la fóvea. Sin embargo, los algoritmos existentes dependen principalmente del registro clásico de coincidencia de plantillas (por ejemplo, correlación cruzada) o de técnicas estándar de registro mediante aprendizaje profundo. Estos enfoques enfrentan limitaciones críticas en escenarios reales de seguimiento retinal:

• Variabilidad de Características: El rendimiento se degrada bajo cambios grandes en la mirada y la acomodación, los cuales inducen variaciones complejas en las características retinianas debido a cambios en el ángulo de visión y la profundidad focal.
• Campo de Visión (FoV) Pequeño: Los sistemas de seguimiento retinal de alta resolución a menudo tienen campos de visión pequeños (<10°). En estas regiones, las características vasculares robustas (arterias y venas) están frecuentemente ausentes o son escasas, lo que hace ineficaces los métodos de registro dependientes de vasos.
• Degradación de Imagen: Los métodos tradicionales que unen múltiples imágenes en un mapa de referencia explícito sufren degradación de características debido a artefactos de mezcla de imágenes, incluso con un registro perfecto, porque la apariencia retinal varía entre imágenes en la misma ubicación anatómica.

2. Metodología

Los autores proponen un marco novedoso, basado en aprendizaje y débilmente supervisado, diseñado para operar de manera robusta con imágenes retinianas de campo de visión pequeño. El sistema consta de tres etapas principales:

A. Construcción del Espacio de Características Canónico

En lugar de crear un mapa de referencia explícito y mezclado, los autores introducen un Espacio de Características Canónico (CFS).

• Proceso: Se adquiere una exploración de cuadrícula rectangular de la retina. Comenzando desde una imagen de referencia central (mirada 0°, 0°), se realiza un registro por pares entre imágenes adyacentes.
• Ajuste de Haz: Un algoritmo de ajuste de haz estima la pose espacial de todas las imágenes dentro de la exploración.
• Transformación de Características: Los puntos clave detectados se conservan en sus ubicaciones estimadas y se transforman en un sistema de coordenadas canónico compartido (originado en el centro de la imagen de referencia). Críticamente, los descriptores de imagen originales se preservan sin mezcla, evitando la degradación de características.
• Estimación de la Mirada: La mirada se estima emparejando una imagen fuente con este CFS, localizando el centro de la imagen en coordenadas canónicas y convirtiendo el desplazamiento de píxeles en ángulos de mirada mediante la calibración del sistema.

B. Modelo de Registro Débilmente Supervisado

Un modelo especializado de aprendizaje profundo maneja tanto la construcción del CFS como la posterior estimación de la mirada. Presenta dos innovaciones clave:

1. Mejora Conjunta de Imagen y Descripción de Puntos Clave:
   • El modelo utiliza una red de mejora de imágenes ligera (Zero-DCE) como columna vertebral para predecir ajustes de curvas polinómicas por píxel.
   • Emplea una columna vertebral SuperPoint (codificador compartido, dos cabezas decodificadoras) para la detección y descripción de puntos clave.
   • Estrategia de Entrenamiento: Dado que es inviable obtener puntos clave de verdad fundamental para imágenes retinianas, el codificador y el detector se congelan utilizando pesos preentrenados en un conjunto de datos sintético no retinal. El decodificador de descriptores se ajusta fino utilizando una pérdida de tripletes.
   • Pérdida de Preservación de Puntos Clave: Una función de pérdida novedosa ($L_{kp}$) alienta a la red de mejora a producir imágenes donde el detector preentrenado identifique más puntos clave y genere descriptores más robustos, sin requerir nuevas anotaciones de verdad fundamental.
2. Rechazo de Valores Atípicos:
   • Se establecen correspondencias gruesas mediante emparejamiento bidireccional (vecino más cercano mutuo).
   • Una red neuronal gráfica atencional (adaptada de SuperGlue) predice puntuaciones de confianza para estos emparejamientos.
   • Supervisión Débil: El modelo se entrena utilizando únicamente una matriz de traducción de verdad fundamental gruesa (derivada de anotar manualmente 3 o más correspondencias por par) en lugar de emparejamientos densos de verdad fundamental. Se aplica un sesgo aleatorio a las ubicaciones objetivo durante el entrenamiento para mejorar la generalización.

C. Estimación Final de la Mirada

Para cada imagen fuente en una secuencia de video, se extraen características y se emparejan con el CFS. La estimación final de la mirada se calcula como un promedio ponderado por la puntuación de correspondencia de los desplazamientos entre el centro de la imagen fuente y los puntos emparejados en el espacio canónico.

3. Contribuciones Clave

El artículo describe tres contribuciones principales:

1. Marco Algorítmico Novel: Un enfoque débilmente supervisado para el seguimiento ocular retinal que mejora significativamente la robustez y la precisión sobre los métodos más avanzados, abordando específicamente los desafíos del campo de visión pequeño y la escasez de características.
2. Registro en Espacio de Características Canónico: Un método que construye un mapa de referencia en un espacio de características en lugar de en espacio de píxeles, preservando las características originales de la imagen y evitando artefactos de mezcla mientras habilita un emparejamiento de características robusto.
3. Modelo de Registro Especializado: Un modelo de mejora conjunta de imagen y descripción de características que opera bajo supervisión débil, utilizando una pérdida de preservación de puntos clave para adaptar detectores preentrenados a imágenes retinianas sin requerir anotaciones densas de verdad fundamental.

4. Resultados Experimentales

El método se evaluó en conjuntos de datos de ojos fantasma y ojos reales (6 participantes humanos) en un rango de mirada de ±5°.

• Métricas de Rendimiento: El método propuesto logró un error de mirada del percentil 95 ($E_{95}$) de < 0.45° (específicamente 0.38° en ojos reales) en toda la cohorte.
• Comparaciones: Como se muestra en la Tabla 1, el método propuesto superó significativamente a los métodos clásicos (SIFT, ORB), a los registradores generales de aprendizaje profundo (SuperPoint, SuperGlue) y a un método de seguimiento retinal de última generación (Substrip NCC).
  • Error Medio en Ojo Real: Propuesto (0.18°) vs. Substrip NCC (2.10°) vs. SuperGlue (1.41°).
  • $E_{95}$ en Ojo Real: Propuesto (0.38°) vs. Substrip NCC (8.06°) vs. SuperGlue (3.55°).
• Estudio de Ablación: La Tabla 3 demuestra que eliminar cualquier componente degrada el rendimiento. Notablemente, eliminar el Registro en Espacio de Características Canónico (CFSR) causó una caída masiva en la precisión (el error medio aumentó de 0.18° a 4.51°), destacando la importancia de evitar la mezcla de imágenes. El módulo de rechazo de valores atípicos también fue crítico para mantener tasas de error bajas.

5. Significado y Afirmaciones

Los autores afirman que este trabajo establece un marco robusto, preciso y práctico para el seguimiento ocular basado en imágenes retinianas. El significado radica en:

• Robustez ante la Variabilidad: La capacidad de rastrear la mirada de manera confiable a pesar de los cambios en el ángulo de visión, la acomodación y la escasez de características vasculares en imágenes de campo de visión pequeño.
• Escalabilidad: El algoritmo "más ligero" soporta tanto la construcción del mapa de referencia como la estimación de la mirada utilizando un único modelo entrenado, evitando la necesidad de pipelines complejos de múltiples etapas.
• Practicidad: La naturaleza débilmente supervisada del entrenamiento reduce la dependencia de anotaciones densas de verdad fundamental difíciles de obtener, haciendo el enfoque más viable para su implementación en el mundo real.

El artículo concluye que, aunque los resultados actuales son prometedores, el trabajo futuro podría investigar etapas de ajuste fino (por ejemplo, flujo óptico) y expandir la evaluación a cohortes más grandes y diversas con rangos de mirada más amplios.