Low Latency Gaze Tracking via Latent Optical Sensing

Aquí se presenta un resumen técnico detallado del artículo "Seguimiento de la mirada de baja latencia mediante detección óptica latente".

Enunciado del Problema

Los sistemas convencionales de seguimiento de la mirada dependen de cámaras de alta resolución para capturar imágenes completas del ojo, seguidas de inferencia mediante redes neuronales profundas. Aunque son precisos, este enfoque introduce una sobrecarga significativa en la detección, el ancho de banda y la computación debido a la necesidad de leer y procesar millones de píxeles. Esta latencia a menudo supera el umbral de 5 ms requerido para las pantallas AR/VR portátiles de próxima generación, lo cual es necesario para soportar la interacción en tiempo real y el renderizado foveado sin interrumpir la inmersión del usuario. Las soluciones existentes ligeras o basadas en eventos a menudo aún requieren agregación temporal o reconstrucción similar a una imagen, fallando en eliminar el cuello de botella fundamental de la adquisición y el procesamiento de imágenes de cuadro completo.

Metodología

Los autores proponen un sistema óptico completamente pasivo que evita por completo la formación explícita de imágenes. En lugar de capturar una imagen densa, el sistema realiza una codificación óptica orientada a tareas para adquirir directamente una representación latente compacta y de baja dimensión del ojo.

1. Codificador Óptico y Arquitectura de Hardware
El núcleo del sistema es un "codificador óptico latente" que consta de tres componentes principales:

• Matriz de Microlentes (MLA): Una matriz de lentes de Fresnel que reduce la imagen del ojo.
• Máscara Binaria de Cromo: Una máscara binaria diseñada en conjunto colocada en el plano focal de la MLA.
• Matriz de Fototransistores: Una matriz de 4×4 (16 elementos) que captura las mediciones ópticas multiplexadas espacialmente.
  La luz procedente del ojo pasa a través de la MLA y es modulada por la máscara binaria. La intensidad codificada resultante es capturada directamente por los fototransistores, produciendo un vector de medición de 16 dimensiones. Este hardware se integra con un FPGA para una adquisición rápida de señales.

2. Marco de Entrenamiento de Extremo a Extremo
El sistema se entrena utilizando una tubería de simulación a realidad que optimiza conjuntamente las máscaras de codificación óptica y la red de inferencia digital:

• Emulación Digital: Un codificador digital diferenciable $\tilde{E}$ simula el proceso óptico utilizando 16 máscaras binarias aprendibles (resolución de $256 \times 256$) aplicadas a las imágenes de entrada del ojo.
• Destilación Latente: Para asegurar que las 16 mediciones contengan información suficiente, el sistema emplea un enfoque de destilación "maestro-alumno". Una red maestra ($P_T$) invierte un generador StyleGAN2 preentrenado para mapear imágenes del ojo a un espacio latente de 256 dimensiones ($h_T$) y predecir la mirada. Un decodificador alumno ($P$) se entrena para mapear el vector comprimido de 16 mediciones directamente a este mismo espacio latente ($h$), así como para predecir la dirección de la mirada ($\hat{g}$) y una bandera de validez ($\hat{v}$).
• Función de Pérdida: El objetivo de entrenamiento combina la regresión supervisada de la mirada, la clasificación de validez, la destilación de la mirada (igualando la predicción de la mirada del maestro) y la destilación de características (igualando la representación latente del maestro).
• Aumento de Datos: Para abordar el sesgo de identidad y la diversidad limitada del conjunto de datos, los autores utilizan inpainting generativo (modelo de difusión Flux con SAM3 y ControlNet) para variar la apariencia periorbital (tono de piel, iluminación) mientras se preserva la etiqueta de verdad fundamental de la mirada.

3. Dirección de la Mirada
El marco incluye una red de control que puede dirigir la mirada en el espacio latente. Al predecir un desplazamiento residual ($\Delta h$ o $\Delta w^+$) basado en vectores de origen y destino de la mirada, el sistema puede editar la representación latente para cambiar la dirección de la mirada mientras preserva la identidad del sujeto, demostrando que las características aprendidas desacoplan efectivamente la mirada de la apariencia.

Contribuciones Clave

1. Marco de Espacio Latente de Extremo a Extremo: Un marco novedoso que optimiza conjuntamente la codificación óptica pasiva y la decodificación neuronal, permitiendo la inferencia directa de la mirada a partir de 16 mediciones escalares sin reconstruir imágenes completas del ojo.
2. Prototipo de Hardware Compacto: Un sistema de detección óptica de disparo único que utiliza una MLA, máscaras binarias optimizadas y una matriz de fototransistores de 4×4 con adquisición FPGA. Este diseño logra una latencia de extremo a extremo de 3.4 ms (incluyendo detección y computación).
3. Tubería de Simulación a Realidad: Una estrategia de evaluación de dos etapas que logra un error de simulación entre sujetos de 6.47° y un error en el mundo real por sujeto calibrado por debajo de 6° utilizando solo 12–15 puntos de calibración.

Resultados

• Precisión vs. Eficiencia: En el conjunto de datos ETH-XGaze, el método propuesto logra un error angular de 6.47° utilizando solo 16 mediciones y una MLP ligera (0.244M parámetros, 0.49M FLOPs).
  • En comparación con una línea base ResNet18 de 16×16, reduce la dimensionalidad de detección en 16×, los parámetros en ~48× y la computación en ~573×.
  • En comparación con una línea base ResNet18 de 256×256, reduce la dimensionalidad de detección en 4096× y la computación en ~9300×.
  • Supera a arquitecturas compactas como MobileNetV3 y EfficientNet-B0 en términos de eficiencia de parámetros y FLOP, manteniendo una precisión competitiva.
• Latencia: El sistema demuestra una latencia total de extremo a extremo de 3.4 ms en una CPU (3.19 ms para detección/adquisición óptica + 0.22 ms para inferencia). Esto supera significativamente a los sistemas móviles basados en imágenes de borde convencionales (típicamente decenas de milisegundos) y se acerca al rendimiento de rastreadores comerciales especializados de alta velocidad (por ejemplo, EyeLink 1000 Plus).
• Rendimiento en el Mundo Real: Con un ajuste fino específico del sujeto utilizando 12 puntos de calibración, el sistema logra un error angular medio de 5.96°, con algunos sujetos alcanzando 4.5°.
• Privacidad: El sistema preserva la privacidad capturando solo características latentes relevantes para la tarea en lugar de imágenes biométricas del ojo, como lo demuestra la incapacidad de reconstruir la identidad del sujeto a partir de las mediciones.

Significado y Afirmaciones

El artículo afirma que desplazar la extracción de características al dominio óptico mediante un diseño impulsado por tareas ofrece un camino viable hacia el seguimiento de la mirada de ultra-baja latencia y alta eficiencia energética. Al eliminar la necesidad de lectura de imágenes de alto ancho de banda y procesamiento computacional pesado, el sistema cumple con los estrictos requisitos de latencia <5 ms para aplicaciones XR inmersivas. Los autores enfatizan que, aunque el prototipo actual es una prueba de concepto, la drástica reducción en el volumen de datos (de megapíxeles a 16 escalares) sugiere una vía clara para implementaciones altamente eficientes energéticamente en futuros dispositivos portátiles operados con baterías. El trabajo destaca el potencial de la "detección como inferencia" para reemplazar la formación de imágenes convencional en tareas específicas de visión por computadora.