Resumen Técnico: GazePrior

Enunciado del Problema

El seguimiento ocular (ET) es una tecnología fundamental para aplicaciones avanzadas de Realidad Aumentada (AR) y Realidad Virtual (VR), habilitando características como el renderizado foveado y la interacción basada en la mirada. Sin embargo, el entrenamiento de modelos de aprendizaje profundo para ET se ve obstaculizado por el alto costo y el tiempo requerido para recopilar datos del mundo real con una verdad fundamental de alta calidad para cada nueva generación de dispositivos. A medida que evolucionan las configuraciones de hardware (colocación de la cámara, resolución), son necesarios nuevos conjuntos de entrenamiento que comprendan millones de fotogramas. Los métodos existentes de generación de datos sintéticos a menudo carecen de realismo, mientras que los datos reales obtenidos mediante crowdsourcing carecen de precisión. Además, los enfoques semisintéticos actuales que intentan sintetizar imágenes oculares suelen depender de máscaras explícitas del globo ocular y rotaciones rígidas, ignorando el acoplamiento intrincado entre el globo ocular, los párpados y las características faciales circundantes, lo que degrada la plausibilidad física y la precisión.

Metodología

Los autores proponen GazePrior, un enfoque de disparo cero que aprovecha un prior de mirada 3D aprendido para sintetizar datos de entrenamiento de alta fidelidad para nuevos dispositivos de ET utilizando únicamente datos de entrada dispersos de dispositivos existentes. El método consta de dos etapas principales:

1. Aprendizaje de un Prior 3D de Mirada Desacoplado (Preentrenamiento)

Inspirados en los métodos de avatares 3D, los autores entrenan un Campo de Radiación Neuronal (NeRF) condicional que modela la distribución de ojos humanos a través de diversas identidades, direcciones de mirada y condiciones de iluminación.

• Campo de Radiación Condicional: La red $\Psi$ toma un punto 3D $x$, una dirección de vista $v$ y codificaciones latentes para la identidad del sujeto ($\hat{s}$), la dirección de la mirada ($\hat{g}$) y la iluminación ($\hat{l}$). Produce como salida la densidad $\sigma$ y el color $c$.
• Desacoplamiento: La arquitectura desacopla explícitamente estos factores. La red de densidad depende de la identidad y la mirada, pero es independiente de la iluminación ($\hat{l}$), mientras que la red de color depende de los tres. Esto asegura que la consistencia geométrica no se vea confundida por cambios en la iluminación.
• Representaciones Latentes:
  • Sujeto ($\hat{s}$): Un vector de libro de códigos aprendible para cada identidad, que fomenta una representación compartida de baja frecuencia que actúa como regularizador contra artefactos (flotadores).
  • Mirada ($\hat{g}$): A diferencia de los modelos de rotación rígida del globo ocular, la mirada se codifica mediante una codificación sinusoidal del vector de mirada de verdad fundamental. Esto permite que la red aprenda los movimientos no rígidos de los párpados y las cejas acoplados a los cambios de mirada.
  • Iluminación ($\hat{l}$): Un vector de libro de códigos aprendible que afecta únicamente a la salida de color, asegurando que la geometría reconstruida permanezca invariante a la iluminación.
• Entrenamiento: El modelo se preentrena en un conjunto de datos grande (Lin et al. [11]) que contiene más de 400 sujetos con imágenes multivista, miradas variables e iluminación, utilizando una función de pérdida que combina la reconstrucción RGB, la pérdida perceptual y la divergencia KL para regularizar el espacio latente.

2. Redireccionamiento con Entrada Dispersa (Ajuste Fino)

Para adaptar el prior a un nuevo dispositivo objetivo (por ejemplo, un casco con una configuración de cámara diferente), el método realiza una optimización en dos pasos sobre imágenes de origen dispersas (por ejemplo, 4 vistas) de un casco existente:

1. Optimización Latente: Con los pesos de la red preentrenada congelados, el sistema optimiza los códigos latentes específicos ($\hat{s}_I, \hat{l}_I$) para el nuevo sujeto y la iluminación para ajustar las vistas de origen dispersas. La codificación de mirada de verdad fundamental $\hat{g}_I$ se calcula a partir de las anotaciones conocidas y se mantiene fija.
2. Ajuste Fino: Los pesos de la red se desbloquean y se optimizan conjuntamente con los códigos latentes para capturar detalles específicos de la persona y refinar la reconstrucción.
3. Síntesis: El campo de radiación de alta fidelidad resultante se renderiza desde la perspectiva de las cámaras del dispositivo objetivo. Esto genera imágenes de entrenamiento sintéticas que mantienen las anotaciones originales de mirada de verdad fundamental pero coinciden con las características ópticas del nuevo dispositivo.

Contribuciones Clave

• Primer Prior de Mirada Aprendido: El artículo introduce el primer prior de mirada 3D que desacopla sujeto, mirada e iluminación, presentando movimientos de párpados biológicamente precisos sin depender de máscaras explícitas del globo ocular o rotaciones rígidas.
• Reconstrucción 3D con Vistas Dispersas: El método permite la síntesis de nuevas vistas de alta calidad a partir de entradas extremadamente dispersas (tan pocas como 2-4 vistas), una mejora significativa sobre los métodos anteriores que requerían capturas multivista densas.
• Síntesis de Datos de Disparo Cero: Proporciona un flujo de trabajo para generar datos de entrenamiento para nuevos dispositivos AR/VR sin recopilar nuevos datos del mundo real, cerrando efectivamente la brecha de dominio entre hardware heredado y nuevo.
• Rendimiento Superior: Los datos sintetizados permiten que los modelos de ET logren una mayor precisión y robustez en comparación con los modelos entrenados con datos de líneas base de síntesis competidoras.

Resultados Experimentales

Los autores evaluaron GazePrior utilizando el casco Aria como dispositivo objetivo y lo compararon con líneas base de última generación (ControllableGaze [10], Lin et al. [11]).

• Síntesis de Nuevas Vistas (NVS): En evaluaciones cuantitativas (PSNR, SSIM, MSE), GazePrior superó significativamente a las líneas base a medida que disminuía el número de vistas de entrada. Con solo 2 vistas de entrada, GazePrior logró una diferencia de rendimiento de casi 10 dB sobre la mejor línea base. Los resultados cualitativos mostraron que GazePrior producía detalles de alta fidelidad (párpados, pestañas) con una brecha de dominio mínima en comparación con las capturas reales de Aria, mientras que las líneas base exhibían flotadores y artefactos.
• Rendimiento de Seguimiento Ocular: Un modelo de ET entrenado con datos sintetizados por GazePrior logró un error medio de ángulo de mirada de 5.85° en datos de prueba reales de Aria. Esto representa una mejora sustancial sobre las líneas base (12.53° y 12.69°) y se acerca al rendimiento de un modelo entrenado con datos reales específicos del dispositivo (4.35°).
• Estudios de Ablación: El estudio confirmó que los espacios latentes desacoplados y la separación de la iluminación de la densidad son críticos. El uso de un único vector latente o hacer que la densidad dependa de la luz resultó en caídas significativas del rendimiento. La codificación sinusoidal de la mirada resultó más efectiva que los libros de códigos aprendidos para la mirada.

Significado y Afirmaciones

El artículo afirma que GazePrior aborda los costos prohibitivos de la recopilación de datos para nuevos dispositivos AR/VR al habilitar un enfoque de disparo cero para el seguimiento ocular. Al aprovechar conjuntos de datos anotados existentes de cascos más antiguos y redirigirlos mediante un prior 3D aprendido, el método permite a los desarrolladores:

1. Entrenar rastreadores oculares robustos para nuevos dispositivos antes de que se construyan físicamente.
2. Evaluar cómo la colocación de la cámara impacta el rendimiento sin prototipado físico.
3. Lograr una alta precisión sin la necesidad de costosas campañas de recopilación de datos a gran escala.

Los autores posicionan este trabajo como un paso fundamental hacia el desbloqueo de características avanzadas como el renderizado foveado y las interacciones de pellizco con la mirada en XR, eliminando el cuello de botella de la recopilación de datos que actualmente obstaculiza la iteración rápida en el campo. Reconocen limitaciones, como la dificultad de simular destellos corneales de alta frecuencia con campos de radiación, pero enfatizan el éxito del método en la generación de datos de entrenamiento diversos y realistas que superan las técnicas de síntesis existentes.