See Through the Noise: Improving Domain Generalization in Gaze Estimation

1. El Problema

La estimación de la mirada basada en la apariencia ha avanzado significativamente gracias al aprendizaje profundo, pero su aplicación en escenarios del mundo real sigue enfrentando un desafío crítico: la generalización de dominio. Los modelos entrenados en un dominio fuente (laboratorio) suelen degradarse drásticamente cuando se despliegan en dominios objetivo no vistos (entornos naturales).

El artículo identifica una causa raíz a menudo ignorada: el ruido en las etiquetas.

• Origen del ruido: La anotación precisa de la dirección de la mirada es inherentemente difícil debido a la inestabilidad de la atención humana, variaciones de iluminación, poses de la cabeza y oclusiones. Esto genera errores de anotación (ruido) en conjuntos de datos a gran escala como Gaze360.
• Impacto: El sobreajuste a estas etiquetas ruidosas obliga al modelo a aprender características irrelevantes para la mirada, lo que degrada severamente el rendimiento en la generalización cruzada.
• Brecha existente: Los métodos actuales de aprendizaje con etiquetas ruidosas (Noisy Label Learning - LNL) se centran principalmente en tareas de clasificación y dentro de un solo dominio. No abordan adecuadamente la naturaleza continua (regresión) de la estimación de la mirada ni el desafío de la generalización de dominio (donde corregir etiquetas en el dominio fuente no necesariamente cierra la brecha de distribución con el dominio objetivo).

2. Metodología: El Marco SeeTN (See-Through-Noise)

Los autores proponen SeeTN, un marco novedoso diseñado para mitigar el impacto del ruido de etiquetas y mejorar la generalización de dominio mediante la alineación de la estructura semántica. El proceso consta de tres etapas principales:

A. Construcción de un Manifold Semántico

Para capturar la naturaleza continua de la mirada, el método transforma las características extraídas de la imagen en un espacio semántico estructurado:

1. Proyección: Las características se proyectan en una hipersfera unitaria.
2. Prototipos: Se seleccionan $K$ prototipos que actúan como vectores base. Estos se actualizan mediante un Movimiento Medio Exponencial (EMA) para capturar información semántica representativa.
3. Preservación Topológica: Se construye una matriz de afinidad basada en la similitud coseno entre las muestras en el manifold ($A^{(m)}$) y se alinea con la matriz de afinidad de las etiquetas de la mirada ($A^{(g)}$). Esto fuerza al modelo a mantener una estructura topológica consistente entre las características y las etiquetas continuas.

B. Detección de Muestras Ruidosas

Utilizando el manifold semántico, el método cuantifica la discrepancia entre la relación de las características y la relación de las etiquetas:

• Se define un indicador $\eta$ basado en la entropía cruzada entre la distribución de afinidad de las características y la de las etiquetas.
• Las muestras con un valor de $\eta$ alto indican una inconsistencia significativa (ruido) y se clasifican en un subconjunto ruidoso ($D^N_S$), mientras que las demás se consideran limpias ($D^C_S$).
• Esta partición se actualiza dinámicamente en cada época para evitar sesgos de confirmación.

C. Regularización Robusta al Ruido

Una vez separadas las muestras, se aplican estrategias de pérdida diferenciadas:

• Para muestras limpias ($D^C_S$): Se utiliza la pérdida de regresión estándar (MAE) y una pérdida de alineación de afinidad ($L^{C}_{align}$) para reforzar la estructura semántica correcta.
• Para muestras ruidosas ($D^N_S$): En lugar de descartarlas, se aplica una regularización de afinidad suave ($L^{N}_{align}$). Esta pérdida utiliza la matriz de afinidad supervisada por las muestras limpias para guiar las características de las muestras ruidosas, transfiriendo información relevante de la mirada sin depender de las etiquetas incorrectas.

La función de pérdida total combina la pérdida de mirada, la alineación de muestras limpias y la regularización robusta para las ruidosas.

3. Contribuciones Clave

1. Primera investigación exhaustiva: Es el primer trabajo que aborda la generalización de dominio en la estimación de la mirada desde la perspectiva de la mitigación del ruido de etiquetas, reconociendo su impacto negativo en la transferencia cruzada.
2. Marco SeeTN: Propone un nuevo enfoque que modela la relación semántica entre etiquetas continuas y características mediante un manifold basado en prototipos. Esto permite identificar el ruido y transferir conocimiento de muestras limpias a ruidosas.
3. Regularización de Afinidad: Introduce una estrategia de regularización novedosa que trata diferencialmente a las muestras limpias y ruidosas, mejorando la robustez sin sacrificar la precisión en el dominio fuente.
4. Resultados Empíricos: Demuestra que el manejo explícito del ruido es crucial para la generalización, superando a los métodos actuales de adaptación y generalización de dominio.

4. Resultados Experimentales

Los experimentos se realizaron en cuatro conjuntos de datos populares (ETH-XGaze, Gaze360, MPIIFaceGaze, EyeDiap) bajo configuraciones de dominio cruzado.

• Rendimiento Superior: SeeTN superó consistentemente a los métodos state-of-the-art (como PureGaze, GazeCF, AGG, FSCI) y a las líneas base (ResNet-18/50).
  • En la configuración DG $\to$ DM (Gaze360 a MPIIFaceGaze), SeeTN logró una reducción del error angular medio de 7.94° a 6.57° (una mejora del 17.2%).
  • En DE $\to$ DM (ETH-XGaze a MPIIFaceGaze), mejoró de 8.07° a 6.58° (18.5% de mejora).
• Robustez al Ruido: Al compararse con métodos de aprendizaje con etiquetas ruidosas (DivideMix, SUGE), SeeTN demostró ser significativamente superior, ya que los métodos existentes fallaban al no adaptarse bien a tareas de regresión o a escenarios de dominio cruzado.
• Sin Sacrificio de Precisión: A diferencia de otros métodos de generalización que a veces degradan la precisión en el dominio fuente para mejorar la generalización, SeeTN mejoró tanto la generalización cruzada como el rendimiento dentro del dominio.
• Visualización: Las visualizaciones t-SNE mostraron que SeeTN logra agrupar las características según la dirección de la mirada (en lugar de la pose de la cabeza), preservando la continuidad semántica de las etiquetas.

5. Significado e Impacto

Este trabajo es fundamental porque cambia el paradigma en la estimación de la mirada:

• Reconocimiento del Ruido: Establece que el ruido de etiquetas no es solo un problema de precisión local, sino una barrera principal para la generalización de dominio.
• Solución para Regresión: Ofrece un marco viable para manejar etiquetas ruidosas en tareas de regresión continua, un área donde los métodos de clasificación tradicionales fallan.
• Aplicabilidad Real: Al mejorar la robustez frente a datos imperfectos (comunes en entornos reales), SeeTN acerca la tecnología de seguimiento ocular a aplicaciones prácticas en realidad virtual, interacción humano-computadora y análisis médico, donde la recolección de datos perfectamente anotados es costosa o imposible.

En resumen, SeeTN demuestra que "ver a través del ruido" mediante la alineación semántica es una estrategia efectiva para construir modelos de estimación de mirada más robustos y generalizables.