DHECA-SuperGaze: Dual Head-Eye Cross-Attention and Super-Resolution for Unconstrained Gaze Estimation

Este artículo presenta DHECA-SuperGaze, un método de aprendizaje profundo que mejora la estimación de la mirada en entornos no controlados mediante la integración de superresolución y un módulo de atención cruzada dual cabeza-ojo, corrigiendo además errores en el conjunto de datos Gaze360 y logrando un rendimiento superior al estado del arte en múltiples métricas y configuraciones.

Lo esencial

¡Claro que sí! Imagina que este paper es como la receta para un super-visor digital capaz de adivinar exactamente a dónde estás mirando, incluso si estás en un lugar lleno de gente, con mala luz o moviéndote rápido.

Aquí te explico la idea central de DHECA-SuperGaze usando analogías sencillas:

1. El Problema: "Ver a través de la niebla"

Imagina que eres un detective intentando adivinar a qué mira una persona en una foto borrosa tomada en la calle.

• El reto: A veces la foto es de mala calidad (poca resolución) y a veces la persona mueve mucho la cabeza.
• El error común: Los sistemas antiguos miraban solo la cara completa. Pero, ¡ojo! Una persona puede tener la cara mirando hacia la izquierda, pero sus ojos pueden estar mirando hacia la derecha (como cuando lees un libro mientras caminas). Los viejos sistemas se confundían porque no entendían bien la relación entre la cabeza y los ojos. Además, a veces las fotos de los ojos estaban tan borrosas que era imposible ver la pupila.

2. La Solución: Dos herramientas mágicas

Los autores crearon un nuevo sistema llamado DHECA-SuperGaze que usa dos trucos principales para ser el mejor detective:

A. El Truco de la "Fotografía de Alta Definición" (Super-Resolución)

Imagina que tienes una foto antigua y pixelada de un rostro.

• Lo que hace el sistema: Antes de intentar adivinar la mirada, el sistema usa una "máquina mágica" (llamada Super-Resolución o SR) que toma esa foto borrosa de la cara y la convierte en una imagen nítida y de alta definición, como si hubiera usado un filtro de magia para limpiar la niebla.
• El resultado: Ahora el sistema puede ver detalles que antes eran solo manchas de color.

B. El Truco de la "Conversación entre la Cabeza y los Ojos" (Atención Cruzada Dual)

Aquí está la parte más genial. Imagina que tienes dos expertos en un equipo:

1. El Experto en Cabezas: Mira la orientación general del rostro.
2. El Experto en Ojos: Mira los detalles finos de las pupilas.

En los sistemas viejos, estos dos expertos trabajaban en silencio, cada uno por su lado. Pero en este nuevo sistema, les damos un walkie-talkie (el módulo DHECA).

• Cómo funciona: El Experto en Cabeza le dice al Experto en Ojos: "Oye, la cabeza está girada hacia la izquierda, así que si tus ojos parecen mirar recto, probablemente en realidad están mirando un poco a la derecha". Y viceversa.
• La magia: Se "escuchan" mutuamente y se corrigen entre ellos. Esto se llama Atención Cruzada Dual. Gracias a esta conversación, el sistema entiende mucho mejor hacia dónde va la atención real de la persona.

3. La Gran Limpieza: "Arreglando el mapa"

Los autores descubrieron algo curioso: uno de los mapas más famosos que usan los detectives (el dataset llamado Gaze360) tenía errores.

• El problema: En algunas fotos, el sistema de anotación había marcado la cara de un transeúnte de fondo en lugar de la cara de la persona principal. ¡Era como si el detective estuviera mirando a la persona equivocada!
• La solución: Los autores revisaron miles de fotos, encontraron estos errores y "arreglaron el mapa". Al entrenar a sus sistemas con datos limpios y correctos, el resultado fue mucho más preciso.

4. ¿Qué lograron?

Gracias a limpiar los datos, usar fotos de alta definición y hacer que la cabeza y los ojos "hablen" entre sí, su sistema:

• Acertó más: Comete menos errores al adivinar la dirección de la mirada que cualquier otro sistema anterior.
• Es más fuerte: Funciona bien incluso cuando prueba datos que nunca había visto antes (como si un detective pudiera resolver casos en una ciudad nueva sin estudiar el mapa antes).

En resumen

DHECA-SuperGaze es como un detective que:

1. Usa lentes de aumento mágicos para ver mejor (Super-Resolución).
2. Tiene un equipo donde la cabeza y los ojos se pasan notas para no confundirse (Atención Cruzada).
3. Usa un mapa de la ciudad que ha sido corregido para no tener errores (Datos limpios).

Todo esto permite que la tecnología de seguimiento de la mirada sea mucho más útil para cosas como vigilar la seguridad en los exámenes, ayudar a conductores a no distraerse o permitir que personas con discapacidad controlen sus computadoras solo con la mirada.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "DHECA-SuperGaze: Dual Head-Eye Cross-Attention and Super-Resolution for Unconstrained Gaze Estimation", presentado en español:

1. Problema y Contexto

La estimación de la mirada (gaze estimation) en entornos no controlados ("in-the-wild") es fundamental para aplicaciones como el monitoreo de distracción en conductores, la supervisión de exámenes y la accesibilidad en software. Sin embargo, los sistemas actuales enfrentan dos desafíos principales:

• Baja resolución: Las imágenes capturadas en escenarios reales suelen tener baja resolución, lo que dificulta la extracción de características finas de los ojos.
• Modelado insuficiente de interacciones: Los métodos más avanzados (SOTA) a menudo no modelan adecuadamente la interacción bidireccional entre la orientación de la cabeza y la apariencia de los ojos. Además, existe una divergencia significativa (hasta 35°) entre la dirección de la mirada y la alineación de la cabeza.
• Errores en los datos: Se identificó un problema crítico en el conjunto de datos Gaze360, uno de los más utilizados y diversos, donde ciertas anotaciones de cajas delimitadoras (bounding boxes) de la cara y los ojos no correspondían al sujeto principal, sino a otras personas en el marco, generando un desalineamiento con los vectores de mirada.

2. Metodología: DHECA-SuperGaze

El artículo propone DHECA-SuperGaze, un método de aprendizaje profundo que integra super-resolución (SR) y un módulo de atención cruzada dual para mejorar la precisión.

A. Pre-procesamiento y Super-Resolución (SR)

• Entrada: Se utilizan imágenes de la cabeza y recortes de los ojos.
• Super-Resolución: Se aplica un modelo de SR de última generación (DRCT, basado en GAN) específicamente a las imágenes de la cabeza para mejorar su resolución antes del procesamiento.
• Multiescala: Las imágenes de cabeza mejoradas se procesan en múltiples escalas (224, 200, 175, 150 píxeles) para capturar contextos globales y locales.
• Configuración Óptima: Los experimentos de ablación demostraron que aplicar SR solo a la imagen de la cabeza (y usar los recortes de ojos originales) es la configuración más efectiva, superando a las estrategias que aplican SR a ambos o a ninguno.

B. Arquitectura del Modelo

El modelo utiliza un backbone convolucional híbrido (ResNet18) para extraer características visuales tanto de las imágenes de cabeza multiescala como de los ojos.

• Módulo DHECA (Dual Head-Eye Cross-Attention): Este es el núcleo de la innovación. A diferencia de métodos anteriores que solo usan atención de ojos a cabeza, DHECA implementa un mecanismo de atención cruzada bidireccional:
  • Las características de la cabeza y los ojos se convierten en tokens.
  • Se utiliza un bloque de atención cruzada donde las consultas ($Q$) de una rama (ej. cabeza) interactúan con las claves ($K$) y valores ($V$) de la otra rama (ej. ojos), y viceversa.
  • Esto permite un refinamiento mutuo de características, integrando la orientación de la cabeza con los detalles finos de los ojos para predecir la dirección de la mirada.
• Predicción: El modelo predice transformaciones trigonométricas (seno y coseno) de los ángulos de guiñada (yaw) y cabeceo (pitch) para evitar problemas de discontinuidad en los ángulos.

C. Corrección de Datos (Gaze360)

Los autores realizaron un análisis exploratorio para detectar y corregir anotaciones erróneas en Gaze360:

• Generaron gráficos de distribución de la ubicación de las caras.
• Identificaron intervalos válidos para la posición central de la cara en los conjuntos de entrenamiento, validación y prueba.
• Re-aplicaron el detector de caras (dlib) en las imágenes con anotaciones fuera de estos intervalos para corregir las cajas delimitadoras de la cara y los ojos.

3. Contribuciones Clave

1. Corrección de Dataset: Identificación y rectificación de errores de anotación en el dataset Gaze360, demostrando que esto mejora el rendimiento de todos los modelos que utilizan estas anotaciones.
2. Módulo DHECA: Propuesta de un nuevo módulo de atención cruzada dual que modela explícitamente la interacción bidireccional entre características de la cabeza y los ojos, superando a las arquitecturas de atención unidireccional o auto-atención.
3. Método SOTA: Introducción de DHECA-SuperGaze, que logra el estado del arte en estimación de mirada estática y temporal en datasets diversos (Gaze360 y GFIE).

4. Resultados Experimentales

El método fue evaluado en los datasets Gaze360 y GFIE en configuraciones estáticas y temporales, tanto dentro del mismo dataset (within-dataset) como entre datasets (cross-dataset).

• Rendimiento Dentro del Dataset (Within-dataset):
  • Estático: Reducción del Error Angular (AE) en 0.48° en Gaze360 y 2.95° en GFIE comparado con el segundo mejor método.
  • Temporal: Reducción del AE en 0.59° en Gaze360 y 3.00° en GFIE.
• Rendimiento Entre Datasets (Cross-dataset):
  • El modelo mostró una generalización superior, mejorando el AE en más de 1.53° (Gaze360) y 3.99° (GFIE) en pruebas cruzadas.
• Ablación:
  • El módulo DHECA superó consistentemente a variantes sin atención, con auto-atención o con atención cruzada unidireccional (como en CrossGaze).
  • La corrección de Gaze360 resultó en una mejora consistente de ~0.15° en el AE para todos los modelos que utilizan anotaciones de ojos.

5. Significado e Impacto

El trabajo de DHECA-SuperGaze es significativo por varias razones:

• Robustez en Entornos Reales: Al integrar super-resolución y atención cruzada, el sistema es más robusto ante imágenes de baja calidad y variaciones extremas en la orientación de la cabeza.
• Calidad de Datos: Destaca la importancia crítica de la limpieza de datos en visión por computadora, demostrando que incluso en datasets "estándar" como Gaze360 existen errores sistémicos que afectan el progreso del campo.
• Arquitectura Innovadora: Establece un nuevo paradigma para la estimación de mirada, donde la fusión de características de cabeza y ojos mediante atención cruzada bidireccional es superior a los enfoques tradicionales de concatenación simple o atención unidireccional.

En conclusión, el artículo presenta una solución integral que combina mejoras en la calidad de los datos de entrada (SR), corrección de anotaciones y una arquitectura de red neuronal avanzada para lograr la mayor precisión reportada hasta la fecha en la estimación de mirada en entornos no controlados.