Resumen Técnico: ARGaze: Transformers Autorregresivos para la Estimación de la Mirada Egocéntrica en Línea

Definición del Problema

El artículo aborda la estimación de la mirada egocéntrica en línea, la tarea de predecir hacia dónde está mirando el usuario de una cámara utilizando únicamente fotogramas de vídeo pasados y actuales. A diferencia de la estimación de la mirada en tercera persona, que depende de señales observables de la postura de la cabeza y los ojos, los entornos egocéntricos carecen de señales faciales directas. En su lugar, los modelos deben inferir la atención visual a partir de pistas esparcidas e indirectas, como el contenido de la escena y las interacciones mano-objeto.

Los enfoques convencionales actuales plantean esto como un problema de integración espaciotemporal basado en clips fuera de línea (offline). Estos métodos suelen emplear convoluciones 3D o mecanismos de atención bidireccional que requieren acceso al contexto temporal futuro. Esta arquitectura viola las restricciones de tiempo real, lo que los hace impracticables para aplicaciones de streaming como la Realidad Aumentada (RA) y la robótica asistencial. Además, estos modelos suelen tratar los fotogramas como clips paralelos en lugar de secuencias de comportamiento continuas, fallando al capturar la estabilidad fisiológica de las fijaciones humanas y provocando predicciones erráticas ante perturbaciones visuales.

Metodología: ARGaze

Los autores proponen ARGaze, un marco que reformula la estimación de la mirada como una tarea de generación de secuencias autorregresiva y causal. Inspirado en la decodificación condicionada por visión de los modelos de lenguaje visual, ARGaze predice mapas de calor de la mirada de forma secuencial, condicionando cada predicción a las características visuales actuales y a un historial limitado de estimaciones de mirada previas.

El marco consta de cinco componentes principales:

1. Codificador de Escena (Scene Encoder): Utiliza un modelo fundacional de visión preentrenado (DINOv3) para extraer características espaciotemporales jerárquicas del fotograma actual ($I_t$). También incorpora Plantillas de Seguimiento (Tracking-aware Templates), que son recortes localizados de alta resolución de fotogramas históricos centrados en las coordenadas de la mirada previamente predichas. Estas plantillas proporcionan pistas visuales específicas para ayudar al modelo a mantener la atención en los objetivos durante movimientos rápidos de la cámara.
2. Tokenizador de Mapa de Calor Autorregresivo (Autoregressive Heatmap Tokenizer): Convierte una ventana acotada de historial de mirada reciente ($H_{t-k:t-1}$) en tokens temporales de alta dimensión. Esto implica el submuestreo de los mapas de calor históricos, su proyección en el espacio latente mediante convoluciones 1$\times$1 y la adición de incrustaciones (embeddings) temporales y de tipo de token para distinguir entre fijaciones pasadas y tokens de consulta actuales.
3. Módulo de Plantilla de Seguimiento (Tracking-aware Template Module): Recorta dinámicamente los fotogramas históricos basándose en el soft-argmax del mapa de calor de la predicción anterior. Esto proporciona al decodificador un contexto visual localizado, actuando como una pista de seguimiento para desambiguar objetos similares.
4. Decodificador Transformer Causal (Causal Transformer Decoder): La unidad central de procesamiento que integra los tokens de mirada histórica y las características visuales (escena global + plantillas de seguimiento) mediante capas de autoatención y atención cruzada. Crucialmente, opera de manera estrictamente causal, accediendo solo a las observaciones actuales y pasadas. Mantiene una ventana de historial acotada, asegurando una huella de memoria constante independientemente de la longitud del vídeo.
5. Cabeza de Reconstrucción Espacial (Spatial Reconstruction Head): Una rama de sobremuestreo (upsampling) convolucional que mapea los tokens de la secuencia generada de vuelta al dominio espacial para producir el mapa de calor final del objetivo de la mirada 2D ($H_t$).

Entrenamiento e Inferencia:

• Entrenamiento: El modelo se optimiza utilizando una pérdida de divergencia de Kullback-Leibler (KL) entre los mapas de calor predichos y los reales (ground-truth). Para cerrar la brecha entre el entrenamiento (usando historial real) y la inferencia (usando historial predicho), los autores emplean muestreo programado (scheduled sampling).
• Inferencia: El sistema opera de manera continua (streaming). Para cada fotograma que llega, el decodificador genera una predicción condicionada por las características visuales y la ventana de historial de tamaño fijo, asegurando un uso de memoria constante y capacidad de respuesta en tiempo real.

Contribuciones Clave

1. Formulación Autorregresiva Causal: El artículo introduce ARGaze, que redefine la estimación de la mirada egocéntrica como una tarea de predicción de secuencia causal, permitiendo una inferencia estrictamente en línea sin contexto futuro.
2. Arquitectura de Memoria Acotada: Al utilizar una ventana de historial de mirada de longitud fija, el método garantiza un uso de memoria constante, soportando un streaming de largo alcance eficiente sin los cuellos de botella computacionales de los modelos de secuencias ilimitadas.
3. Robustez y Precisión Mejoradas: El marco integra un modelado temporal explícito con la comprensión de la escena visual, demostrando una mayor robustez contra el sesgo inducido por las manos y condiciones fuera de la distribución (OOD) en comparación con métodos anteriores.

Resultados Experimentales

Los autores evaluaron ARGaze en tres benchmarks: EGTEA Gaze+, Ego4D y EgoExo4D.

• Rendimiento: ARGaze logró un rendimiento de vanguardia (state-of-the-art) en todos los benchmarks bajo evaluación en línea.
  • En EGTEA Gaze+, alcanzó una puntuación F1 del 44.48%, superando al baseline causal adaptado GLC (41.57%) por casi 3 puntos porcentuales.
  • En Ego4D, alcanzó un F1 del 41.82%.
  • En EgoExo4D, logró un 70.58% de F1 y un 75.66% de precisión.
• Eficiencia: En pruebas de streaming de video largo en una GPU NVIDIA RTX A6000, ARGaze demostró ganancias significativas de eficiencia sobre el baseline GLC:
  • Velocidad de Inferencia: Aceleración de 1.82$\times$ (88.59 FPS frente a 48.74 FPS).
  • Latencia: Reducción de la latencia media de 20.56 ms a 11.29 ms.
  • Memoria: Reducción de la asignación de memoria CUDA en 3.13$\times$ (168.2 MB frente a 526.3 MB).
• Robustez:
  • Fuera de la Distribución (OOD): ARGaze mantuvo un sólido rendimiento en divisiones OOD (participantes, sitios y tareas no vistos), lo que sugiere que captura la dinámica de atención transferible en lugar de sobreajustarse a claves específicas del dominio.
  • Dependencia de la Mano: A diferencia de los baselines que sufren de "sesgo de mano" (rastrear erróneamente las manos en movimiento) o colapso de rendimiento cuando las manos están ocultas, ARGaze mantuvo una fijación estable en objetos relevantes para la tarea aprovechando las trayectorias de mirada históricas para filtrar distracciones visuales.
• Pruebas en el Mundo Real: En experimentos utilizando un visor Meta Quest 3, ARGaze superó consistentemente al baseline GLC, mejorando el F1 del mapa de calor de 0.0411 a 0.4667 en actividades diarias como organizar un escritorio y hacer café.

Significado y Afirmaciones

El artículo afirma que ARGaze aborda una brecha crítica en la literatura existente: la falta de alineación entre los paradigmas de modelado actuales (que tratan la mirada como clips paralelos) y la naturaleza fisiológica de la mirada humana (caracterizada por fijaciones estables y sacadas). Al imponer una causalidad estricta y una memoria acotada, los autores argumentan que el modelado autorregresivo es esencial para una predicción robusta y en tiempo real en entornos de streaming.

Los autores posicionan a ARGaze como una solución práctica para la Realidad Aumentada y la robótica asistencial, donde los sistemas deben anticipar la intención del usuario y proporcionar guía proactiva a medida que llega cada fotograma. El trabajo enfatiza que una estimación de la mirada precisa, de baja latencia y eficiente en memoria es fundamental para los sistemas de IA centrados en el humano que comprenden la intención del usuario sin depender de señales explícitas de la cabeza o los ojos. Los autores señalan que, si bien el trabajo hace avanzar las capacidades algorítmicas, el despliegue futuro debe priorizar la privacidad y las consideraciones éticas con respecto a los datos sensibles de la intención del usuario.