EgoGazeLite: On-Device Egocentric Gaze Prediction for Token-Efficient Multimodal LLM Video Input

Resumen Técnico: EgoGazeLite

Planteamiento del Problema

El despliegue de Modelos de Lenguaje de Gran Escala Multimodales (MLLMs) para la comprensión de video egocéntrico en dispositivos portátiles está limitado por un estricto presupuesto de tokens. Los MLLMs suelen codificar la entrada visual mediante Vision Transformers, donde los costos de memoria y cómputo escalan linealmente con el número de tokens visuales, lo cual depende de la resolución y duración del video. El video de alta resolución es prohibitivamente costoso de transmitir y procesar a escala.

Un trabajo previo, específicamente GazeLLM, abordó esto recortando los fotogramas de video alrededor del punto de la mirada del usuario antes de procesarlos, reduciendo los tokens visuales aproximadamente diez veces mientras se mantiene la calidad de la descripción. Sin embargo, GazeLLM depende enteramente de hardware dedicado de seguimiento ocular, el cual está ausente en las actuales gafas inteligentes de consumo. Esto crea una barrera de entrada para la comprensión condicionada por la mirada que sea eficiente en tokens. El desafío central es determinar si un predictor de mirada basado únicamente en software puede sustituir con precisión la mirada medida por hardware sin degradar el rendimiento del MLLM descendente, manteniendo la ligereza suficiente para ejecutarse en el dispositivo dentro de los presupos de potencia y cómputo de un smartphone.

Metodología

Arquitectura de EgoGazeLite

Los autores proponen EgoGazeLite, un predictor de mirada ligero de doble proceso diseñado para el despliegue en el dispositivo. Se basa en la estructura de doble proceso identificada por Huang et al. [10] como una sólida línea base sin Transformer, pero introduce tres modificaciones arquitectónicas para reducir el costo computacional:

1. Backbone Compartido: Reemplaza las corrientes espaciales y temporales separadas con un único backbone EfficientNet-Lite4 compartido, inicializado con pesos de ImageNet.
2. Diferencia Temporal a Nivel de Características: Reemplaza el flujo óptico denso con una simple sustracción a nivel de características ($\Delta F = \text{BatchNorm}(F_t - F_{t-1})$) para capturar el movimiento.
3. Fusión Residual: Reemplaza la fusión convolucional no lineal con un módulo de fusión residual que opera en el espacio de los logits, permitiendo que el mapa de atención agudice o suprima la predicción de saliencia sin saturación.

La arquitectura consta de:

• Camino Bottom-up (Ascendente): Computa un mapa de calor de saliencia ($G^s_t$) a partir de la entrada visual únicamente, incorporando un sesgo de centro Gaussiano 2D aprendible para dar cuenta del sesgo de la mirada egocéntrica.
• Camino Top-down (Descendente): Rastrea la atención basada en el historial de fijación. Extrae pesos de canal desde la ubicación de la mirada previa, los propaga a través de un LSTM con compuerta (regulado por una decisión de fijación/sacada I-DT en línea) y los aplica a las características del fotograma actual para generar un mapa de calor de atención ($G^a_t$).
• Fusión: Combina $G^s_t$ y $G^a_t$ usando un módulo residual para producir el mapa de calor de predicción final $G_t$, del cual se extrae la coordenada de la mirada mediante argmax.

Pipeline de Recorte Guiado por la Mirada

El sistema sigue el protocolo de GazeLLM:

1. Entrada: Clips fuente de 1404×1404 a 30 fps del conjunto de datos Ego-Exo4D.
2. Procesamiento: Los fotogramas se muestrean a 1 fps. Una ventana fija de 448×448 se centra en la coordenada de la mirada (predicha por EgoGazeLite o la verdad de campo/ground-truth de un seguidor ocular).
3. Condiciones: El estudio compara cuatro condiciones: Resolución completa, recorte de mirada de verdad de campo (ground-truth), recorte de mirada predicha y un recorte central (línea base).
4. Evaluación: Los clips recortados se introducen en MLLMs (Gemini 2.5 Flash y Pro) para generar descripciones de actividad paso a paso. Estas se califican contra referencias de resolución completa utilizando métricas automatizadas (BLEU, ROUGE-L, SBERT) y jueces de LLM (Claude Sonnet 4.6, GPT-4o).

Configuración Experimental

• Dataset: Ego-Exo4D (Gafas Project Aria Gen 1). Entrenamiento en siete dominios (Cocina, Soccer, Salud, Reparación de Bicicletas, Danza, Bouldering, Música); Basketball fue excluido.
• Conjunto de Prueba de Sustitución: Un conjunto de 138 clips excluidos que cubren seis categorías de tareas, asegurando que no haya solapamiento con el conjunto de entrenamiento.
• Evaluación de Hardware: El pipeline completo se probó en un iPhone 15 Pro para medir la latencia de extremo a extremo.

Contribuciones Clave

1. Sustitución de la Mirada Medida por la Predicha: El artículo demuestra que la mirada predicha por un modelo ligero puede reemplazar la mirada medida por hardware en el pipeline de GazeLLM. A través de dos MLLMs, tres métricas automatizadas y dos jueces de LLM, los recortes de mirada predicha mostraron ninguna diferencia significativa respecto a los recortes de mirada de verdad de campo en la calidad de la descripción descendente.
2. Confirmación de Equivalencia: Utilizando Pruebas de Un Solo Lado Doble (TOST), los autores confirmaron la equivalencia en todas las diez celdas de evaluación (2 MLLMs × 5 métricas/jueces). La diferencia entre las condiciones de mirada predicha y de verdad de campo fue menor a la mitad de la desviación estándar agrupada, satisfaciendo el margen de equivalencia primario.
3. Eficiencia de EgoGazeLite: El modelo logra este rendimiento con 15.7M de parámetros y 6.71 GFLOPs, lo que representa una reducción de 8.6 veces en FLOPs en comparación con modelos previos de estado del arte para mirada egocéntrica (Huang et al. [10] y Lai et al. [13]).
4. Desempeño en Tiempo Real en el Dispositivo: El pipeline completo de mirada y recorte se ejecuta de extremo a extremo en 21.6 ms/fotograma (aprox. 46 FPS) en hardware acelerador de consumo (Neural Engine de iPhone 15 Pro), lo que lo hace viable para el despliegue en tiempo real.

Resultados

• Precisión: En el conjunto de validación dentro de la distribución, EgoGazeLite logró un Error Angular Promedio (AAE) de 8.33° y un AUC de 0.9655.
• Calidad Descendente:
  • Tanto los recortes de mirada predicha como los de verdad de campo superaron significativamente al recorte central de línea base en todas las métricas.
  • La diferencia entre los recortes de mirada predicha y de verdad de campo no fue estadísticamente significativa (p-valor corregido más pequeño = 0.054).
  • Los tamaños de efecto ($d_z$) fueron consistentemente pequeños (< 0.17), bien dentro de la convención de Cohen para efectos insignificantes.
  • Las pruebas de equivalencia (TOST) confirmaron que las dos condiciones son estadísticamente equivalentes en los diez casos bajo un margen de efecto medio (0.5× SD agrupada), y en cuatro casos bajo un margen de efecto estricto pequeño (0.2× SD agrupada).
• Latencia: El pase hacia adelante de EgoGazeLite representa aproximadamente el 41% del tiempo del pipeline (8.9 ms), el tiempo restante se dedica al procesamiento de imagen (recorte, reducción de escala). El pipeline soporta tasas de muestreo de hasta 30 FPS, superando ampliamente el requisito de 1 FPS para el MLLM descendente.

Significado y Reivindicaciones

El artículo afirma que EgoGazeLite elimina el requisito estricto de hardware dedicado de seguimiento ocular para la comprensión de video egocéntrico condicionada por la mirada con MLLMs. Al demostrar que un predictor ligero, basado solo en software, puede sustituir a la mirada medida por hardware sin degradar la calidad de las descripciones generadas por el MLLM, este trabajo permite el procesamiento de video guiado por la mirada y eficiente en tokens en gafas inteligentes y smartphones de consumo.

Los autores enfatizan que este resultado cierra el ciclo entre la predicción de la mirada y la entrada del MLLM en el dispositivo. Aunque el estudio es modesto en su alcance —reconociendo que no se realizaron comparaciones directas de precisión frente a modelos previos bajo divisiones idénticas, y que la generalización a dominios no vistos o otras familias de MLLM aún debe probarse—, el hallazgo central es que la sustitución es empíricamente válida para las tareas y modelos probados. Esto cambia el paradigma de sistemas de mirada dependientes de hardware a soluciones impulsadas por software accesibles para cualquier cámara de primera persona.