Resumen Técnico: ¿Cuánto ayuda el futuro? Un estudio controlado de la supervisión con privilegios de futuro para la estimación causal de la mirada egocéntrica

Definición del Problema

La estimación de la mirada egocéntrica tiene como objetivo localizar el foco de atención de quien porta una cámara a partir de una entrada visual en primera persona. Mientras que muchos modelos de vanguardia operan en entornos fuera de línea con acceso a fotogramas futuros (contexto temporal bidireccional), las aplicaciones del mundo real, como la realidad aumentada (AR) y la asistencia portátil, requieren una predicción estrictamente causal y en línea utilizando únicamente observaciones pasadas y presentes. Esta discrepancia plantea dos preguntas fundamentales:

1. ¿Priva la ausencia de contexto futuro inherentemente a los modelos de valiosas señales anticipatorias para la predicción de la mirada?
2. Si la información futura es útil, ¿cuánto contexto temporal puede ser transferido exitosamente a un modelo estrictamente causal durante el entrenamiento?

La literatura existente carece de una comprensión sistemática de cómo la utilidad del contexto futuro escala con el horizonte temporal y si sus beneficios se saturan dentro de un rango delimitado para la inferencia causal.

Metodología: Marco de Trabajo ECOGaze

Para abordar estas preguntas, los autores proponen ECOGaze, un marco de entrenamiento controlado con privilegios de futuro diseñado para aislar el impacto del contexto futuro manteniendo una arquitectura de inferencia estrictamente causal.

Arquitectura Central

El marco utiliza un pase hacia adelante de doble rama a través de un decodificador espacio-temporal ligero y compartido:

• Codificador de Escena: Un Vision Transformer DINOv3 congelado extrae características espaciales por parches por fotograma. Mantener el codificador congelado elimina los sesgos a nivel de representación, asegurando que las variaciones de rendimiento reflejen la señal de supervisión y no la deriva de las características.
• Cabeza Espacio-Temporal: Una ligera cabeza de transformador procesa la secuencia de incrustaciones de parches utilizando atención espacio-temporal dividida (atención temporal seguida de atención espacial).
• Enfoque Global-Local (GLF): Un módulo ligero refina las características computando similitudes de coseno entre una consulta global aprendible y las características de los parches para resaltar las regiones relevantes para la mirada.

Supervisión con Privilegios de Futuro

La innovación central es el mecanismo de entrenamiento:

1. Rama del Maestro (Conciencia del Futuro): Durante el entrenamiento, esta rama tiene acceso a un horizonte de visión hacia adelante ajustable $H$. Utiliza una máscara temporal expandida que permite la atención a fotogramas pasados, actuales y $H$ futuros.
2. Rama del Estudiante (Estrictamente Causal): Esta rama utiliza una máscara triangular inferior estricta ($H=0$), restringiendo la atención solo a fotogramas pasados y presentes.
3. Parámetros Compartidos: Ambas ramas comparten pesos y arquitectura idénticos. La única diferencia es la máscara de atención temporal.
4. Función de Pérdida: El estudiante se optimiza utilizando una combinación de una pérdida estándar de verdad de campo ($L_{GT}$) y una pérdida de supervisión con privilegios de futuro ($L_{FPS}$). La $L_{FPS}$ minimiza la divergencia KL entre la predicción del estudiante y la predicción del maestro (aplicando un operador de detención de gradiente al maestro). Esto obliga al estudiante causal a destilar el conocimiento anticipatorio del maestro consciente del futuro sin que los pesos del maestro sean actualizados por la pérdida del estudiante.

En la inferencia, solo se despliega la rama del estudiante estrictamente causal.

Configuración Experimental

• Conjuntos de Datos: Los experimentos se realizaron en EGTEA Gaze+ (28 horas de actividades de cocina, 24 FPS) y Ego4D (subconjunto de mirada, 30 FPS).
• Protocolo: El horizonte de visión hacia adelante $H$ se varió a través de $\{0, 1, 3, 5, 7, 10, 15\}$.
  • En EGTEA, $H=1$ corresponde a ~0.33 segundos; el $H$ óptimo $\in [5, 10]$ corresponde a ~1.7–3.3 segundos.
  • En Ego4D, $H=1$ corresponde a ~0.27 segundos; el $H$ óptimo $10$ corresponde a ~2.7 segundos.
• Líneas Base: Se incluyeron comparaciones con variantes causales de métodos previos (por ejemplo, GLC) y líneas base estándar, asegurando una evaluación justa bajo estricta causalidad.

Resultados Clave

1. Utilidad del Contexto Futuro

La supervisión con privilegios de futuro mejora consistentemente la predicción de la mirada causal.

• EGTEA Gaze+: La puntuación F1 aumentó de 44.7 (línea base, $H=0$) a 45.9 ($H=5$ y $H=10$).
• Ego4D: La puntuación F1 aumentó de 40.7 (línea base) a 42.7 ($H=10$).

2. Régimen Temporal Delimitado

Las ganancias de rendimiento no aumentan monótonamente con un mayor horizonte de visión hacia adelante. En su lugar, alcanzan un pico dentro de una ventana delimitada específica y se degradan con horizontes excesivos.

• Rango Óptimo: Aproximadamente 1.7 a 3.3 segundos de contexto futuro (correspondiente a $H \in [5, 10]$ en EGTEA y $H=10$ en Ego4D).
• Degradación: En $H=15$ (~4–5 segundos), el rendimiento cae ligeramente (por ejemplo, el F1 de EGTEA baja a 45.4). Los autores lo atribuyen al ruido de acciones subsecuentes no relacionadas que oscurecen la intención inmediata.

3. Eficiencia y Rendimiento

El modelo propuesto ECOGaze (usando el $H$ óptimo) logra el rendimiento de vanguardia entre los modelos causales siendo significativamente más eficiente:

• Precisión: Supera la variante causal de GLC (45.9 vs. 41.6 F1 en EGTEA; 42.7 vs. 41.2 F1 en Ego4D).
• Eficiencia: ECOGaze tiene 14.2M de parámetros (frente a 70.2M para GLC) y funciona a ~60 FPS (frente a ~30 FPS para GLC) en una NVIDIA A5000, ofreciendo una reducción de capacidad de 5 veces y una aceleración de 2x.

4. Estudios de Ablación

• Análisis de Componentes: Añadir atención espacial, atención temporal, GLF y, finalmente, supervisión con privilegios de futuro mejoró de forma acumulativa el rendimiento, siendo el marco completo el que produjo el mayor F1 y precisión.
• Elecciones de Diseño: La formulación de producto punto de los autores para GLF resultó ser superior a la atención cruzada densa (usada en GLC) tanto en precisión como en eficiencia (reduciendo los FLOPs por clip de 465.4M a 1.8M).

Significancia y Reivindicaciones

El artículo sostiene que los modelos causales ligeros pueden absorber eficazmente las señales conscientes del futuro durante el entrenamiento para mejorar la estimación de la mirada en tiempo real. La contribución principal no es un nuevo modelo de mirada per se, sino una formulación controlada que aísla y cuantifica la utilidad del contexto futuro.

Puntos clave enfatizados por los autores:

1. Naturaleza Anticipatoria: La mirada humana es inherentemente anticipatoria, y los fotogramas futuros proporcionan una supervisión valiosa para la predicción de la mirada actual.
2. Utilidad Delimitada: El beneficio del contexto futuro no es infinito; se satura dentro de una ventana de 2 a 3 segundos. Extender el horizonte demasiado lejos introduce ruido de acciones futuras no relacionadas.
3. Guía Práctica: El estudio proporciona una guía accionable para diseñar sistemas de mirada egocéntrica de baja latencia y tiempo real, demostando que la estricta causalidad en la inferencia no impide los beneficios del entrenamiento con conciencia de futuro.

Los autores mantienen la modestia, señalando que el rango óptimo de visión hacia adelante puede variar según diferentes backbones, escalas de modelos y dominios de actividad más allá de las actividades de cocina y actividades diarias representadas en los conjuntos de datos probados. También identifican casos de fallo, como la difusión de la mirada en etapas tempranas durante la búsqueda visual y el desenfoque de movimiento, que siguen siendo desafíos para los modelos estrictamente causales.