EgoCampus: Egocentric Pedestrian Eye Gaze Model and Dataset

Este trabajo presenta EgoCampus, un nuevo conjunto de datos y un modelo de red neuronal (EgoCampusNet) diseñados para predecir la atención visual de peatones en entornos exteriores, basándose en grabaciones egocéntricas realizadas con gafas Meta Project Aria en un campus universitario.

Lo esencial

Imagina que quieres enseñarle a un robot a caminar por un campus universitario sin chocar con nadie y sin perderse. Para hacerlo, el robot necesita saber no solo dónde está, sino hacia dónde mira la gente mientras camina. ¿Por qué? Porque a menudo, la dirección de la mirada nos dice qué es importante en ese momento (un semáforo, un amigo que viene hacia ti, o una señal de "Salida").

Este paper presenta EgoCampus, un proyecto de la Universidad Rutgers que intenta resolver este misterio. Aquí te lo explico como si fuera una historia:

1. El Problema: ¿Qué ven nuestros ojos mientras caminamos?

Antes de este trabajo, la mayoría de los estudios sobre "hacia dónde miramos" se hacían en laboratorios. Imagina a alguien sentado en una silla mirando fotos fijas en una pantalla. Eso es útil, pero no es la vida real. En la vida real, caminamos, giramos la cabeza, y el mundo se mueve a nuestro alrededor.

Los autores se preguntaron: ¿Qué pasa si grabamos a personas reales caminando por la calle y vemos exactamente a qué miran?

2. La Solución: Las Gafas "Espejo" (EgoCampus)

Para capturar esto, usaron unas gafas especiales llamadas Project Aria (de Meta). Piensa en estas gafas como un "espejo mágico" que hace tres cosas a la vez:

• Cámara frontal: Graba lo que ves (como tus propios ojos).
• Cámaras internas: Te vigilan a ti para saber exactamente a dónde apuntan tus pupilas.
• Sensores de movimiento: Son como un "oído interno" que siente si te inclinas, giras o aceleras (GPS, acelerómetros, etc.).

El "Tesoro" de Datos:
Grabaron a 82 personas caminando por 25 rutas diferentes en el campus. Es como si hicieras un documental de 32 horas donde cada persona camina, mira a los lados y registra todo.

• La analogía: Imagina que eres un detective y tienes 82 testigos que te cuentan, segundo a segundo, qué vieron mientras cruzaban la ciudad. Eso es EgoCampus.

3. El Cerebro del Robot: EgoCampusNet

Con estos datos, crearon un modelo de Inteligencia Artificial llamado EgoCampusNet.

• ¿Cómo funciona?
  Imagina que estás viendo una película de alguien caminando. Tu cerebro no solo mira el fotograma actual; recuerda lo que pasó hace dos segundos para entender hacia dónde vas.
  • El modelo hace lo mismo: Mira el video pasado (para entender el contexto) y la imagen actual (para ver los detalles).
  • Luego, "fusiona" esa información para predecir: "¡Ah! La persona probablemente mirará hacia esa farola o hacia ese grupo de amigos que viene".

4. Lo que Descubrieron (Los "Secretos" de la Mirada)

Al analizar los datos, encontraron cosas interesantes:

• El "Centro" es un imán: Cuando caminamos, tendemos a mirar al centro de la pantalla (hacia donde vamos). Es como si nuestro cerebro dijera: "Lo más importante está justo enfrente".
• Los giros revelan todo: Cuando la gente gira la cabeza rápidamente (como para mirar un cartel o a alguien que pasa), es cuando realmente prestan atención a cosas específicas: edificios, árboles, o cambios en el camino.
• Los robots actuales fallan: Probaron modelos de IA existentes (los que ya existen en el mercado) y descubrieron que, sin entrenamiento específico, son muy malos predeciendo esto. Tienden a mirar siempre al centro o a adivinar mal.

5. ¿Para qué sirve todo esto?

Imagina un futuro donde:

• Robots de reparto caminan por la acera y saben exactamente cuándo apartarse porque "ven" lo mismo que tú.
• Coches autónomos entienden si un peatón va a cruzar la calle porque el robot "sabe" que el peatón está mirando hacia la carretera.
• Realidad Aumentada: Tus gafas inteligentes podrían mostrarte información justo donde estás mirando, sin tener que buscarla.

En resumen

Este paper es como abrir una caja negra de la atención humana. Nos dan los datos (EgoCampus) y el manual de instrucciones (EgoCampusNet) para que cualquier investigador pueda enseñar a las máquinas a entender que, cuando caminamos, nuestros ojos no solo ven, sino que piensan y deciden a dónde ir.

Es un paso gigante para que la tecnología deje de ser un "ciego" que tropieza, y se convierta en un compañero que entiende el mundo tal como lo hacemos nosotros.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "EgoCampus: Egocentric Pedestrian Eye Gaze Model and Dataset" en español:

1. Problema y Contexto

El trabajo aborda el desafío de predecir la atención visual humana durante la navegación en el mundo real. Aunque existe investigación previa sobre el seguimiento ocular (gaze), la mayoría se centra en:

• Tareas restringidas o entornos controlados (interiores).
• Imágenes estáticas o videos de pantalla.
• Actividades estructuradas como cocinar o limpiar.

Existe una brecha significativa en la comprensión de los patrones de mirada de los peatones que caminan en entornos exteriores dinámicos. Los conjuntos de datos existentes (como Ego4D o EPIC-Kitchens) a menudo carecen de datos de seguimiento ocular sincronizados para la locomoción peatonal al aire libre o tienen una duración de clips muy corta. El objetivo es modelar cómo priorizan la información visual las personas mientras navegan por campus universitarios y entornos urbanos.

2. Contribuciones Clave

Los autores presentan dos contribuciones principales:

A. Dataset EgoCampus

Es un nuevo conjunto de datos multimodal diseñado específicamente para la navegación peatonal al aire libre.

• Escala y Diversidad: Contiene 32 horas de video de 82 participantes distintos recorriendo 25 rutas únicas en el campus de la Universidad de Rutgers (aprox. 6 km).
• Hardware: Se utilizó el sistema de gafas Meta Project Aria, que captura:
  • Video RGB frontal de alta resolución (1408x1408 a 30Hz).
  • Coordenadas de seguimiento ocular (gaze) sincronizadas.
  • Datos de sensores inerciales (IMU), magnetómetro, barómetro, GPS y señales Wi-Fi/Bluetooth.
• Procesamiento: Se aplicó un protocolo de privacidad estricto (IRB) utilizando el algoritmo EgoBlur para difuminar los rostros de transeúntes no participantes. Los datos incluyen clips continuos (promedio de 108.2 segundos), superando la fragmentación de conjuntos de datos anteriores.
• Análisis de Comportamiento: Se identificó que durante giros de cabeza de alta velocidad, la atención se centra principalmente en hitos estructurales (edificios, árboles) y señales de navegación, no solo en objetos salientes.

B. Modelo EgoCampusNet (ECN)

Un modelo novedoso para predecir el punto de mirada a partir de video egocéntrico.

• Arquitectura:
  1. Backbone de Video: Utiliza un encoder de video preentrenado (X3D) para extraer características espacio-temporales de una secuencia de video.
  2. Codificador de Imagen: Extrae características de la imagen de consulta (generalmente el último cuadro) mediante bloques ResNet.
  3. Fusión: Combina las características espacio-temporales del video con las características de la imagen de consulta mediante bloques CNN ligeros.
  4. Decodificador: Un decodificador CNN predice un mapa de calor de la mirada (gaze heatmap) con las mismas dimensiones espaciales que la entrada.
• Entrenamiento: Entrenado con optimizador ADAM y pérdida MSE durante 10 épocas.

3. Metodología Experimental y Evaluación

• Configuración: Se utilizó una división de datos 70/30 (rutas). Se evaluaron modelos de 16 cuadros (ventana de ~2.1 segundos).
• Métricas: Se emplearon métricas basadas en ubicación (AUC-Judd) y distribución (CC, SIM, KLD).
• Innovación en Evaluación: Dado el fuerte "sesgo central" (los sujetos suelen mirar al centro mientras caminan), los autores propusieron una estrategia de pesado relativo al prior del dataset. Esto penaliza los modelos que simplemente predicen el centro y premia aquellos que capturan desviaciones de atención reales.

4. Resultados

• Rendimiento del Modelo (ECN): EgoCampusNet logra un rendimiento competitivo con un número de parámetros significativamente menor (42.5M) en comparación con modelos de vanguardia como GLC (70.2M) o CV MM (420.5M).
• Comparativa:
  • Los modelos basados en priores (Dataset Prior, Center Prior) obtienen puntuaciones altas en métricas estándar debido al sesgo central, pero fallan al predecir desviaciones de atención.
  • Bajo las métricas ponderadas (que eliminan el sesgo central), GLC y ECN muestran la mayor robustez. ECN demuestra una reducción modesta en el rendimiento al aplicar el peso, lo que indica que aprende patrones de atención activa más allá del simple centro.
• Análisis Cualitativo: Los mapas de calor de ECN son más focales y precisos que los de modelos como EML-Net o DeepGazeIIE, que tienden a sobreestimar el área de mirada. ECN evita predecir incorrectamente que los peatones miran a los rostros de otros transeúntes en situaciones de navegación continua, alineándose mejor con el comportamiento humano real.

5. Significado e Impacto

• Recurso para la IA Embebida: El dataset y el modelo son fundamentales para entrenar agentes autónomos (robots, vehículos) que deben navegar en espacios compartidos con humanos, permitiendo una cooperación y anticipación más seguras.
• Avance en la Modelización de la Atención: EgoCampus llena un vacío crítico al proporcionar datos de navegación peatonal continua al aire libre con seguimiento ocular, superando las limitaciones de los datasets anteriores centrados en interiores o clips cortos.
• Aplicaciones Futuras: Facilita el desarrollo de métodos de muestreo ambiental espaciotemporal que imitan la atención humana, crucial para la interacción humano-robot.
• Disponibilidad: El dataset y el código serán públicos, y se menciona su relación con el dataset complementario YOPO-Campus (recorrido por un robot), ofreciendo una perspectiva dual (humana y robótica) de las mismas rutas.

En resumen, este trabajo establece un nuevo estándar para la investigación de la atención visual en la navegación peatonal al aire libre, proporcionando tanto un recurso de datos rico como un modelo eficiente que equilibra precisión y costo computacional.