Resumen Técnico: EgoTraj: Conjunto de Datos de Trayectoria Humana Egocéntrica del Mundo Real para Predicción Multimodal

Declaración del Problema

Predecir con precisión las trayectorias humanas desde una perspectiva egocéntrica (en primera persona) es fundamental para aplicaciones en robótica humanoides, sensores portátiles y navegación asistida. Sin embargo, el progreso en este dominio se ve obstaculizado por la escasez de conjuntos de datos de trayectorias egocéntricas del mundo real. La investigación existente sobre predicción de trayectorias depende en gran medida de conjuntos de datos de vista cenital (BEV) o de cámaras estáticas en tercera persona (por ejemplo, ETH, UCY, nuScenes), que capturan el movimiento externo pero no logran modelar cómo las personas perciben, planifican e inician el movimiento desde un punto de vista en primera persona. En consecuencia, los métodos actuales de predicción dependen en gran medida del historial de movimiento y del contexto de la escena, careciendo de señales relacionadas con la intención, como la mirada. Además, los conjuntos de datos egocéntricos existentes suelen tener una escala limitada, estar restringidos a entornos interiores, recopilarse de un solo participante o carecer de datos sincronizados de mirada y pose de 6 grados de libertad (6DoF) necesarios para una predicción consciente de la intención.

Metodología y Construcción del Conjunto de Datos

Para abordar estas limitaciones, los autores presentan EgoTraj, un conjunto de datos abierto, multimodal y a gran escala, grabado en entornos urbanos del mundo real utilizando auriculares Meta Quest Pro (MQPro).

Protocolo de Recopilación de Datos

• Hardware: Los participantes usaron auriculares MQPro operando en modo de paso de color completo. El dispositivo integraba una cámara RGB de paso de color, dos cámaras de seguimiento ocular infrarrojas, cuatro cámaras de seguimiento inside-out y un IMU de 6 ejes.
• Participantes: El conjunto de datos comprende 75 participantes únicos (edades de 18 a 38 años, género equilibrado, 14 nacionalidades). Cada participante contribuyó exactamente con una sesión de grabación.
• Entorno: Los datos se recopilaron al aire libre en diversos entornos urbanos, incluyendo aceras, pasos de peatones y calles concurridas. El protocolo utilizó siete puntos de referencia predefinidos al aire libre para definir pares de origen-destino, permitiendo a los participantes elegir sus propias rutas para fomentar una navegación naturalista e interacciones espontáneas.
• Duración: El conjunto de datos contiene 75 secuencias que suman 10,7 horas de datos sincronizados, compuestas por 1,15 millones de cuadros RGB.
• Privacidad: Todas las grabaciones se procesaron utilizando EgoBlur para detectar y difuminar automáticamente rostros y matrículas de vehículos.

Sincronización Multimodal

El conjunto de datos proporciona una verdad fundamental sincronizada en el tiempo a 30 Hz, que incluye:

1. Pose de la Cabeza 6DoF: Posición (x, y, z) y orientación (cuaterniones), junto con velocidad lineal y angular.
2. Vectores de Mirada 3D: Origen y vectores de dirección de la mirada binocular por cuadro.
3. Vídeo RGB Egocéntrico: Vídeo codificado en H.264 a 30 fps.
4. Anotaciones de Escena: Descripciones contextuales de alto nivel generadas mediante una tubería de Modelo de Lenguaje-Visión (VLM) utilizando Qwen2.5-VL-7B. Estas anotaciones cubren el contexto ambiental, la actividad del tráfico, los objetivos de fijación de la mirada y la intención de movimiento a corto plazo inferida.

Procesamiento de Datos

Una tubería personalizada alineó las corrientes de sensores (que operan a 50 Hz para la mirada/pose) con la línea de tiempo de vídeo de 30 Hz utilizando las marcas de tiempo del dispositivo. Se aplicaron técnicas de interpolación (lineal para la posición, SLERP para la rotación) para garantizar la consistencia temporal. El conjunto de datos final se empaqueta en formato HDF5 con cuadros difuminados por privacidad.

Contribuciones Clave

1. Conjunto de Datos EgoTraj: El primer conjunto de datos de trayectorias egocéntricas a gran escala que proporciona de forma conjunta pose de cabeza 6DoF sincronizada, vectores de mirada 3D por cuadro, vídeo RGB egocéntrico y anotaciones de escena de 75 participantes navegando por tráfico urbano real.
2. Protocolo de Evaluación y Referencia: Los autores establecieron una referencia estandarizada para la predicción de trayectorias egocéntricas, evaluando varios modelos de última generación en una división de prueba retenida.
3. Análisis Multimodal: Mediante estudios de ablación, los autores analizaron las contribuciones específicas de la mirada, las interacciones sociales y el contexto de la escena a la predicción de trayectorias en condiciones realistas.

Resultados Experimentales

Evaluación Cuantitativa

Los autores evaluaron varias líneas base, incluidos modelos cinemáticos (Velocidad Constante, Extrapolación Lineal) y modelos aprendidos (M_Transformer, CXA-Transformer, EgoCast).

• Rendimiento: El modelo adaptado EgoCast logró el mejor rendimiento de predicción de trayectorias con un Error de Desplazamiento Promedio (ADE) de 0,16 m y un Error de Desplazamiento Final (FDE) de 0,28 m.
• Rotación de la Cabeza: El CXA-Transformer logró el menor error de rotación de la cabeza (0,69), lo que sugiere que su mecanismo de atención cruzada en cascada captura mejor la dinámica de la orientación.
• Comparación con Líneas Base: Los modelos temporales aprendidos superaron consistentemente a la extrapolación cinemática simple, especialmente en la predicción de la rotación y el manejo de movimientos no lineales.

Estudios de Ablación

Utilizando la arquitectura CXA-Transformer, los autores analizaron el impacto de diferentes modalidades de entrada:

• Mirada y Escena: Añadir segmentación de escena (S) redujo el ADE de 0,19 a 0,16. Incorporar la mirada (G) lo redujo aún más a 0,15, lo que indica que la atención visual proporciona señales anticipatorias más allá de las señales cinemáticas.
• Contexto Social: Entre las representaciones sociales, las poses corporales completas (P) superaron a los puntos centrales (C) y a los cuadros delimitadores (B), lo que sugiere que las señales de movimiento detalladas son más informativas para el modelado de interacciones sociales.
• Multimodal Completo: La combinación de movimiento propio, pose, escena y mirada (Y + P + S + G) logró el mejor rendimiento general (ADE: 0,12, FDE: 0,23, Error de Rotación de la Cabeza: 0,58).

Generalización

Los modelos se probaron en divisiones más estrictas: "Punto de Referencia Retenido" (pares de origen-destino no vistos) y "Desconocido" (participantes no familiarizados con el área). La configuración multimodal completa mantuvo un rendimiento sólido en estas divisiones (ADE ~0,14), lo que indica que el modelo se generaliza a nuevas rutas y participantes en lugar de sobreajustarse a plantillas específicas.

Hallazgos Cualitativos

• Transiciones Activas: En las ventanas de "transición activa" donde el giro comienza dentro de los últimos 0,5 segundos de observación, los modelos multimodales rastrearon la verdad fundamental significativamente mejor que las líneas base solo de movimiento. Esto respalda la hipótesis de que la mirada anticipa la acción locomotora entre 1 y 2 segundos.
• Casos de Fallo: El sistema tuvo dificultades con giros bruscos y agudos (por ejemplo, ~90° en intersecciones) donde la señal predictiva en el historial de movimiento propio de corto horizonte es débil, lo que resalta la dificultad de la predicción determinista sin señales anticipatorias fuertes.

Significado y Afirmaciones

El artículo afirma que EgoTraj llena una brecha crítica en la disponibilidad de datos egocéntricos multimodales del mundo real. Al proporcionar datos sincronizados de mirada, pose y escena, el conjunto de datos permite el estudio de la predicción de trayectorias consciente de la intención. Los resultados demuestran que:

1. La atención visual (mirada) es una señal predictiva crítica que precede al movimiento, particularmente para giros y cambios de dirección.
2. La fusión multimodal (combinando movimiento propio, contexto social, estructura de la escena y mirada) supera significativamente a las líneas base solo de movimiento en entornos urbanos complejos.
3. El conjunto de datos soporta aplicaciones posteriores en percepción basada en RA, navegación asistida para personas con discapacidad visual y navegación robótica socialmente compliant.

Los autores publican el conjunto de datos, el código y el Panel de Control EgoViz (una herramienta interactiva para inspeccionar corrientes sincronizadas) para facilitar la investigación futura en la predicción de trayectorias egocéntricas y la comprensión del lenguaje visual de la intención de navegación.