EgoLive: A Large-Scale Egocentric Dataset from Real-World Human Tasks

Resumen Técnico: EgoLive – Un conjunto de datos egocéntricos a gran escala de tareas humanas en el mundo real

1. El Problema (Problemática)

El avance del aprendizaje de robots (robot learning) se enfrenta actualmente a un cuello de botella crítico: la escasez de conjuntos de datos (datasets) de gran escala, alta calidad y con diversidad suficiente para lograr la generalización en entornos abiertos. Los métodos actuales presentan limitaciones importantes:

• Teleoperación de robots: Aunque generan trayectorias precisas, son difíciles de escalar debido al alto costo de hardware y la necesidad de intervención humana intensiva.
• Interfaces de manipulación universal (UMI): Son útiles pero suelen estar limitadas a embodiments (formas físicas) de robots específicos y tienen dificultades para capturar la manipulación de manos con múltiples grados de libertad (DoF).
• Datasets egocéntricos existentes: Muchos se centran en entornos controlados (laboratorios o casas) o carecen de anotaciones geométricas y semánticas profundas (como trayectorias 3D, segmentación de objetos o reconstrucción de escenas) necesarias para el entrenamiento de políticas de manipulación fina.

2. Metodología (Methodology)

Para resolver esto, los autores presentan EgoLive, un dataset diseñado para el aprendizaje de manipulación robótica mediante la captura de video en primera persona. Su metodología se divide en tres pilares:

• Captura de Datos (Hardware): Desarrollaron el JoyEgoCam, un dispositivo montado en la cabeza diseñado ergonómicamente para minimizar la intrusión. Utiliza cámaras estéreo con un campo de visión (FoV) de 130° horizontal y 130° vertical, grabando a 60 FPS con una resolución de 2160×2160 por cámara. Incluye una IMU de 200Hz para mejorar la estimación de la pose de la cámara.
• Pipeline de Anotación Automatizado: Implementaron un sistema para generar anotaciones multimodales de alta precisión sin intervención manual constante:
  • Seguimiento de movimiento (Motion Tracking): Utiliza un método de dos etapas basado en HaMeR para estimar parámetros de manos (MANO) y ORB-SLAM3 para la estimación de la trayectoria de la cámara mediante la fusión de imágenes estéreo e IMU.
  • Comprensión Semántica: Emplea modelos de segmentación (SAM2) y un modelo de lenguaje visual (Qwen3-VL-32B) para generar descripciones textuales detalladas de las sub-tareas, identificando manos, objetos y acciones.
  • Reconstrucción 3D: Utiliza visión estéreo optimizada para la reconstrucción de manos en 3D y el modelo FoundationStereo para la estimación de mapas de profundidad de alta resolución.
• Diversidad de Escenarios: Los datos se recolectaron en entornos reales no restringidos, incluyendo servicios domésticos, comercio minorista (retail) y farmacias.

3. Contribuciones Clave (Key Contributions)

• Escala y Apertura: Es el dataset egocéntrico anotado de código abierto más grande hasta la fecha enfocado en rutinas humanas orientadas a tareas reales.
• Calidad de Datos Superior: Ofrece una resolución temporal (60 FPS) y espacial (2160p) líder, junto con anotaciones multimodales completas (6-DoF, segmentación semántica y reconstrucción 3D).
• Validez Ecológica: A diferencia de otros datasets de laboratorio, EgoLive captura la complejidad del mundo real en escenarios de trabajo profesional y servicios.
• Dataset Statistics: Comprende 1,680 horas de video de alta fidelidad, con 65,866 episodios que cubren 346 tareas diferentes.

4. Resultados (Results)

El estudio valida la eficacia de su sistema mediante varias métricas:

• Reconstrucción de Manos: Las comparaciones cualitativas muestran que las anotaciones de EgoLive alinean los puntos clave (keypoints) de forma mucho más precisa que datasets previos como EgoDex, evitando errores de localización y deriva (drift).
• Precisión de Profundidad: Las pruebas cuantitativas con tableros de calibración demostraron que el modelo de reconstrucción de profundidad logra errores medios muy bajos (milimétricos) en el rango de operación humana típico (menos de 0.9m).
• Calidad de las Instrucciones: Evaluado mediante "LLM-as-a-Judge", el sistema de generación de subtítulos demostró una alta consistencia en la identificación de manos, objetos y acciones, proporcionando descripciones estructuradas útiles para el aprendizaje de lenguaje-acción (VLA).
• Diversidad Semántica: Los análisis de t-SNE y de distribución de etiquetas muestran que EgoLive posee una cobertura semántica mucho más amplia y una distribución de "cola larga" (long-tail) más natural que los datasets existentes.

5. Significancia (Significance)

EgoLive tiene el potencial de acelerar la investigación en sistemas robóticos generalizables. Al proporcionar un puente de datos entre el comportamiento humano natural y la ejecución robótica, facilita el desarrollo de modelos de manipulación de alta precisión, la transferencia de habilidades de humano a robot (human-to-robot transfer) y el control de robots humanoides en entornos de servicio reales y complejos.