Ego-OSCAR: Egocentric Open source Stereo CAptuRe System

Resumen Técnico: Ego-OSCAR

Declaración del Problema
El desarrollo de modelos de Visión-Lenguaje-Acción (VLA) y modelos de mundo se ve cada vez más obstaculizado por la escasez de conjuntos de datos multimodales diversos y a gran escala que capturen interacciones del mundo real. La teleoperación ofrece datos de alta fidelidad, pero no escala. La simulación sufre el problema de la brecha entre simulación y realidad (sim-to-real gap), y las granjas de robots autónomos están limitadas por restricciones de seguridad. La recolección de datos egocéntricos (en primera persona) ofrece una alternativa escalable, pero las soluciones existentes presentan un compromiso: los conjuntos de datos de consumo (por ejemplo, Ego4D) dependen de cámaras monoculares de obturación de obturación de rollo (rolling-shutter) sin flujos inerciales sincronizados por hardware, mientras que las plataformas de investigación de alta fidelidad (por ejemplo, Project Aria) son de código cerrado, costosas y no pueden ser distribuidas libremente ni reproducidas por la comunidad en general. En consecuencia, no existe un dispositivo montado en la cabeza, abierto y de bajo costo, capaz de capturar datos estéreo-inerciales sincronizados a escala.

Metodología
Eero-OSCAR aborda esta brecha mediante un sistema de captura de hardware abierto y de bajo costo y un stack de software correspondiente diseñado para el despliegue distribuido.

• Diseño de Hardware: El dispositivo es una unidad montada en la cabeza (aprox. 280g) construida enteramente con componentes comerciales (COTS) y piezas impresas en 3D, con una lista de materiales (BoM) inferior a 200 USD.

  • Sensores: Utiliza un módulo de cámara estéreo USB Dexcin con dos sensores de obturación global (global-shutter) de Omnivision sincronizados por hardware mediante un único ASIC. Esto garantiza una sincronización de microsegundos y elimina los artefactos de obturación de rollo durante movimientos rápidos de la cabeza. El sistema incluye una IMU de 6 ejes (ICM-20948) muestreada a 120 Hz.
  • Computación y Control: Un Radxa Rock 5C (SoC Rockchip RK3588) gestiona la codificación de video acelerada por hardware (MJPEG a H.264) y el almacenamiento. Un microcontrolador Seeed Studio Xiao ESP32-S3 gestiona la retroalimentación del usuario (estado del LED RGB), las funciones de watchdog (detección de bloqueos del sistema) y, crucialmente, la sincronización temporal.
  • Mecanismo de Sincronización: Para cerrar la brecha entre los relojes independientes de la cámara y la IMU, el ESP32 captura la señal de Inicio de Exposición (Start-of-Exposure, SoE) de la cámara mediante una interrupción. Registra marcas de tiempo monotónicas para cada exposición de fotograma y las combina con los datos de la IMU. Un proceso de alineación fuera de línea utiliza un ancla visual (un LED azul que parpadea en la interrupción número 60) para alinear determinísticamente el flujo de la IMU con los índices de los fotogramas de video, logrando un retraso residual de 700 µs.
  • Robustez: El sistema incluye un watchdog que detecta bloqueos de la SBC (mediante un latido o heartbeat de 1 Hz) y activa un estado de error, evitando la pérdida silenciosa de datos.

• Pipeline de Software: El stack de código abierto incluye un demonio de grabación acelerado por hardware, un servicio de muestreo de IMU, herramientas de sincronización temporal y un firmware de watchdog. Los datos se segmentan en clips de 5 minutos para limitar la pérdida durante fallos de energía y se cargan con verificación de integridad.

• Recolección de Datos: Los autores desplegaron el sistema a través de una red distribuida de 25 colaboradores en la India durante seis meses, recolectando 1,462 sesiones que totalizan aproximadamente 550 horas de video estéreo por cámara (1,100 cámara-horas). Los datos cubren diversos entornos interiores, con un enfoque en actividades de cocina, pero incluyendo costura y sastrería.

Contribuciones Clave

1. Dispositivo de Hardware Abierto: Un equipo de captura estéreo-inercial montado en la cabeza, totalmente documentado, reproducible y con archivos CAD, diagramas de cableado e instrucciones de ensamblaje.
2. Stack de Software de Código Abierto: Un pipeline completo para la grabación, sincronización y gestión de datos, permitiendo a la comunidad replicar el proceso de captura.
3. Dataset Ego-OSCAR-550h: Un conjunto de datos curado de ~550 horas de video estéreo egocéntrico con datos de IMU sincronizados. A diferencia de los flujos de sensores brutos, este lanzamiento incluye:
   • Subtítulos de acción de forma libre: ~209,315 segmentos que cubren toda la línea de tiempo con un vocabulario abierto.
   • Reconstrucciones 3D de manos: Poses de mano 3D por fotograma generadas por WiLoR.
   • Calibración por sesión: Archivos de calibración individuales para cada sesión en lugar de intrínsecos nominales de fábrica.

Resultados y Evaluación
El artículo evalúa el sistema en tres niveles:

• Fidelidad del Sensor: La calibración por sesión produce errores de reproyección inferiores a 0.03 píxeles. La obturación global sincronizada por hardware y la IMU permiten una odometría visual-inercial (VINS-Fusion) exitosa en 12/20 secuencias cortas retenidas, con un retraso visual-inercial residual de 700 µs. El ruido de la IMU se caracteriza como de grado de consumo, adecuado para la alineación de gravedad y clasificación de movimiento, pero no para la integración inercial de largo horizonte sin cambios a componentes de mayor grado.
• Utilidad de los Datos: La estimación de profundidad estéreo (SGBM, RAFT-Stereo) tiene éxito en todo el campo de visión de 126°. Las tasas de detección de manos alcanzan el 94%, lo que indica que la geometría montada en la cabeza mantiene eficazmente las manos en el campo de visión durante la mayoría de las interacciones.
• Escala de Despliegue: El sistema alcanzó una tasa de sesión utilizable del 96% en 1,462 sesiones. Los modos de fallo (apagado térmico, errores de E/S de la tarjeta SD, tensión de cables) fueron identificados y mitigados mediante revisiones de hardware (disipadores de calor, refuerzo mecánico) y validación de software.

Significancia y Reivindicaciones
El artículo posiciona a Ego-OSCAR no como un reemplazo para sistemas de grado de investigación como Project Aria en términos de fidelidad por unidad, sino como el "sustrato de bajo costo más defendible para la captura egocéntrica colaborativa (crowdsourced)". Su principal significancia radica en reducir la energía de activación para que los equipos recolecten datos egocéntricos a escala. Al proporcionar una plataforma totalmente abierta, reproducible y asequible, Ego-OSCAR pretende democratizar la recolección de datos estéreo-inerciales de alta calidad y sincronizados. Los autores declaran explícitamente que demostrar las ganancias de política de extremo a extremo a partir de estos datos es un trabajo futuro; la contribución actual es la infraestructura y el conjunto de datos necesarios para permitir dicha investigación.