Ego-OSCAR: Egocentric Open source Stereo CAptuRe System

Résumé Technique : Ego-OSCAR

Énoncé du Problème
Le développement de modèles de Vision-Langage-Action (VLA) et de modèles de monde est de plus en plus limité par la rareté de jeux de données multimodaux, diversifiés et à grande échelle, capables de capturer des interactions en conditions réelles. La téléopération offre des données de haute fidélité, mais ne permet pas de passer à l'échelle. La simulation souffre du fossé sim-to-real (simulation-vers-réel), et les fermes de robots autonomes sont limitées par des contraintes de sécurité. La collecte de données égocentrées (à la première personne) offre une alternative évolutive, pourtant les solutions existantes présentent un compromis : les jeux de données grand public (ex. : Ego4D) reposent sur des caméras monoculaires à obturateur progressif (rolling-shutter) sans flux inertiels synchronisés matériellement, tandis que les plateformes de recherche haute fidélité (ex. : Project Aria) sont des systèmes fermés, coûteux et ne peuvent être librement distribués ou reproduits par la communauté élargie. Par conséquent, il n'existe aucun dispositif monté sur la tête, ouvert et à bas coût, capable de capturer des données stéréo-inertielles synchronisées à grande échelle.

Méthodologie
Ego-OSCAR répond à cette lacune par un système de capture en matériel ouvert, à bas coût, et une pile logicielle conçue pour un déploiement distribué.

• Conception Matérielle : Le dispositif est une unité montée sur la tête (environ 280 g) entièrement construite à partir de composants du commerce (COTS) et de pièces imprimées en 3D, avec une nomenclature (BoM) inférieure à 200 USD.

  • Capteurs : Il utilise un module de caméra stéréo USB Dexcin doté de deux capteurs à obturateur global (global-shutter) Omnivision, synchronisés matériellement via un ASIC unique. Cela garantit une synchronisation de l'ordre de la microseconde et élimine les artefacts d'obturateur progressif lors de mouvements de tête rapides. Le système inclut un IMU à 6 axes (ICM-20948) échantillonné à 120 Hz.
  • Calcul et Contrôle : Un Radxa Rock 5C (SoC Rockchip RK3588) gère l'encodage vidéo accéléré par matériel (MJPEG vers H.264) et le stockage. Un microcontrôleur Seeed Studio Xiao ESP32-S3 gère le retour utilisateur (état de la LED RGB), les fonctions de surveillance (watchdog) pour détecter les blocages du système, et, de manière cruciale, la synchronisation temporelle.
  • Mécanisme de Synchronisation : Pour faire le pont entre les horloges indépendantes de la caméra et de l'IMU, l'ESP32 capture le signal de début d'exposition (Start-of-Exposure, SoE) de la caméra via une interruption. Il enregistre les horodatages monotones pour chaque exposition de trame et les fusionne avec les données de l'IMU. Un processus d'alignement hors ligne utilise une ancre visuelle (une LED bleue clignotant au 60e intervalle) pour aligner de manière déterministe le flux IMU avec les indices de trame vidéo, atteignant un retard résiduel de 700 µs.
  • Robustesse : Le système inclut un watchdog qui détecte les blocages de l'ordinateur monocarte (SBC) via un battement de cœur (heartbeat) de 1 Hz et déclenche un état d'erreur, évitant ainsi toute perte de données silencieuse.

• Pipeline Logiciel : La pile open-source comprend un démon d'enregistrement accéléré par matériel, un service d'échantillonnage IMU, des outils de synchronisation temporelle et un firmware de surveillance. Les données sont segmentées en clips de 5 minutes pour limiter les pertes lors des pannes d'alimentation et sont téléchargées avec une vérification d'intégrité.

• Collecte de Données : Les auteurs ont déployé le système à travers un réseau distribué de 25 contributeurs en Inde sur six mois, collectant 1 462 sessions totalisant environ 550 heures de vidéo stéréo par caméra (1 100 heures-caméra). Les données couvrent divers environnements intérieurs, avec un accent sur les activités de cuisine, incluant également la couture et la confection.

Contributions Clés

1. Dispositif en Matériel Ouvert : Un montage de capture stéréo-inertiel monté sur la tête, entièrement documenté, reproductible, avec fichiers CAO, schémas de câblage et instructions d'assemblage.
2. Pile Logicielle Open-Source : Un pipeline complet pour l'enregistrement, la synchronisation et la gestion des données, permettant à la communauté de répliquer le processus de capture.
3. Jeu de Données Ego-OSCAR-550h : Un jeu de données curaté d'environ 550 heures de vidéo stéréoscopique égocentrée avec données IMU synchronisées. Contrairement aux flux de capteurs bruts, cette version inclut :
   • Légendes d'actions libres : ~209 315 segments couvrant l'ensemble de la chronologie avec un vocabulaire ouvert.
   • Reconstructions 3D des mains : Poses de mains 3D par trame générées par WiLoR.
   • Calibration par session : Fichiers de calibration individuels pour chaque session plutôt que des intrinsèques nominales d'usine.

Résultats et Évaluation
L'article évalue le système selon trois niveaux :

• Fidélité des Capteurs : La calibration par session produit des erreurs de reprojection inférieures à 0,03 pixel. L'obturateur global synchronisé matériellement et l'IMU permettent une odométrie visuelle-inertielle (VINS-Fusion) réussie dans 12 des 20 séquences courtes testées, avec un retard visuel-inertiel résiduel de 700 µs. Le bruit de fond de l'IMU est caractérisé comme étant de qualité grand public, adapté à l'alignement de la gravité et à la classification de mouvement, mais non à l'intégration inertielle sur de longs horizons sans remplacement par des composants de plus haute gamme.
• Utilité des Données : L'estimation de la profondeur stéréo (SGBM, RAFT-Stereo) réussit sur l'ensemble du champ de vision de 126°. Les taux de détection des mains atteignent 94 %, indiquant que la géométrie du montage sur la tête maintient efficacement les mains dans le champ de vision pour la majorité des interactions.
• Échelle de Déploiement : Le système a atteint un taux de session utilisable de 96 % sur 1 462 sessions. Les modes de défaillance (arrêt thermique, erreurs d'E/S de la carte SD, tension des câbles) ont été identifiés et atténués grâce à des révisions matérielles (dissipateurs thermiques, renforcement mécanique) et une validation logicielle.

Signification et Revendications
L'article positionne Ego-OSCAR non pas comme un remplacement des systèmes de recherche de pointe comme Project Aria en termes de fidélité par unité, mais comme le « substrat le moins cher et défendable pour la capture égocentrée participative ». Sa principale signification réside dans l'abaissement de l'énergie d'activation nécessaire pour que des équipes collectent des données égocentrées à grande échelle. En fournissant une plateforme entièrement ouverte, reproductible et abordable, Ego-OSCAR vise à démocratiser la collecte de données stéréo-inertielles de haute qualité et synchronisées, complétant les jeux de données monoculaires ou les plateformes fermées existantes. Les auteurs déclarent explicitement que la démonstration des gains de politique de bout en bout à partir de ces données constitue un travail futur ; la contribution actuelle est l'infrastructure et le jeu de données nécessaires pour permettre de telles recherches.