Ego-OSCAR: Egocentric Open source Stereo CAptuRe System

Sintesi Tecnica: Ego-OSCAR

Definizione del Problema
Lo sviluppo di modelli Vision-Language-Action (VLA) e di modelli del mondo è sempre più limitato dalla scarsità di dataset multimodali, diversificati e su larga scala, capaci di catturare interazioni nel mondo reale. Sebbene la teleoperazione offra dati ad alta fedeltà, non è scalabile. La simulazione soffre del divario sim-to-real, e le fattorie robotiche autonome sono limitate da vincoli di sicurezza. La raccolta di dati egocentrici (in prima persona) offre un'alternativa scalabile, tuttavia le soluzioni esistenti presentano un compromesso: i dataset consumer (es. Ego4D) si affidano a telecamere monoculari con rolling-shutter senza flussi inerziali sincronizzati via hardware, mentre le piattaforme di ricerca ad alta fedeltà (es. Project Aria) sono a codice chiuso, costose e non possono essere distribuite liberamente o riprodotte dalla comunità più ampia. Di conseguenza, non esiste un dispositivo montato sulla testa, aperto e a basso costo, capace di catturare dati stereo-inertiali sincronizzati su larga scala.

Metodologia
Ego-OSCAR affronta questa lacuna attraverso un sistema di cattura open-hardware, a basso costo, e un corrispondente stack software progettato per una distribuzione distribuita.

• Design dell'Hardware: Il dispositivo è un'unità montata sulla testa (circa 280g) costruita interamente con componenti commerciali (COTS) e parti stampate in 3D, con un elenco dei materiali (BoM) inferiore a 200 USD.

  • Sensori: Utilizza un modulo telecamera stereo Dexcin USB con due sensori Omnivision a otturatore globale (global-shutter) sincronizzati via hardware tramite un singolo ASIC. Ciò garantisce una sincronizzazione a livello di microsecondi ed elimina gli artefatti da rolling-shutter durante i rapidi movimenti della testa. Il sistema include un IMU a 6 assi (ICM-20948) campionato a 120 Hz.
  • Calcolo e Controllo: Un Radxa Rock 5C (SoC Rockchip RK3588) gestisce la codifica video accelerata via hardware (da MJPEG a H.264) e l'archiviazione. Un microcontrollore Seeed Studio Xiao ESP32-S3 gestisce il feedback dell'utente (stato LED RGB), le funzioni di watchdog (rilevamento di blocchi di sistema) e, crucialmente, la sincronizzazione temporale.
  • Meccanismo di Sincronizzazione: Per colmare il divario tra gli orologi indipendenti della telecamera e dell'IMU, l'ESP32 cattura il segnale di Start-of-Exposure (SoE) della telecamera tramite un interrupt. Registra timestamp monotoni per ogni esposizione di fotogramma e li unisce ai dati IMU. Un processo di allineamento offline utilizza un ancoraggio visivo (un LED blu che lampeggia al 60° interrupt) per allineare deterministicamente lo stream IMU con gli indici dei fotogrammi video, ottenendo un ritardo residuo di 700 µs.
  • Robustezza: Il sistema include un watchdog che rileva i blocchi della SBC (tramite un heartbeat a 1 Hz) e attiva uno stato di errore, prevenendo la perdita silenziosa di dati.

• Pipeline Software: Lo stack open-source include un daemon di registrazione accelerato via hardware, un servizio di campionamento IMU, strumenti di sincronizzazione temporale e un firmware watchdog. I dati vengono segmentati in clip di 5 minuti per limitare le perdite in caso di interruzioni di alimentazione e vengono caricati con verifica dell'integrità.

• Raccolta del Dataset: Gli autori hanno distribuito il sistema attraverso una rete distribuita di 25 contributori in India nell'arco di sei mesi, raccogliendo 1.462 sessioni per un totale di circa 550 ore di video stereo per telecamera (1.100 ore-telecamera). I dati coprono diversi ambienti interni, con un focus sulle attività in cucina, ma includono anche cucito e sartoria.

Contributi Chiave

1. Dispositivo Open-Hardware: Un rig di cattura stereo-inertiale montato sulla testa, completamente documentato e riproducibile, con file CAD, diagrammi di cablaggio e istruzioni di assemblaggio.
2. Stack Software Open-Source: Una pipeline completa per la registrazione, la sincronizzazione e la gestione dei dati, che consente alla comunità di replicare il processo di cattura.
3. Dataset Ego-OSCAR-550h: Un dataset curato di circa 550 ore di video egocentrici stereo con dati IMU sincronizzati. A differenza dei flussi di sensori grezzi, questo rilascio include:
   • Didascalie d'azione a linguaggio libero: Circa 209.315 segmenti che coprono l'intera timeline con un vocabolario aperto.
   • Ricostruzioni 3D delle mani: Pose delle mani 3D per fotogramma generate da WiLoR.
   • Calibrazione per sessione: File di calibrazione individuali per ogni sessione anziché intrinseci nominali di fabbrica.

Risultati e Valutazione
Il paper valuta il sistema su tre livelli:

• Fedeltà del Sensore: La calibrazione per sessione produce errori di riproiezione inferiori a 0,03 pixel. L'otturatore globale hardware-sincronizzato e l'IMU permettono una visual-inertial odometry (VINS-Fusion) efficace in 12/20 sequenze brevi tenute in prova, con un ritardo visivo-inertiale residuo di 700 µs. Il rumore di fondo dell'IMU è caratterizzato come di classe consumer, adatto per l'allineamento della gravità e la classificazione del movimento, ma non per l'integrazione inerziale a lungo termine senza l'uso di componenti di grado superiore.
• Utilità dei Dati: La stima della profondità stereo (SGBM, RAFT-Stereo) ha successo in tutto il campo visivo di 126°. I tassi di rilevamento delle mani raggiungono il 94%, indicando che la geometria montata sulla testa mantiene efficacemente le mani nel campo visivo per la maggior parte delle interazioni.
• Scala di Distribuzione: Il sistema ha raggiunto un tasso di sessioni utilizzabili del 96% su 1.462 sessioni. I modi di guasto (spegnimento termico, errori di I/O della scheda SD, tensione dei cavi) sono stati identificati e mitigati attraverso revisioni hardware (dissipatori, rinforzo meccanico) e validazione software.

Significato e Rivendicazioni
Il paper posiziona Ego-OSCAR non come un sostituto dei sistemi di grado di ricerca come Project Aria in termini di fedeltà per unità, ma come il "substrato più economico e difendibile per la cattura egocentrica crowdsourced". Il suo significato primario risiede nell'abbassare l'energia di attivazione per i team che desiderano raccogliere dati egocentrici su larga scala. Fornendo una piattaforma completamente aperta, riproducibile ed economica, Ego-OSCAR mira a democratizzare la raccolta di dati stereo-inertiali di alta qualità e sincronizzati. Gli autori dichiarano esplicitamente che dimostrare i guadagni di policy end-to-end da questi dati è un lavoro futuro; il contributo attuale è l'infrastruttura e il dataset necessari per abilitare tale ricerca.