Ego-OSCAR: Egocentric Open source Stereo CAptuRe System

Technische Samenvatting: Ego-OSCAR

Probleemstelling
De ontwikkeling van Vision-Language-Action (VLA) modellen en wereldmodellen wordt steeds meer beperkt door de schaarste aan diverse, grootschalige, multimodale datasets die real-world interacties vastleggen. Teleoperatie biedt hoogwaardige data, maar schaalt niet. Simulatie lijdt onder de sim-to-real kloof, en autonome robotfarms worden beperkt door veiligheidsrestricties. Egocentrische (first-person) dataverzameling biedt een schaalbaar alternatief, maar bestaande oplossingen presenteren een afruil: consumenten-datasets (bijv. Ego4D) vertrouwen op monoculaire camera's met een rolling-shutter zonder hardware-gesynchroniseerde inertiële stromen, terwijl high-fidelity onderzoeksplatforms (bijv. Project Aria) closed-source, duur zijn en niet vrij kunnen worden gedistribueerd of gereproduceerd door de bredere gemeenschap. Bijgevolg is er geen open, goedkoop, hoofdgedragen apparaat in staat om gesynchroniseerde stereo-inertiële data op grote schaal vast te leggen.

Methodologie
Ego-OSCAR adresseert deze kloof via een open-hardware, goedkope capture-opstelling en een bijbehorende softwarestack die ontworpen is voor gedistribueerde inzet.

• Hardwareontwerp: Het apparaat is een hoofdgedragen unit (ca. 280g) volledig gebouwd uit commercieel beschikbare componenten (COTS) en 3D-geprinte onderdelen, met een Bill of Materials (BoM) van minder dan USD 200.

  • Sensoren: Het maakt gebruik van een Dexcin USB stereo camera-module met twee Omnivision global-shutter sensoren die via een enkele ASIC hardwarematig gesynchroniseerd zijn. Dit garandeert microseconde-niveau synchronisatie en elimineert rolling-shutter artefacten tijdens snelle hoofdbewegingen. Het systeem bevat een 6-assige IMU (ICM-20948) die wordt gesampled op 120 Hz.
  • Compute & Controle: Een Radxa Rock 5C (Rockchip RK3588 SoC) handelt hardware-versnelde video-encoding (MJPEG naar H.264) en opslag af. Een Seeed Studio Xiao ESP32-S3 microcontroller beheert gebruikersfeedback (RGB LED-status), watchdog-functies (detectie van systeemhangers) en, cruciaal, tijdsynchronisatie.
  • Synchronisatiemechanisme: Om de onafhankelijke klokken van de camera en de IMU te overbruggen, legt de ESP32 het Start-of-Exposure (SoE) signaal van de camera vast via een interrupt. Het registreert monotone timestamps voor elke frame-exposure en voegt deze samen met de IMU-data. Een offline uitlijningsproces gebruikt een visuele anker (een blauwe LED die flitst op de 60ste interrupt) om de IMU-stroom deterministisch uit te lijnen met video frame-indices, wat een residuele lag van 700 µs oplevert.
  • Robuustheid: Het systeem bevat een watchdog die SBC-hangers detecteert (via een 1 Hz hartslag) en een fouttoestand triggert, waardoor stille dataverlies wordt voorkomen.

• Software Pipeline: De open-source stack omvat een hardware-versnelde opname-daemon, een IMU-sampling service, tijd-synchronisatie tooling en een watchdog firmware. Data wordt gesegmenteerd in clips van 5 minuten om verlies tijdens stroomuitval te beperken en wordt geüpload met integriteitsverificatie.

• Dataset Collectie: De auteurs hebben het systeem ingezet via een gedistribueerd netwerk van 25 bijdragers in India over een periode van zes maanden, waarbij 1.462 sessies werden verzameld met een totaal van ongeveer 550 uur stereo video per camera (1.100 camera-uren). De data beslaat diverse binnenomgevingen, met een focus op keukenactiviteiten maar inclusief naai- en kleermakerswerk.

Kernbijdragen

1. Open-Hardware Apparaat: Een volledig gedocumenteerde, reproduceerbare hoofdgedragen stereo-inertiële capture rig met CAD-bestanden, bedradingsschema's en assemblage-instructies.
2. Open-Source Software Stack: Een volledige pipeline voor opname, synchronisatie en databeheer, waardoor de gemeenschap het capture-proces kan repliceren.
3. Ego-OSCAR-550h Dataset: Een gecureerde dataset van ~550 uur egocentrische stereo video met gesynchroniseerde IMU-data. In tegenstelling tot ruwe sensorstromen bevat deze release:
   • Free-form actie-captions: ~209.315 segmenten die de gehele tijdlijn dekken met een open vocabulaire.
   • 3D Hand Reconstructies: Per-frame 3D handposities gegenereerd door WiLoR.
   • Per-sessie Kalibratie: Individuele kalibratiebestanden voor elke sessie in plaats van nominale fabrieksintrinsieken.

Resultaten en Evaluatie
Het paper evalueert het systeem over drie niveaus:

• Sensorgetrouwheid: Per-sessie kalibratie levert reprojectiefouten op onder de 0,03 pixels. De hardware-gesynchroniseerde global shutter en IMU maken succesvolle visual-inertial odometry (VINS-Fusion) mogelijk in 12/20 uit de test gehouden korte sequenties, met een residuele visuele-inertiële lag van 700 µs. De IMU-ruisvloer wordt gekarakteriseerd als consumer-grade, geschikt voor zwaartekrachtuitlijning en bewegingsclassificatie, maar niet voor langdurige inertiële integratie zonder hoogwaardigere vervangingen.
• Data Utiliteit: Stereo diepte-estimatie (SGBM, RAFT-Stereo) slaagt over de volledige 126° gezichtsveld. Handdetectie-percentages bereiken 94%, wat aangeeft dat de hoofdgedragen geometrie de handen gedurende de meeste interacties effectief binnen het gezichtsveld houdt.
• Deployment Schaal: Het systeem behaalde een bruikbare sessie-ratio van 96% over 1.462 sessies. Foutmodi (thermische shutdown, SD-kaart I/O-fouten, kabelspanning) werden geïdentificeerd en gemitigeerd door hardware-revisies (koelblokken, mechanische versterking) en software-validatie.

Betekenis en Claims
Het paper positioneert Ego-OSCAR niet als een vervanging voor research-grade systemen zoals Project Aria wat betreft per-unit getrouwheid, maar als de "goedkoopste verdedigbare substantie voor crowdsourced egocentrische capture." De primaire betekenis ligt in het verlagen van de activatie-energie voor teams om op grote schaal egocentrische data te verzamelen. Door een volledig open, reproduceerbaar en betaalbaar platform te bieden, beoogt Ego-OSCAR de collectie van hoogwaardige, gesynchroniseerde stereo-inertiële data te democratiseren, als aanvulling op bestaande monoculaire of closed-platform datasets. De auteurs stellen expliciet dat het demonstreren van end-to-end policy winsten vanuit deze data toekomstig werk is; de huidige bijdrage is de infrastructuur en dataset die nodig zijn om dergelijk onderzoek mogelijk te maken.