Ego-OSCAR: Egocentric Open source Stereo CAptuRe System

Technisches Resümee: Ego-OSCAR

Problemstellung
Die Entwicklung von Vision-Language-Action (VLA)-Modellen und Weltmodellen wird zunehmend durch den Mangel an vielfältigen, groß angelegten, multimodalen Datensätzen gebremst, die reale Interaktionen erfassen. Teleoperation bietet zwar hochpräzise Daten, skaliert jedoch nicht. Die Simulation leidet unter dem Sim-to-Real-Gap, und autonome Roboterfarmen sind durch Sicherheitsbeschränkungen begrenzt. Egozentrische (First-Person) Datenerfassung bietet eine skalierbare Alternative, doch bestehende Lösungen weisen einen Zielkonflikt auf: Consumer-Datensätze (z. B. Ego4D) verlassen sich auf monokulare Rolling-Shutter-Kameras ohne hardware-synchronisierte Inertialströme, während High-Fidelity-Forschungsplattformen (z. B. Project Aria) quelloffen, teuer und nicht frei für die breitere Community vertreibbar oder reproduzierbar sind. Infolgedessen gibt es kein offenes, kostengünstiges, am Kopf montiertes Gerät, das in der Lage ist, synchronisierte Stereo-Inertial-Daten in großem Maßstab zu erfassen.

Methodik
Ego-OSCAR adressiert diese Lücke durch ein Open-Hardware-System mit geringen Kosten und einem entsprechenden Software-Stack, der für den dezentralen Einsatz konzipiert ist.

• Hardware-Design: Das Gerät ist eine am Kopf montierte Einheit (ca. 280 g), die vollständig aus kommerziell erhältlichen Komponenten (COTS) und 3D-gedruckten Teilen besteht, mit einer Stückliste (Bill of Materials, BoM) von unter 200 USD.

  • Sensoren: Es nutzt ein Dexcin USB-Stereokamera-Modul mit zwei Omnivision Global-Shutter-Sensoren, die über einen einzelnen ASIC hardware-synchronisiert sind. Dies gewährleistet eine Synchronisation im Mikrosekundenbereich und eliminiert Rolling-Shutter-Artefakte bei schnellen Kopfbewegungen. Das System enthält eine 6-Achsen-IMU (ICM-20948), die mit 120 Hz abgetastet wird.
  • Rechenleistung & Steuerung: Ein Radxa Rock 5C (Rockchip RK3588 SoC) übernimmt die hardwarebeschleunigte Videokodierung (MJPEG zu H.264) und Speicherung. Ein Seeed Studio Xiao ESP32-S3 Mikrocontroller verwaltet das Benutzerfeedback (RGB-LED-Status), Watchdog-Funktionen (Erkennung von Systemhängern) und entscheidend die Zeitsynchronisation.
  • Synchronisationsmechanismus: Um die unabhängigen Uhren der Kamera und der IMU zu überbrücken, erfasst der ESP32 das Start-of-Exposure (SoE)-Signal der Kamera über einen Interrupt. Er zeichnet die monotonen Zeitstempel für jede Frame-Exposition auf und führt sie mit den IMU-Daten zusammen. Ein Offline-Ausrichtungsprozess nutzt einen visuellen Anker (eine blaue LED, die beim 60. Interrupt blinkt), um den IMU-Stream deterministisch mit den Videoframes zu synchronisieren, wodurch eine Restlatenz von 700 µs erreicht wird.
  • Robustheit: Das System enthält einen Watchdog, der SBC-Hänger (über einen 1-Hz-Heartbeat) erkennt und einen Fehlerzustand auslöst, um schleichenden Datenverlust zu verhindern.

• Software-Pipeline: Der Open-Source-Stack umfasst einen hardwarebeschleunigten Recording-Daemon, einen IMU-Sampling-Service, Werkzeuge zur Zeitsynchronisation und eine Watchdog-Firmware. Die Daten werden in 5-Minuten-Clips segmentiert, um Verluste bei Stromausfällen zu begrenzen, und werden mit Integritätsprüfung hochgeladen.

• Datensammlung: Die Autoren setzten das System in einem dezentralen Netzwerk von 25 Mitwirkenden in Indien über sechs Monate hinweg ein und sammelten 1.462 Sitzungen mit insgesamt etwa 550 Stunden Stereo-Video pro Kamera (1.100 Kamera-Stunden). Die Daten decken diverse Innenräume ab, mit einem Fokus auf Küchenaktivitäten, beinhalten aber auch Nähen und Schneiderarbeiten.

Kernbeiträge

1. Open-Hardware-Gerät: Eine vollständig dokumentierte, reproduzierbare, am Kopf montierte Stereo-Inertial-Erfassungsvorrichtung mit CAD-Dateien, Schaltplänen und Montageanleitungen.
2. Open-Source-Software-Stack: Eine vollständige Pipeline für Aufnahme, Synchronisation und Datenmanagement, die es der Community ermöglicht, den Erfassungsprozess zu replizieren.
3. Ego-OSCAR-550h Datensatz: Ein kuratierter Datensatz von ca. 550 Stunden egozentrischem Stereo-Video mit synchronisierten IMU-Daten. Im Gegensatz zu rohen Sensorströmen enthält diese Veröffentlichung:
   • Freiform-Aktionsbeschreibungen: ca. 209.315 Segmente über die gesamte Zeitlinie mit offenem Vokabular.
   • 3D-Handrekonstruktionen: Pro-Frame 3D-Handposen, generiert durch WiLoR.
   • Pro-Sitzung-Kalibrierung: Individuelle Kalibrierungsdateien für jede Sitzung anstelle von nominalen Fabrik-Intrinsics.

Ergebnisse und Evaluierung
Das Paper evaluiert das System über drei Ebenen:

• Sensorfidelität: Die Pro-Sitzung-Kalibrierung liefert Reprojektionsfehler von unter 0,03 Pixeln. Die hardware-synchronisierte Global-Shutter-Technologie und die IMU ermöglichen eine erfolgreiche visuelle-inertiale Odometrie (VINS-Fusion) in 12/20 gehaltenen kurzen Sequenzen, mit einer verbleibenden visuell-inertialen Latenz von 700 µs. Das IMU-Rauschmaß wird als Consumer-Grade eingestuft, geeignet für die Gravitationsausrichtung und Bewegungsklassifizierung, aber nicht für die langfristige inertiale Integration ohne hochwertigere Upgrades.
• Datennutzbarkeit: Die Stereo-Tiefenschätzung (SGBM, RAFT-Stereo) gelingt über das gesamte 126°-Sichtfeld. Die Handerkennungsraten erreichen 94 %, was zeigt, dass die am Kopf montierte Geometrie die Hände für den Großteil der Interaktionen effektiv im Sichtfeld hält.
• Deployment-Skalierbarkeit: Das System erreichte eine nutzbare Sitzungsrate von 96 % über 1.462 Sitzungen. Ausfallmodi (thermische Abschaltung, SD-Karten-I/O-Fehler, Kabelzugbelastung) wurden identifiziert und durch Hardware-Revisionen (Kühlkörper, mechanische Verstärkung) sowie Software-Validierung behoben.

Bedeutung und Ansprüche
Das Paper positioniert Ego-OSCAR nicht als Ersatz für Forschungs-Systeme wie Project Aria in Bezug auf die Fidelität pro Einheit, sondern als das „günstigste verteidigbare Substrat für das Crowdsourcing von egozentrischer Erfassung“. Die primäre Bedeutung liegt darin, die Aktivierungsenergie für Teams zu senken, um egozentrische Daten in großem Maßstab zu sammeln. Durch Bereitstellung einer vollständig offenen, reproduzierbaren und erschwinglichen Plattform zielt Ego-OSCAR darauf ab, die Sammlung hochwertiger, synchronisierter Stereo-Inertial-Daten zu demokratisieren und bestehende monokulare oder geschlossene Plattform-Datensätze zu ergänzen. Die Autoren stellen explizit fest, dass der Nachweis von End-to-End-Policy-Gewinnen durch diese Daten zukünftige Arbeit ist; der aktuelle Beitrag ist die Infrastruktur und der Datensatz, die erforderlich sind, um solche Forschung zu ermöglichen.