Ego-OSCAR: Egocentric Open source Stereo CAptuRe System

기술 요약: Ego-OSCAR

문제 정의
시각-언어-행동(VLA) 모델 및 월드 모델의 개발은 실제 세계의 상호작용을 포착하는 다양하고 대규모인 멀티모달 데이터셋의 부족으로 인해 점점 더 병목 현상을 겪고 있습니다. 텔레오퍼레이션(원격 제어)은 고충실도 데이터를 제공하지만 확장성이 부족합니다. 시뮬레이션은 심투리얼(sim-to-real) 간극 문제로 어려움을 겪으며, 자율 로봇 농장은 안전 제약 조건에 의해 제한됩니다. 1인칭(egocentric) 데이터 수집은 확장 가능한 대안을 제시하지만, 기존 솔루션들은 트레이드오프를 보입니다. 소비자용 데이터셋(예: Ego4D)은 하드웨어적으로 동기화된 관성 스트림이 없는 단안 롤링 셔터 카메라에 의존하는 반면, 고충실도 연구 플랫폼(예: Project Aria)은 폐쇄적이고 비용이 많이 들며, 더 넓은 커뮤니티가 자유롭게 배포하거나 재현할 수 없습니다. 결과적으로, 대규모로 동기화된 스테레오-관성 데이터를 캡처할 수 있는 개방형 저비용 헤드 마운트 장치가 존재하지 않습니다.

방법론
Ego-OSCAR는 분산 배포를 위해 설계된 오픈 하드웨어, 저비용 캡처 시스템과 그에 따른 소프트웨어 스택을 통해 이 간극을 해결합니다.

• 하드웨어 설계: 이 장치는 상업적으로 이용 가능한 부품(COTS)과 3D 프린팅 부품으로 제작되었으며, BOM(자재 명세서)이 200달러 미만인 헤드 마운트 유닛(약 280g)입니다.

  • 센서: 단일 ASIC를 통해 하드웨어적으로 동기화된 두 개의 Omnivision 글로벌 셔터 센서를 갖춘 Dexcin USB 스테레오 카메라 모듈을 사용합니다. 이를 통해 마이크로초 단위의 동기화를 보장하고 급격한 머리 움직임 중 발생하는 롤링 셔터 아티팩트를 제거합니다. 시스템에는 120Hz로 샘플링되는 6축 IMU(ICM-20948)가 포함됩니다.
  • 컴퓨팅 및 제어: Radxa Rock 5C(Rockchip RK3588 SoC)는 하드웨어 가속 비디오 인코딩(MJPEG에서 H.264로) 및 저장을 처리합니다. Seeed Studio Xiao ESP32-S3 마이크로컨트롤러는 사용자 피드백(RGB LED 상태), 워치독 기능(시스템 행 탐지), 그리고 결정적으로 시간 동기화를 관리합니다.
  • 동기화 메커니즘: 카메라와 IMU의 독립적인 클록을 연결하기 위해, ESP32는 인터럽트를 통해 카메라의 노출 시작(SoE) 신호를 캡처합니다. 각 프레임 노출에 대한 단조 시간(monotonic timestamps)을 기록하고 이를 IMU 데이터와 병합합니다. 오프라인 정렬 과정에서는 시각적 앵커(60번째 인터럽트에서 깜빡이는 파란색 LED)를 사용하여 IMU 스트림을 비디오 프레임 인덱스와 결정론적으로 정렬하며, 이를 통해 700µs의 잔류 지연을 달 Achieves 합니다.
  • 견고성: 시스템에는 SBC 행(hang)을 감지하는 워치독이 포함되어 있으며(1Hz 하트비트를 통해), 시스템 행 발생 시 에러 상태를 트리거하여 데이터 손실을 방지합니다.

• 소프트웨어 파이프라인: 오픈 소스 스택에는 하드웨어 가속 녹화 데몬, IMU 샘플링 서비스, 시간 동기화 도구 및 워치독 펌웨어가 포함됩니다. 데이터는 전원 차단 시 손실을 최소화하기 위해 5분 단위 클립으로 분할되며, 무결성 검증과 함께 업로드됩니다.

• 데이터셋 수집: 저자들은 6개월 동안 인도 내 25명의 기여자들로 구성된 분산 네트워크에 이 시스템을 배치하여, 카메라당 약 550시간(총 1,100 카메라 시간)의 스테레오 비디오를 포함하는 1,462개의 세션을 수집했습니다. 데이터는 다양한 실내 환경을 다루며, 주방 활동에 중점을 두되 재봉 및 맞춤 제작 활동도 포함합니다.

주요 기여

1. 오픈 하드웨어 장치: CAD 파일, 배선도, 조립 지침이 포함된 완전히 문서화되고 재현 가능한 헤드 마운트 스테레오-관성 캡처 리그.
2. 오픈 소스 소프트웨어 스택: 캡처 과정을 커뮤니티가 복제할 수 있도록 하는 녹화, 동기화 및 데이터 관리를 위한 완전한 파이프라인.
3. Ego-OSCAR-550h 데이터셋: 동기화된 IMU 데이터가 포함된 약 550시간의 큐레이션된 에고센트릭 스테레오 비디오 데이터셋입니다. 원시 센서 스트림과 달리, 이 릴리스에는 다음이 포함됩니다:
   • 자유 형식 액션 캡션: 전체 타임라인을 커버하는 약 209,315개의 세그먼트와 오픈 보카블러리(open vocabulary).
   • 3D 손 재구성: WiLoR에 의해 생성된 프레임당 3D 손 포즈.
   • 세션별 캘리브레이션: 명목상의 공장 내부 파라미터 대신 모든 세션에 대한 개별 캘리브레이션 파일.

결과 및 평가
본 논문은 세 가지 계층에서 시스템을 평가합니다:

• 센서 충실도: 세션별 캘리브레이션을 통해 0.03 픽셀 미만의 재투영 오차를 달성했습니다. 하드웨어 동기화된 글로벌 셔터와 IMU는 12/20개의 홀드아웃(held-out) 단기 시퀀스에서 성공적인 시각-관성 오도메트리(VINS-Fusion)를 가능하게 했으며, 잔류 시각-관성 지연은 700µs였습니다. IMU 노이즈 플로어는 중력 정렬 및 동작 분류에는 적합하지만, 더 높은 등급의 교체 없이는 장기 관성 적분에는 적합하지 않은 소비자 수준으로 특성화되었습니다.
• 데이터 유용성: 스테레오 깊이 추정(SGBM, RAFT-Stereo)은 126° 전체 시야각에서 성공했습니다. 손 탐지율은 94%에 달하며, 이는 헤드 마운트 기하 구조가 대부분의 상호작용 중에 손을 시야 내에 효과적으로 유지함을 나타냅니다.
• 배포 규모: 시스템은 1,462개 세션에 대해 96%의 사용 가능한 세션 비율을 달랐습니다. 실패 모드(열 차단, SD 카드 I/O 오류, 케이블 장력)는 하드웨어 수정(히트싱크, 기계적 보강) 및 소프트웨어 검증을 통해 식별 및 완화되었습니다.

의의 및 주장
본 논문은 Ego-OSCAR를 단위당 충실도 측면에서 Project Aria와 같은 연구급 시스템을 대체하는 것이 아니라, "크라우드소싱 에고센트릭 캡처를 위한 가장 저렴하고 방어 가능한 기질(substrate)"로 포지셔닝합니다. 이의 주요 의의는 에고센트릭 데이터를 대규모로 수집하기 위한 활성화 에너지를 낮추는 데 있습니다. 완전히 개방적이고 재현 가능하며 저렴한 플랫폼을 제공함으로써, Ego-OSCAR는 기존의 단안 또는 폐쇄형 플랫폼 데이터셋을 보완하여 고품질의 동기화된 스테레오-관성 데이터 수집을 민주화하는 것을 목표로 합니다. 저자들은 이 데이터로부터 엔드 투 엔드 정책 이득(end-to-end policy gains)을 입증하는 것은 향후 과제임을 명시적으로 밝히며, 현재의 기여는 그러한 연구를 가능하게 하는 인프라와 데이터셋이라는 점을 분명히 하고 있습니다.