기술 요약: MobileEgo Anywhere

문제 제기

비전-언어-행동 (VLA) 모델의 발전으로 대규모, 장시간 시점 (egocentric) 데이터셋에 대한 중요한 수요가 창출되었습니다. 기존 데이터셋 (예: Ego4D, Epic Kitchens) 은 수천 시간의 비디오를 제공하지만, 대부분 짧은 에피소드 (일반적으로 몇 분) 로 제한되며 로봇 정책 학습에 필요한 정밀하고 연속적인 6 자유도 (6-DoF) 포즈 추적이 결여되어 있습니다. 반면, 정밀한 추적이 가능한 데이터셋 (예: EgoScale) 은 매우 짧고 단절된 에피소드로 구성되는 경우가 많습니다. 또한, 고충실도 데이터 수집은 전통적으로 Meta Project Aria나 모션 캡처 장비와 같은 특수하고 고가의 하드웨어나 원격 조작에 의존하여 데이터 다양성과 규모 확장에 상당한 장벽을 만들고 있습니다. 현재의 확장 법칙에 따르면, 다음 단계의 일반화 가능한 로봇 공학에 도달하려면 데이터 규모와 다양성이 한 자릿수 이상 증가해야 하는데, 이는 현재 하드웨어 및 시간적 제한으로 인해 방해받고 있습니다.

방법론

저자들은 상업용 모바일 하드웨어 (특히 iPhone Pro와 같은 LiDAR 지원 iOS 기기) 를 사용하여 견고하고 1 시간 이상의 시점 궤적을 수집하도록 설계된 MobileEgo Anywhere 프레임워크를 제시합니다.

1. 데이터 수집 시스템

• 하드웨어: 머리 장착형 iPhone Pro가 사용자의 손과 작업 공간에 대한 1 인칭 시점을 캡처합니다.
• 제어: 맞춤형 모바일 애플리케이션이 음성 명령 ("시작"/"중지") 을 통해 녹음을 관리하여 자연스러운 일상 활동을 위한 핸즈프리 작동을 가능하게 합니다.
• 센서: 시스템은 기기의 네이티브 센서 세트를 활용하여 RGBD 스트림을 고주파수 IMU 데이터와 동기화합니다.
• 포즈 추적: 프레임워크는 ARKit을 활용하여 실시간 센서 융합을 수행하고, 고충실도 6-DoF 카메라 포즈와 프레임별 깊이 맵을 생성합니다. 데이터는 MCAP 형식으로 내보내집니다.

2. 처리 파이프라인

저자들은 원시 로그를 표준화된 학습 준비 형식으로 변환하는 오픈 소스 Python 도구를 제공합니다:

• 3D 손 궤적 추정: 시스템은 제약 없는 환경에서 3D 손 포즈 추정에 최적화된 엔드 투 엔드 네트워크인 WiLoR을 사용합니다. 이는 손 관절을 표현하기 위해 MANO 파라미터화를 사용합니다. 상대적 3D 좌표는 ARKit 깊이 맵과 카메라 포즈를 사용하여 2D 키포인트를 역투영하여 전역 좌표계로 국소화됩니다.
• 원자적 행동 라벨링: 자동 주석 파이프라인이 비디오를 연속된 구간으로 분할합니다. 비전 언어 모델 (VLM) 은 색상, 재질, 크기 등의 객체 수식어와 공간 전치사를 포함하여 행동을 설명하는 짧은 명령문 형식의 문장을 생성하며, 명확성을 보장하기 위해 프롬프트 설계에 의해 제약됩니다.
• 계층적 작업 지시: 언어 모델 (DeepSeek V4 Flash) 이 원자적 구간을 3 단계 지시 트리로 구성합니다:
  1. 에피소드: 공통 활동을 공유하는 시간적으로 연속된 구간들의 그룹.
  2. 하위 목표: 관련 에피소드들의 클러스터.
  3. 세션 목표: 전체 세션에 걸친 구체적인 객체에 기반한 고수준 목표.

주요 기여

1. 데이터셋 공개: 16 명의 기여자로부터 수집된 200 시간의 다양하고 장형 (long-form) 시점 데이터로 구성된 새로운 데이터셋을 공개하며, 지속적 상태 추적을 포함합니다. 기록된 가장 긴 연속 세션은 약 108 분입니다.
2. 오픈 소스 소프트웨어: 데이터 수집용 모바일 애플리케이션과 원시 모바일 캡처를 3D 손 포즈, 원자적 라벨, 계층적 지시를 포함한 표준화된 형식으로 변환하는 포괄적인 처리 파이프라인을 공개합니다.
3. 상업화된 인프라: 특수 로봇 하드웨어 대신 일반 스마트폰을 사용하여 장시간, 고충실도 시점 데이터를 수집할 수 있음을 시연함으로써 데이터 수집 과정을 민주화했습니다.

결과 및 평가

논문은 여러 지표를 통해 시스템을 검증합니다:

• 장기 드리프트 평가: 세션의 시간적 중간점과 끝점에서 Aruco 마커를 재방문하여 측정한 결과, 시스템은 최소한의 드리프트를 보였습니다. 부엌/거실 활동의 경우 오차는 0.4–0.7 cm로 측정되었고, 전체 주택 활동의 경우 1.0–1.5 cm로 측정되었으며, 이는 궤적 길이의 0.1% 미만입니다.
• 3D 손 포즈 일관성: 98 개의 세션 (119 만 프레임) 을 통해 지상 진실 (ground-truth) 없는 지표를 사용하여 평가:
  • 뼈 길이 일정성: 뼈 길이의 중앙값 변동 계수 (CV) 는 1% 미만이었습니다 (짧은 물리적 길이로 인해 약 7.5% 의 CV 를 보인 새끼손가락 끝을 제외).
  • 관절 각도 타당성: 추정된 관절 각도의 99.99% 이상이 공개된 생체 역학적 한계 내에 있었습니다.
  • 손목 역학: 중앙값 손목 속도 (0.27–0.34 m/s) 와 가속도는 일상생활 활동의 일반적인 범위와 일치했으며, 순간 이동과 같은 체계적인 아티팩트는 관찰되지 않았습니다.
• 계층적 지시 품질: 파이프라인이 354 개의 세션을 처리하여 5,570 개의 에피소드와 1,298 개의 하위 목표로 그룹화된 45,415 개의 원자적 구간을 생성했습니다. **87%**의 세션이 구조적 불변 조건을 모두 통과하여 문제가 없었습니다. 계층적 구조는 인위적인 프롬프팅 없이도 자연스럽게 5 초 원자적 구간, 42 초 에피소드, 3.9 분 하위 목표, 15.5 분 세션과 같은 명확한 시간적 규모를 나타냈습니다.
• 비용 효율성: 354 개 세션 전체의 계층적 구조화를 처리하는 데 든 총 비용은 $1.29였습니다.

의의

이 논문은 MobileEgo Anywhere 이 고가의 하드웨어 장벽을 제거함으로써 로봇 공학 데이터 수집의 "병목 현상"을 해결한다고 주장합니다. 표준 소비자 하드웨어를 사용하여 다양한 전 세계 환경에서 장시간 데이터를 대규모로 획득할 수 있게 함으로써, 이 연구는 일반화 가능한 로봇 정책 개발을 가속화하는 것을 목표로 합니다. 저자들은 이러한 데이터를 사용하여 사전 훈련 중 공간 및 시간적 추론 능력을 극대화하면 리소스 집약적인 하위 미세 조정의 데이터 요구량을 크게 줄일 수 있으며, 이를 통해 현재 기관의 역량과 차세대 VLA 모델에 필요한 데이터 규모 간의 격차를 해소할 수 있다고 주장합니다.