기술 요약: EgoInfinity

1. 문제 정의

범용 로봇을 학습시키기 위해서는 확장 가능하면서도 다양성이 확보된 조작 데이터가 필요하다. 실험실에서 수집된 데이터나 웨어러블 에고센트릭(egocentric) 데이터셋(예: Ego4D, OakInk2)은 고품질의 감독 정보를 제공하지만, 규모, 수집 비용 및 작업 다양성 측면에서 한계가 있다. 인터넷 비디오는 방대한 양의 비정형적 인간 조작 지식(예: 14.6년 분량의 푸티지를 포함한 Action100M)을 제공하지만, 이는 로봇에게 직접적으로 실행 가능한 형태는 아니다. 기존 방법들은 임의의 RGB 영상을 실행 가능한 로봇 학습 데이터로 변환하는 데 어려움을 겪는데, 이는 해당 영상들에 메트릭 3D 기하 구조, 6-DoF 객체 상태, 접촉 정보 및 로봇 특유의 액션 공간이 결여되어 있기 때문이다. 단순히 2D 액션을 로봇 공간으로 들어 올리는(lifting) 방식은 물리적으로 불가능하거나 접지(grounding)가 잘못된 동작을 초래하기 쉽다. 핵심 과제는 웹 스케일의 야생(in-the-wild) 비디오를 인간의 개입 없이 구조화된 메트릭 4D 손-객체 상호작용(HOI) 표현으로 자동 처리하는 것이다.

2. 방법론

EgoInfinity는 원시 RGB 영상을 에이전트 불가지론적(agent-agnostic)인 메트릭 손-객체 표현으로 변환하도록 설계된 완전 자동화된 모듈형 4D 조작 데이터 엔진이다. 이 시스템은 다음과 같은 다단계 파이프라인을 통해 작동한다.

3.1 모듈형 파이프라인 아키텍처

엔진은 확장성을 위해 2패스(two-pass) 전략을 채택한다.

• 패스 1 (필터링): 경량화된 시간적 스캔을 통해 손의 움직임 통계와 카메라 움직임 단서를 사용하여 손이 존재하는 세그먼트를 식별하고, 조작과 관련 없는 콘텐츠를 필터링한다.
• 패스 2 (재구성): 전체 재구성 스택은 활성화된 세그먼트에만 적용된다. 파이프라인은 구성 요소 교체가 가능하도록 설계되어, 파운데이션 모델이 발전함에 따라 업그레이드가 가능하다.

3.2 메트릭 보정 기반 손-객체 추적

중심 설계 원칙은 모든 구성 요소가 가공되지 않은 정렬되지 않은 모델 출력에 의존하는 대신, 통일된 메트릭 스케일과 카메라 프레임을 공유하도록 하는 **교차 모듈 보정(cross-module calibration)**이다.

• 통일된 메트릭 기하 구조: 시스템은 카메라 초점 거리와 전역 메트릭 스케일을 위해 MOGE-2를, 조밀한 깊이 맵(depth maps)을 위해 FLOW3R를, 중력 벡터 추정을 위해 GEOCALIB를 사용한다. 이를 통해 이미지 공간의 예측치를 공유된 3D 공간으로 들어 올린다.
• 손 추적: WILOR은 MANO 손 파라미터(포즈 및 형태)를 추정하여 손 메쉬와 3D 키포인트를 생성한다. 인필링(infilling) 모듈은 누락되거나 불안정한 추정치를 안정화한다.
• 객체 발견 및 추적: 객체는 비디오 설명을 SAM-3 탐지를 위한 시맨틱 프롬프트로 사용하여 자동으로 발견되며, SAM-2를 통해 전파되고 깊이 정보와 함께 리프팅된다. SAM-3D는 시각적 증거가 충분할 때 객체 메쉬를 재구성한다. FOUNDATIONPOSE++는 손과 동일한 메트릭 프레임 내에서 6-DoF 객체 포즈 궤적을 추적한다.

3.3 상호작용 인식 정교화

순수 시각적 추적에서 발생하는 시간적 불안정성과 드리프트를 해결하기 위해, 시스템은 감지된 상호작용 상태를 기반으로 객체 궤적을 정교화한다.

• 상태 분류: 프레임은 광학 흐름(MEMFOF)과 손 키포인트를 사용하여 정적(static), 파지(grasped), 또는 이동(moving) 상태로 분류된다.
• 정교화 로직:
  • 파지(Grasped): 객체는 손바닥에 정렬된 정준 변환(canonical transform)을 통해 손 프레임에 강체로 부착된다.
  • 정적(Static): 객체는 견고한 포인트 클라우드 중심점에 고정된다.
  • 이동(Moving): 객체는 초기 제안 상태를 유지한다.
• 건전성 검사(Sanity Checks): 부적절한 스케일과 가짜 배경 탐지는 억제된다.

3.4 교차 체형 로봇 모션 리타겟팅

엔진은 추출된 3D 손 동작을 다양한 로봇 형태(예: Unitree G1, Robonaut2, Dual-Franka)에 실행 가능한 관절 궤적으로 변환하는 기능적 리타겟터를 포함한다.

• 루트 프레임 추정: 전체 인간 신체 포즈를 요구하는 대신, SE(3)-등변(equivariant) 신경망($\Phi$)은 손 궤적과 선택적 중력을 기반으로 실행 가능한 로봇 특유의 루트 프레임(예: 몸통)을 추정한다.
• 플로우 매칭(Flow-Matching): 네트워크는 플로우 매칭 조건부 생성을 사용하여 실행 가능한 루트 프레임의 분포를 모델링하며, 서로 다른 바디 포즈가 동일한 손 동작을 생성할 수 있는 경우(부분 신체 관측 시 중요)를 처리한다.
• 학습: 네트워크는 절차적으로 생성된 쌍 데이터(paired data)를 사용하여 MuJoCo 시뮬레이션에서 완전히 학습되며, 인-더-와일드 재구성 오류에 대한 강건성을 보장하기 위해 트래킹 노이즈, 폐쇄(occlusion) 및 중력 노이즈가 추가된다.
• 실행: 후보 루트 프레임은 IK 수렴도, 관절 제한 및 조작성(manipulability)을 기준으로 선택된다. 최종 궤적은 IK 및 사후 최적화(스무딩)를 통해 정교화된다.

3. 주요 기여

1. EgoInfinity 엔진: 웨어러블, 깊이 센서, CAD 모델 또는 수동 객체 주석 없이도 웹 스케일 인터넷 비디오를 메트릭 손-객체 표현으로 처리하는 완전 자동화된 모듈형 4D 조작 데이터 엔진.
2. 상호작용 인식 정교화: 순수 시각적 재구성에 비해 드리프트를 줄이고 물리적 타당성을 높이기 위해 교차 모듈 메트릭 보정과 상호작용 상태 정교화를 결합한 새로운 접근 방식.
3. 기능적 교차 체형 리타겟팅: 대상 로봇의 제약 조건 내에서 작업 관련 손 동작을 보존하기 위해 로봇 특유의 루트 변환을 추정하는 방법으로, 임의의 시점 및 부분적인 인간 관측에 대한 비디오-투-액션 전이를 가능하게 함.

4. 결과 및 검증

저자들은 다음 네 가지 차원에서 EgoInfinity를 검증한다.

• 데이터 접근 및 통계: 브라우저 기반 서버를 통해 큐레이션된 Action100M 서브셋(106개 클립, 277개 객체)을 검색하고 시각화할 수 있다. 통계에 따르면 객체 카테고리(용기, 도구, 음식)와 상호작용 상태(클립의 88%가 조작 포함)가 균형 있게 섞여 있다.
• 리타겟팅 성능: Unitree G1, Robonaut2, Dual-Franka FR3에서 테스트되었다. 시스템은 로봇의 운동학적 복잡성에 따라 2.86cm에서 10.27cm 사이의 평균 위치 오차를 기록하며 70.6%에서 82.1% 사이의 IK 성공률을 달-성했다.
• 실제 로봇 실행:
  • 정책 학습: 추출된 손 동작은 실제 LEAP 데릭스 핸드(dexterous hand)에 대한 파지 정책을 학습시키는 사전 지식(prior)으로 사용되었으며, 다양한 객체(사과, 바나나, 수프 캔)에 성공적으로 일반화되었다.
  • 직접 리타겟팅: 동작이 실제 듀얼 암 Franka FR3 설정에 직접 리타겟팅되어, 자르기, 붓기, 닦기 기술의 기능적 실행을 입증했다.

5. 의의 및 주장

본 논문은 EgoInfinity가 인터넷 비디오에서 실행 가능한 로봇 행동으로 가는 확장 가능한 가교를 제공하며, 오픈 월드 로봇 학습의 데이터 부족 병목 현상을 해결한다고 주장한다. 2D 의사 액션(pseudo-actions)보다 메트릭 3D 기하 구조와 상호작용 인식 정교화를 우선시함으로써, 시스템은 인간 비디오에서 추출된 데이터의 물리적 접지력을 향상시킨다. 모듈형 설계는 엔진이 인지 및 재구성 모델의 발전에 지속적으로 혜택을 받을 수 있도록 보장한다. 저자들은 EgoInfinity를 정적인 데이터셋이 아니라, 임의의 웹 스케일 소스로부터 구조화된 로봇 사용 가능 4D 데이터를 생성할 수 있는 범용 엔진으로 포지셔닝하며, 이는 향후 로봇 학습, 멀티모달 그라운딩 및 인간-로봇 상호작용(HRI) 연구를 지원한다.

한계점: 시스템은 현재 정적인 카메라 비디오(바디 마운티드 푸티지 제외)를 가정하며, 미세한 접촉 수준의 정확도(예: 정확한 손가락 끝 배치 또는 힘의 일관성)를 보장하지 않거나 촉각 관측을 제공하지 않는다. 리타겟터는 로봇 특유의 것이며, 정밀한 운동학적 모방보다는 기능적 동작 전사를 목표로 한다.