기술 요약: EgoAERO

문제 정의

에고센트릭(Egocentric) RGB-D 비디오는 인간의 손 동작, 물체 상호작용, 그리고 일상적인 환경에서의 접촉이 풍부한 행동을 포착함으로써 정교한 조작 정책(dexterous manipulation policies)을 학습시키기 위한 자연스럽고 확장 가능한 소스를 제공합니다. 그러나 기존의 에고센트릭 데이터셋(예: EPIC-KITCHENS, Ego4D)은 6-DoF 포즈, 기하학적 구조, 조작되는 물체의 접촉 상태와 같이 로봇 학습에 필수적인 핵심 정보를 결여하고 있습니다. 반대로, 3D 손-물체 주석이 포함된 데이터셋(예: HOI4D, H2O)은 종종 사전 스캔된 오브젝트 에셋, CAD 모델 또는 다중 뷰 캡처에 의존하며, 이는 임의의 일상적인 물체나 자연스러운 수집 환경으로의 확장성을 제한합니다. 결과적으로, 사전 오브젝트 에셋에 의존하지 않고 단일한 자연 에고센트릭 데모를 실행 가능한 로봇 정책으로 변환할 수 있는 프레임워크의 부재라는 격차가 존재합니다.

방법론: EgoAERO 프레임워크

EgoAERO는 오브젝트 에셋 없이 단일 에고센트릭 RGB-D 비디오로부터 접촉 일관성이 있는 손-물체 궤적을 재구성하고, 이후 2단계 정책 학습을 통해 이러한 궤적을 정교한 로봇으로 전이하도록 설계된 프레임워크입니다. 이 파이프라인은 두 가지 주요 구성 요소로 이루어져 있습니다.

1. 에셋 프리(Asset-Free) 에고센트릭 손-물체 재구성

이 모듈은 네 가지 순차적인 단계를 통해 원시 비디오로부터 구조화된 궤적을 복구합니다.

• MLLM 가이드 세만틱 전처리: 멀티모달 거대 언어 모델(MLLM)이 키프레임에 대해 경량 세만틱 파싱을 수행하여 대상 조작 물체, 지지 물체 및 작업 목표를 식별하고, SAM3 세그멘테이션을 위한 프롬프트를 생성하며, 초기화 시드로 사용할 덜 가려진 키프레임을 선택합니다. MLLM은 포즈나 기하학을 직접 추정하지 않고 파이프라인을 설정하는 역할을 합니다.
• 에셋 프리 오브젝트 트래킹 및 재구성: 핸드 오클루전(손 가려짐)과 CAD 모델이 없는 저질감 표면을 처리하기 위해 시스템은 다음을 채택합니다:
  • 조심스러운 포즈 초기화(Coarse Pose Initialization): 가시적인 물체 영역을 로컬 포인트 클라우드로 역투영하고, RGB-D 대응 관계에 RANSAC을 사용하여 조심스러운 6-DoF 포즈를 추정합니다.
  • 키프레임 메모리 풀 포즈 최적화: 신뢰할 수 있는 관측값이 있는 과거 키프레임 풀을 유지합니다. 로컬 포즈 그래프를 구축하고 교차 프레임 대응, 기하학, 표면 일관성, 실루엣 및 포즈 사전 지식으로부터의 제약을 사용하여 물체 포즈를 공동 최적화합니다.
  • 뉴럴 필드 가이드 정밀-조심(Coarse-to-Fine) 메쉬 재구성: 온라인 뉴럴 오브젝트 필드가 시간적으로 일관된 조심스러운 메쉬를 생성합니다. 이는 원래의 RGB-D 관측치를 사용하는 SAM3D에 의해 정밀하게 재구성되어 미세한 표면 디테일을 복구하고, 이후 정준 프레임(canonical frame)에 정렬됩니다.
• 에고센트릭 손 포즈 추정: 초기 MANO 기반 손 포즈 추정을 위해 HaWoR를 활용합니다. 단안 깊이 편향(monocular depth bias)을 완화하고 손 메쉬가 장면 기하학에 안정적으로 정렬되도록 하기 위해 RGB-D 깊이 맵을 사용하여 글로벌 핸드 트랜슬레이션을 가볍게 보정합니다.
• 에고 모션 보상(Ego Motion Compensation): RGB-D SLAM 백엔드가 카메라 궤적을 추정합니다. 모든 프레임은 머리 움직임으로 인한 불필요한 드리프트를 제거하기 위해 고정된 테이블 프레임으로 변환됩니다. 배경 안정성을 보장하기 위해 SLAM 과정에서 핸드 마스크를 사용하여 동적인 손 픽셀의 가중치를 낮춥니다.
• 적응형 접촉 최적화(Adaptive Contact Optimization): 물체 궤적을 변경하거나 MANO 파라미터를 다시 풀지 않고 물리적 불일치(예: 손가락 끝의 공중 부양, 침투)를 수정합니다. 활성 조작 윈도우 내에서 글로벌 핸드 트랜슬레이션과 로컬 손가락 버텍스에 유계된 보정(bounded corrections)을 적용하여, 원래의 데모 동작을 보존하면서 접촉 일관성을 보장합니다.

2. 2단계 잔차 정책 학습(Two-Stage Residual Policy Learning)

재구성된 궤적은 다음과 같은 2단계 접근 방식을 통해 로봇 정책으로 변환됩니다.

• 1단계 (핸드 궤적 추적): 정책은 운동학적 리타겟팅(kinematic retargeting)을 웜 스타트로 사용하여 재구성된 인간의 손 동작(손목 및 손가락 키포인트)을 추적하는 법을 배웁니다. 이는 성공적인 물체 조작 없이도 안정적인 손 제어 사전 지식을 확립합니다.
• 2단계 (물체-접촉 잔차 정책): 잔차 정책은 베이스 핸드-트래킹 액션에 대한 작은 보정($\Delta a^R_t$)을 학습합니다. 이는 물체 상태(포즈, 속도, 기하학 인코딩)와 접촉 피드백을 통합합니다. 보상 함수는 핸드 모방과 물체 궤적 추적 및 접촉 제약을 결합하여, 로봇이 참조 궤적을 따라 안정적인 접촉과 함께 물체를 구동할 수 있게 합니다.

주요 기여

1. EgoAERO 프레임워크: 오브젝트 에셋(CAD 모델 또는 사전 스캔된 메쉬)을 요구하지 않고 단일 에고센트릭 RGB-D 비디오로부터 정교한 조작을 학습하는 최초의 시스템입니다.
2. 에셋 프리 재구성 파이프라인: MLLM 가이드 초기화, 오클루전 하에서의 에셋 프리 오브젝트 트래킹, 뉴럴 필드 가이드 메쉬 재구성, 에고 모션 보상 및 적응형 접촉 최적화를 특징으로 하는 견고한 파이프라인입니다.
3. EgoDex-R 데이터셋: 430만 개의 RGB-D 프레임, 5,600개의 조작 시퀀스, 1,000개 이상의 오브젝트 인스턴스를 포함하는 대규모 에고센트릭 데이터셋입니다. 여기에는 물체 포즈, 기하학, 깊이, SLAM 및 접촉 품질에 대한 주석이 포함된 접촉 일관적 손-물체 궤적이 포함되어 있습니다.
4. 온라인 품질 평가: 재구성된 궤적의 물리적 사용 가능성을 실시간으로 평가하여, 데모를 수락, 수리 또는 재촬영할지 결정하는 메커니즘입니다.

실험 결과

저자들은 시뮬레이션과 실제 환경 실험을 통해 EgoAERO를 평가했습니다.

• 시뮬레이션 (EgoDex-R): EgoAERO는 49.5%의 성공률을 달성하였으며, 이는 손 포즈만을 사용한 경우(9.8%) 및 적응형 접촉 최적화가 없는 버전(36.2%)보다 크게 높은 수치입니다. 이는 정교한 조작을 위해 물체 상태와 접촉 정보가 필수적임을 입증합니다.
• 시뮬레이션 (HOI4D 비교): 오브젝트 CAD 에셋을 사용하여 재구성된 궤적과 비교했을 때, EgoAERO의 에셋 프리 재구성은 대등한 성능(CAD 기반 로우 데이터의 44.7% 성공률 대비 43.3%)을 보였습니다. 일부 지표에서 EgoAERO는 더 나은 성능을 보였는데, 이는 적응형 접촉 최적화가 물리적 일관성을 개선했기 때문으로 보입니다.
• 실제 실행: 프레임워크는 Inspire Hand가 장착된 Unitree G1 휴머노이드 로봇에 성공적으로 배포되었습니다. 시스템은 단일 인간 데모를 물리적 로봇이 실행할 수 있는 접촉 일관적 궤적으로 변환하여, 학습된 정책의 전이 가능성을 검증했습니다.

의의 및 주장

본 논문은 오브젝트 에셋에 대한 의존성을 제거함으로써 자연스러운 인간 데모와 실행 가능한 로봇 정책 사이의 간극을 메운다고 주장합니다. 단일 비디오로부터 접촉 일관적인 손-물체 궤적을 재구성함으로써, 이 프레임워크는 일상적인 환경에서 확장 가능한 정교한 로봇 학습을 가능하게 합니다. 결과는 에셋 프리 재구성이 고정밀 CAD 기반 재구성으로부터 얻은 것과 유사한 다운스트림 정책 성능을 달성할 수 있음을 시사하며, 이는 자연스러운 에고센트릭 데이터를 복잡한 조작 기술 학습을 위한 유효하고 확장 가능한 소스로 만듭니다.

한계점

저자들은 현재 파이프라인이 주로 단일 손 조작을 대상으로 한다는 점을 인정합니다. 심각한 오클루전, 반사되는 물체, 빠른 움직임, 또는 부정확한 손/세그멘테이션 추정 조건에서는 성능이 저하될 수 있습니다. 또한, 현재 정책 학습은 작업 특정적(task-specific)이며 시뮬레이션 훈련을 필요로 하므로, 교차 작업 일반화(cross-task generalization) 및 훈련 비용 절감이 향후 연구 과제로 남아 있습니다.