기술 요약: Phantom: 인간 비디오만으로 로봇 없이 로봇 훈련하기

문제 정의

범용 로봇 기술의 발전은 현재 데이터 부족으로 인해 병목 현상을 겪고 있습니다. 비전 및 언어 모델에는 대규모 데이터셋이 존재하지만, 물리적 하드웨어를 통한 원격 조작 시연 데이터 수집 과정이 느리고 비용이 많이 들며 어렵기 때문에 로봇학 데이터셋은 수백만 배 더 작습니다. 또한 단순히 데이터 양을 늘리는 것만으로는 부족하며, 일반화를 위해서는 다양한 환경에서의 데이터 다양성이 필수적이지만, 로봇을 활용한 다양한 데이터 수집은 formidable한 도전 과제입니다.

기존의 인간 비디오를 로봇 학습에 활용하려는 접근 방식은 두 가지 주요 장벽에 직면해 있습니다:

1. 행동 레이블 부재: 인간 비디오에는 명시적인 로봇 행동 궤적이 포함되어 있지 않습니다.
2. 구현체 간격 (Embodiment Gap): 인간의 팔과 손의 시각적 외형은 로봇의 팔과 그리퍼와 현저히 다르기 때문에, 인간 데이터로 훈련된 비전 기반 정책은 로봇에 배포될 때 실패합니다.

이러한 간극을 메우려는 기존 방법들은 대부분 로봇 데이터와의 공동 훈련 (co-training) 이나 강화 학습에 의존하는데, 이는 확장성을 제한합니다. 객체 중심 추적을 사용하는 다른 접근 방식들은 변형 가능한 객체, 입자성 물질, 또는 다중 객체 시나리오에서 어려움을 겪습니다.

방법론: Phantom 프레임워크

저자들은 Phantom을 제안합니다. 이는 오직 인간 비디오 시연만으로 조작 정책을 훈련시키고, 로봇 데이터가 전혀 필요 없는 확장 가능한 프레임워크입니다. 핵심 혁신은 인간 시연을 로봇 호환 관찰 - 행동 쌍으로 변환하는 데이터 편집 파이프라인입니다.

1. 인간 비디오에서의 행동 추출

인간 비디오에는 명시적인 행동 레이블이 없으므로, 이 방법은 인간 손 자세를 추정하여 로봇 행동을 추출합니다:

• 자세 추정: 시스템은 각 비디오 프레임에서 HaMeR을 사용하여 21 개의 손 키포인트와 밀집된 778 개의 꼭짓점을 가진 손 메쉬를 예측합니다.
• 3D 정제: 단안 깊이 추정의 모호성을 해결하기 위해, 시스템은 SAM2를 사용하여 손을 분할하고 RGB-D 깊이 이미지에서 부분 점 구름 (point cloud) 을 추출합니다. 반복적 최단 거리 점 (ICP) 정합을 통해 HaMeR 메쉬를 점 구름에 정렬하여 3D 자세를 정제합니다.
• 가림 처리: 잡기 동작에서 흔히 발생하는 가림 동안 비현실적인 손가락 구성을 방지하기 위해, 시스템은 엄지손가락과 검지손가락 관절을 해부학적으로 가능한 범위 내에서 단일 자유도로 제한합니다.
• 행동 생성: 정제된 키포인트는 로봇의 엔드 이펙터 자세를 정의합니다:
  • 위치 ($p_t$): 엄지손가락과 검지손가락 끝 사이의 중점.
  • 방향 ($R_t$): 손가락 키포인트에 적합된 평면과 주축 벡터에서 유도됨.
  • 그리퍼 너비 ($g_t$): 손가락 끝 사이의 거리이며, 완전한 폐쇄를 보장하기 위해 하위 20 백분위수에 임계값이 적용됨.

2. 데이터 편집을 통한 시각적 도메인 연결

인간과 로봇 구현체 간의 시각적 도메인 변화를 제거하기 위해, 저자들은 Rovi-Aug 에서 영감을 받은 데이터 편집 기술을 인간 - 로봇 설정에 적용합니다:

• 훈련 단계:
  1. 분할: SAM2 를 사용하여 인간 팔을 분할합니다.
  2. 인페인팅: E2FGVI(비디오 인페인팅 모델) 를 사용하여 분할된 팔을 이미지에서 제거하고 배경을 복원합니다.
  3. 렌더링 및 오버레이: 추정된 자세 ($p_t, R_t, g_t$) 로 대상 로봇의 가상 모델을 렌더링하여 인페인팅된 이미지에 오버레이합니다. 깊이 데이터를 사용하여 환경 객체에 의한 현실적인 가림을 보장합니다.
• 추론 단계:
  • 훈련 (렌더링된 로봇) 과 테스트 (실제 로봇) 분포 간의 일관성을 보장하기 위해, 테스트 시 실제 로봇의 관찰 이미지에 가상 로봇 팔을 오버레이합니다.

3. 정책 훈련

편집된 이미지와 추출된 행동으로 구성된 증강 데이터셋은 폐쇄 루프 모방 학습 정책 (특히 Diffusion Policy) 훈련에 사용됩니다. 이 정책은 추가적인 로봇 데이터 수집이나 미세 조정 없이 실제 로봇에서 제로샷 (zero-shot) 으로 배포됩니다.

주요 기여

1. 제로 - 로봇 - 데이터 훈련: 이 논문은 비싼 원격 조작 로봇 데이터의 필요성을 제거하고 인간 비디오 시연만으로 효과적인 로봇 조작 정책을 훈련할 수 있음을 보여줍니다.
2. 교차 구현체를 위한 데이터 편집: 로봇 - 로봇 전이에서 더 도전적인 인간 - 로봇 설정으로 인페인팅 및 가상 오버레이와 같은 데이터 편집 전략을 성공적으로 적용했습니다.
3. 다용도성: 이 방법은 다양한 작업을 처리합니다:
   • 강체 객체 조작 (픽 앤 플레이, 적재).
   • 변형 가능 객체 조작 (로프 매듭 묶기).
   • 다중 객체 조작 (여러 개의 쓰레기 쓸기).
4. 일반화: 이 접근법은 재훈련 없이 새로운 환경과 다른 로봇 구현체 (Franka 및 Kinova) 에서 제로샷 배포를 지원합니다.

실험 결과

저자들은 Franka 및 Kinova 로봇에서 여섯 가지 작업을 통해 Phantom 을 평가했습니다:

• 분포 내 성능: 단일 장면에서 Hand Inpaint 전략은 (책 픽/플레이) 92% 및 (로프 묶기) 88% 까지 성공률을 달성했습니다. 이는 0% 성공률을 기록한 "Red Line"(EgoMimic 스타일) 및 "Vanilla"(편집 없음) 과 같은 베이스라인을 크게 능가했습니다.
• 분포 외 (OOD) 일반화: 보이지 않는 환경 (예: 야외 잔디, 움직이는 배경이 있는 실내 라운지) 에서 테스트했을 때, 이 방법은 높은 성공률을 유지했습니다 (예: 실내 라운지에서 84%). 훈련된 표면 다양성이 제한적이어서 보이지 않는 표면에서는 성능이 약간 (20%) 하락했습니다.
• 절차 제거 (Ablation) 연구:
  • 인페인팅 품질: 고품질 인페인팅 (E2FGVI) 이 가장 좋은 결과 (84%) 를 냈지만, 저품질 인페인팅 (OpenCV) 도 76% 를 달성하여 모델이 아티팩트에 강건함을 시사합니다. "마스크만"(인페인팅 없음) 은 60% 로 하락하여 배경 복원의 중요성을 강조했습니다.
  • 손 마스크 비교: 대안인 "손 마스크" 전략 (팔을 검은색으로 가리기) 은 유사한 성능을 보였지만, 테스트 시 마스크를 생성하기 위해 확산 모델이 필요하여 추론 속도가 73% 느렸습니다.
• 로봇 대 인간 데이터: 단일 장면 비교에서 300 개의 인간 시연으로 훈련된 정책 (84% 성공) 은 100 개의 로봇 시연으로 훈련된 정책 (88% 성공) 의 성능에 근접했습니다. 이는 인간 데이터 수집의 확장성이 자세 추정에서의 약간의 정밀도 손실을 보상할 수 있음을 시사합니다.

중요성 및 주장

이 논문은 Phantom 이 신중하게 데이터 편집과 자세 추정을 거친 인간 비디오만으로도 범용 로봇 정책을 훈련할 수 있음을 보여줌으로써 확장 가능한 로봇 학습의 경로를 넓힌다고 주장합니다.

• 확장성: 물리적 로봇 데이터 수집에 대한 의존성을 제거함으로써 대규모 다양성 데이터셋 생성의 장벽을 낮춥니다. RGB-D 카메라를 가진 누구든 어디서나 훈련 데이터를 수집할 수 있습니다.
• 점근적 설정: 이 연구는 인간 데이터가 로봇 데이터보다 수백만 배 더 흔한 미래 체제를 다룹니다. 로봇 데이터가 부족하거나 존재하지 않더라도 정책을 효과적으로 훈련할 수 있음을 보여줍니다.
• 한계점: 저자들은 현재 손 자세 추정기의 정확도 (심각한 가림에 취약함) 에 대한 의존성, 로봇이 인간과 동일한 전략 (예: 핀치 그리프) 을 따를 수 있다는 가정, 그리고 지연 시간 불일치가 덜 중요한 준정적 (quasi-static) 작업에 초점을 맞춘 점 등 한계를 겸손하게 인정합니다.

결론적으로, Phantom 은 데이터 편집 기반의 교차 구현체 학습이 인간에서 로봇으로 기술을 전이하는 데 유효하고 확장 가능한 전략임을 입증하여, 방대하고 아직 활용되지 않은 인간 비디오 시연 자원의 잠재력을 열어젖혔습니다.