기술 요약: Dexterous Point Policy (숙련된 포인트 정책)

문제 정의

인간의 시연 영상을 통해 사전 학습된 로봇 파운데이션 모델은 유망한 가능성을 보여주었으나, 실제 로봇에 배포할 때 상당한 "체형 간극(embodiment gap)"이 여전히 존재한다. 언어와 시각 분야의 데이터 스케일링이 인터넷 규모의 데이터셋에 의해 주도되는 것과 달리, 로보틱스는 로봇 특유의 텔레오퍼레이션(원격 조종) 데이터를 수집하는 데 드는 높은 비용과 시간으로 인해 제약을 받는다. 이러한 데이터 부족은 특히 다지형 손(multi-fingered hands)이 높은 액션 차원을 갖는 숙련된 조작(dexterous manipulation) 분야에서 더욱 심각하다.

기존 방식들은 인간 영상을 마이닝하여 시각적 표현이나 액션 프라이어를 학습함으로써 이 간극을 메우려 시도한다. 그러나 이러한 방법들은 인간과 로봇 사이의 형태학적 차이로 인해 픽셀 또는 로우 조인트(raw-joint) 수준에서 실패하는 경우가 많으며, 이로 인해 미세 조정을 위한 상당한 양의 도메인 내 로봇 텔레오퍼레이션 데이터가 필요하게 된다. 반대로, 키포인트 기반 정책(예: Point Policy)은 간극을 메우는 데 성공적인 모습을 보였으나, 그리퍼 중심의 표현(두 손가락 정렬)에 근본적으로 국한되어 있어, 광범위하고 다양한 일반 인간 영상을 활용하지 못하고 복잡한 다지형 조작을 처리하는 데 한계가 있다.

방법론: Dexterous Point Policy

저자들은 Dexterous Point Policy를 소개한다. 이 프레임워크는 학습의 어떤 단계에서도 로봇 시연 데이터 없이 오직 인간 영상으로부터 숙련된 조작 정책을 학습한다. 핵심 통찰은 통합된 3D 키포인트 표현이 관측(observation)과 액션(action) 모두에 사용될 때 인간과 로봇의 체형을 연결하는 가교 역할을 할 수 있다는 점이다.

1. 통합 3D 키포인트 표현

이 방법은 인간 시연자와 로봇 엔드 이펙터(end-effector)를 공유된 6개 키포인트 손 표현으로 추상화한다:

• 손목(wrist)에 1개의 키포인트.
• 다섯 손가락(엄지, 검지, 중지, 약지, 소지)에 각각 1개씩 총 5개의 키포인트.

이러한 추상화를 통해 정책은 에이전트의 구체적인 시각적 외형이나 세밀한 형태학적 구조에 구애받지 않게 된다. 작업 관련 객체 또한 VLM(Vision-Language Model), 세그멘테이션, 깊이 추정(depth estimation)을 통해 추출된 3D 포인트 클라우드로 표현된다.

2. 데이터 처리 및 주석(Annotation)

• 사전 학습(Pretraining): 모델은 VITRA 코퍼스(Ego4D, Ego-Exo4D, Something-Something v2, EPIC-KITCHENS에서 수집된 약 100만 개의 1인칭 시점 에피소드)를 통해 사전 학습된다. 이 단계에서는 언어 캡션, 객체 포인트, 그리고 HaWoR 트래커를 통해 추출된 손 키포인트(손목 + 5개 손가락 끝)를 사용한다.
• 미세 조정(Fine-tuning): 모델은 소수의 작업별 인간 시연 데이터(태스크당 약 500개)를 통해 미세 조정된다. 결정적으로, 이 단계에서는 **경량화된 접촉 지점 주석(lightweight contact-point annotation)**이 도입된다. 주석가는 각 타임스텝에서 어떤 손가락 끝이 대상 객체와 접촉하고 있는지를 레이블링하여 이진(binary) 5-벡터를 생성한다. 이는 포인트 전용 표현이 접촉력을 표현할 수 없다는 한계를 해결한다.
• 스케일 일관성(Scale Consistency): 안정적인 학습을 보장하기 위해, 저자들은 원래 트래커에 존재하는 스케일-깊이 모호성을 해결하도록 HaWoR 손 트래커를 수정하여 일관된 손 스피크를 강제했다.

3. 정책 아키텍처 및 학습

정책은 두 단계의 학습 과정을 거치는 **자기회귀 트랜스포머(autoregressive transformer)**로 구현된다.

• 사전 학습: 트랜스포머는 언어 지시문, 객체 포인트, 현재 손 키포인트($H_t$)를 입력받아 미래의 손 위치 궤적($\hat{H}_{t+1}$)을 자기회귀적으로 예측한다. 이 단계에서 접촉 채널은 비활성화 상태이다.
• 미세 조정: **접촉 프로젝터(contact projector)**가 입력 시의 손 토큰에 이진 접촉 주석을 융합한다. 병렬로 구성된 **접촉 헤드(contact head)**는 다음 단계의 손 궤적과 각 손가락 끝의 접촉 확률을 공동으로 예측한다. 손실 함수는 액션 회귀($L_{act}$)와 접촉에 대한 이진 교차 엔트로피($L_{ct}$)를 결합한다.

4. 배포 및 실행

배포 시, 예측된 손 키포인트는 **역기구학(IK)**을 통해 로봇 조인트 목표값으로 매핑된다. 예측된 접촉 플래그는 작은 조인트 오프셋을 구동하여 필요한 손가락 끝 힘을 점진적으로 주입한다. 이를 통해 로봇은 명시적인 힘 센서나 로봇 텔레오퍼레이션 데이터 없이도 작업을 수행할 수 있다.

주요 기여

1. 제로 로봇 데이터 학습(Zero-Robot-Data Training): 저자들이 알고 있는 바로는, 이 방법은 숙련된 조작 정책을 전적으로 인간 영상으로부터 학습하여, 로봇 텔레오퍼레이션이나 공동 학습(co-training) 없이도 실제 로봇에서 높은 성공률을 달성한 최초의 방법이다.
2. 통합 키포인트 추상화: 인간과 로봇이 공유하는 6개 키포인트 손 추상화(손목 + 5개 손가락 끝)의 도입은 직접적인 정책 전이를 가능하게 하여, 그리퍼 중심의 포인트 정책이 가진 한계를 극복한다.
3. 접촉 지점 예측: 포인트 전용 표현에서 누락된 힘 모달리티를 복구하는 경량화된 메커니즘을 제공한다. 이 구성 요소는 포인트 전용 베이스라인 대비 71.3 퍼센트 포인트의 절대적인 성능 향상을 가져왔다.
4. 인터넷 규모 사전 학습: 약 100만 개의 인간 영상 에피소스를 통한 사전 학습이 통합 키포인트 표현을 통해 깔istically하게 전달됨을 입증하였으며, 이는 미세 조정만 수행했을 때보다 다운스트림 성공률을 14.2 포인트 향상시켰다.

실험 결과

본 방법은 Inspire RH56F1 데릭스러스 핸드가 장착된 OpenArm 바이매뉴얼 암(bimanual arm)에서 8가지 작업(Pick-and-Place 및 도구 사용)을 대상으로 평가되었다.

• 전반적인 성능: Dexterous Point Policy는 실제 로봇 작업에서 **75.0%**의 평균 성공률을 기록했다.
• 베이스라인과의 비교:
  • Point Policy (적응형): 3.7% 성공률.
  • VITRA (VLA 베이스라인): 1.0% 성공률.
  • Dexterous Point Policy는 두 모델을 크게 압도하였으며, 특정 작업 성공률은 41.7%(Spray)에서 95.8%(Bottle Pick-and-Place)까지 나타났다.
• 일반화 성능: 본 정책은 다중 객체 환경(성공률 80.0%) 및 새로운 객체 카테고리(성공률 76.7%)를 포함한 미학습 시나리오에서도 강력한 일반화 능력을 보였다.
• 절제 연구(Ablation Studies): 자기회귀 모델링을 제거하면 성능이 37.5%로 떨어졌고, 인터넷 규모 사전 학습을 제거하면 67.5%로 떨어져, 두 구성 요소의 필요성을 확인하였다.

의의 및 주장

이 논문은 Dexterous Point Policy를 로봇 정책 학습의 두 가지 주요 병목 현상인 데이터 스케일링과 인간-로봇 전이 문제를 해결하기 위한 구체적인 단계로 포지셔닝한다. 통합된 키포인트 표현이 로봇 데이터 없이도 인간 영상과 로봇 액션 사이의 간극을 메울 수 있음을 입증함으로써, 저자들은 포인트 기반 표현이 인터넷 규모의 인간 영상 데이터와 로봇 액션 사이의 효과적인 가교 역할을 한다고 주장한다.

저자들은 다음과 같은 한계점을 언급하며 신중한 태도를 유지한다:

• 예측된 궤적 중 일부는 여전히 운동학적으로 불가능할 수 있으며, 이는 IK 오류를 유발할 수 있다.
• 포인트 기반 관측은 명시적인 힘 정보를 결여하고 있으며, 접촉 주석은 대리 지표(proxy)일 뿐이다. 따라서 촉각 글러브와 같은 더 풍부한 신호가 자연스러운 확장 방향이다.
• 본 방법은 기초가 되는 VLM 및 비전 모델의 실패 모드를 그대로 상속받는다.
• 포인트 추상화는 장면 맥락(scene context)을 버리는 측면이 있으므로, 하이브리드 표현이 향후 연구 방향이 될 수 있다.

이 연구는 모든 숙련된 조작의 과제를 해결한다고 주장하는 것이 아니라, 로봇 데이터 수집의 막대한 비용을 우회하여 인간 데이터만으로 숙련된 기술을 학습할 수 있는 새로운 패러다임을 구축하는 것을 목표로 한다.