기술 요약: HRDexDB

문제 정의

로봇이 인간 수준의 정교한 조작(dexterity)을 달성하는 것은 로보틱스의 핵심 목표이다. 인간의 조작은 자연스러운 시연(demonstration)의 원천을 제공하지만, 이를 로봇으로 전이하는 과정에서 "체형 차이(embodiment gap)"가 걸림돌이 된다. 인간의 손과 로봇의 손은 형태학적 구조, 운동학(kinematics), 구동 방식이 크게 다르기 때문에 서로 다른 접촉 패턴과 파지(grasp) 전략을 가진다. 이러한 격차는 서로 다른 로봇 손 체형 간에 기술을 전이할 때 더욱 복잡해지는데, 각 체형이 고유한 물리적 제약을 부과하기 때문이다.

기존 데이터셋들은 이 과제를 적절히 해결하지 못하고 있다. 대부분의 인간-물체 상호작용(HOI) 데이터셋은 인간의 손에만 집중하여 3D 정보나 물체 추적이 부족한 경우가 많다. 반대로, 로봇 데이터셋은 주로 로봇의 실행에 초점을 맞추어 물체의 움직임이 부분적으로만 추적되거나 쌍을 이루는 인간의 시연이 결여되어 있다. 최근 몇몇 연구들이 쌍을 이루는 인간-로봇 데이터를 수집하려는 시도를 하고 있으나, 다중 체형(multi-embodiment) 커버리지, 마커리스 RGB 관측, 또는 촉각 신호가 부족하다는 한계가 있다. 결과적으로, 공유된 물체에 대해 인간의 손과 다양한 로봇 체형 간의 비교 가능한 파지 동작을 포착하는 종합적인 쌍 데이터셋이 부족한 실정이다.

방법론: HRDexDB 구축

이러한 한계를 해결하기 위해 저자들은 쌍을 이루는 교차 체형 정교 조작 데이터셋인 HRDexDB를 소개한다.

데이터 수집 시스템

데이터셋은 다음과 같이 동기화된 멀티모달 시스템을 사용하여 캡처되었다:

• 23대의 카메라: 작업 공간을 둘러싼 21대의 동기화된 외심적(exocentric) RGB 카메라와 2대의 내심적(egocentric) 스테레오 카메라(로봇 실험용 1대, 인간 시연용 커스텀 헬멧 1대).
• 로봇 체형: 네 종류의 정교한 로봇 손이 사용되었다: Allegro Hand V4, Alleg \text{lo Hand V5 Plus}, Inspire Hand RH56DFTP, 그리고 Inspire Hand RH56F1.
• 인간 피험자: 로봇 실행과 함께 인간의 시연이 기록되었다.
• 원격 조작(Teleoperation): Xsens 관성 모션 캡처 슈트와 MANUS 장갑을 사용하여 로봇 파지를 수행하였으며, 이를 통해 인간의 손목 및 손가락 동작을 로봇에 매핑하였다.
• 프로토콜: 2단계 프로토콜이 적용되었다. 먼저 인간 피보이자가 대상 물체에 대해 자연스러운 파지를 수행한다. 그 후 원격 조작자가 이 시연을 관찰하고, 형태 및 타이밍의 체형별 차이를 허용하면서도 의도를 보존하는 방식으로 로봇 체형에 대응하는 의미론적 파지를 수행한다.

재구성 파이프라인

원시 멀티뷰 기록은 고충실도 3D 그라운드 트루스를 생성하기 위해 처리되었다:

1. 인간 손 재구성: MANO 파라미터 모델을 활용하여, 2D 키포인트를 HaMeR로 검출하고 삼각 측량하여 포즈 파라미터를 최적화하였다. 피험자 특유의 형상은 SAM3 생성 마스크와의 실루엣 정렬을 통해 보정되었다.
2. 물체 6D 추적: 모델 기반 파이프라인을 통해 물체의 포즈($SE(3)$)를 추정하였다. FoundationStereo를 사용하여 조밀한 깊이 지도를 추정하고, SAM3를 통해 물체 마스크를, FoundationPose를 통해 6D 포즈를 추정하였다. 실루엣 불일치를 최소와 드리프트를 줄이기 위해 모든 카메라 뷰에 물체 메쉬를 렌더링함으로써 교차 뷰 기하학적 일관성을 강제하였다.
3. 촉각 신호: 촉각 센서가 탑로된 로봇 손가락으로부터 접촉력 신호를 기록하였다.

데이터셋 통계

• 물체: 100개의 다양한 물체(고품질 메쉬 포함), 향후 1,000개까지 확장 예정.
• 시퀀스: 2.1K 파지 시도.
• 프레임: 2,400만 프레임.
• 모달리티: 동기화된 RGB (23개 뷰), 3D 손 동작 (MANO 파라미터), 로봇 상태, 물체 6D 포즈, 촉각 신호, 성공/실패 주석.

주요 기여

1. 최초의 쌍을 이루는 인간-로봇 정교 조작 데이터셋: HRDexDB는 동일한 물체에 대해 마커리스 방식의 쌍을 이루는 인간 및 다중 로봇 정교 조작 캡처를 제공하며, 동기화된 멀리 뷰 RGB, 3D 주석, 촉각 신호를 특징으로 하는 최초의 데이터셋이다.
2. 새로운 캡처 및 재구성 시스템: 저자들은 심각한 폐쇄(occlusion) 상황에서도 동기화된 3D 손-로봇-물체 추적 문제를 극복하기 위한 전용 하드웨어 및 소프트웨어 솔루션을 제시한다. 여기에는 21대의 카메라 리그와 통합 재구성 파이프라인이 포함된다.
3. 다운스트림 벤치마크 확립: 논문은 데이터셋의 유용성을 검증하기 위해 네 가지 특정 벤치마크를 설정한다:
   • 인간-로봇 접촉 맵 전이.
   • 교차 체형 파지 검색.
   • 정교한 파지 중 3D 손 포즈 추정.
   • 인간 및 로봇 파지 중 물체 6D 포즈 추정.

실험 결과

1. 인간-로봇 접촉 맵 전이

저자들은 인간의 접촉 패턴으로부터 로봇 특유의 접촉 맵을 예측하는 모델을 학습시켰다.

• 결과: 전이된 접촉 맵("Transferred-Contact")을 사용하는 것이 인간 접촉 맵에 직접 최적화하는 것("Human-Contact")보다 파지 성공률을 유의미하게 향상시켰다.
• 지표: 실제 실험에서, Inspire 핸드의 경우 성공률이 66.7%에서 73.3%로, Allegro 핸드의 경우 63.3%에서 80.0%로 증가했다. 이는 쌍 데이터를 통해 로봇 특유의 접촉 전략을 학습하는 것이 직접적인 모방보다 더 효과적임을 입증한다.

2. 교차 체형 파지 검색

CLIP 스타일의 검색 모델을 학습시켜 인간과 로봇의 파지를 위한 공유 잠재 공간(latent space)을 학습시켰다.

• 결 결과: 모델은 인간 쿼리로부터 쌍을 이루는 로봇 파지를 무작위 확률보다 훨씬 높은 수준으로 성공적으로 검색하였다.
• 지표: Human $\to$ Inspire 검색의 경우, Recall@1은 36.36%, Recall@5는 100%였다. Human $\to$ Allegro의 경우, Recall@1은 24.24%, Recall@5는 72.73%였다.
• 다운스트림 유용성: 검색된 파지로 파지 최적화(BODex)를 초기화하는 것은 일반적인 초기화 및 운동학적 리타겟팅 베이스라인보다 우수한 성능을 보였으며, 특히 에피소드 수준의 성공률(Allegro의 경우 최대 93.94%)에서 두드러졌다.

3. 3D 손 포즈 추정 벤치마크

최신 상태(SOTA)의 손 재구성 모델(예: HaMeR, WiLoR)을 HRDexDB에서 평가하였다.

• 결과: 모든 모델이 FreiHAND 데이터셋에 비해 HRDexDB에서 더 높은 오차를 보였으며, 이는 HRDexDB가 심각한 손-물체 폐쇄로 인해 더 도전적인 벤치마크임을 확인시켜 준다.
• 유용성: HRDexDB 데이터로 모델을 미세 조정(fine-tuning)하면 FreiHAND 벤치마크에서의 성능이 향려되었는데, 이는 HRDexDB가 상호 보완적이고 비중복적인 학습 신호를 제공함을 나타낸다.

4. 물체 6D 포즈 추정 벤치마크

물체 6D 포즈 추정 방법들을 인간 및 로봇 파싱 조건 모두에서 평가하였다.

• 결과: 모든 방법이 인간 파싱보다 로봇 파싱 조건에서 더 낮은 성능을 보였으며, 이는 단단한 로봇 링크가 물체 위치 추정을 위한 시각적 모호성을 추가로 유발함을 시사한다.
• 적응: MegaPose 리파이너를 HRDexDB 로봇 파싱 데이터로 미세 조정했을 때, 홀드아웃(held-out) 로봇 파싱 환경에서 평균 ADD-S가 10.2% 개선되었으며, 이는 상호작용 중심의 환경으로 인지 능력을 적응시키는 데 있어 데이터셋의 가치를 입증한다.

의의 및 주장

본 논문은 HRDexDB가 교차 체형 정교 조작을 위한 기초 벤치마크 역할을 한다고 주장한다. 동일한 대상 물체에 대해 인간의 숙련도와 로봇의 실행을 밀접하게 정렬된 캡처로 제공함으로써, 서로 다른 형태학적 구조 간에 파지 전략이 어떻게 전이되는지를 연구할 수 있게 한다.

저자들은 HRDexDB가 단순한 궤적의 집합이 아니라 다음과 같은 연구를 지원하는 자원임을 강조한다:

• 데이터 기반 전이: 사전에 정의된 대응 관계를 넘어 로봇 특유의 접촉 전략을 학습함.
• 인지 평가: 고도로 폐쇄되고 상호작용이 풍부한 시나리오에서 3D 손 및 물체 포즈 추정을 위한 엄격한 테스트베드 제공.
• 미래 확장성: 현재 1,000개의 물체와 더 복잡한 기능적 과제로 확장 중이며, 이는 정교한 조작 및 로봇 학습 분야의 미래 연구를 촉진하는 것을 목표로 한다.

저자들은 플랫폼 간의 촉각 센서 이질성과 서로 다른 손 형태 간의 기능적으로 동등한 궤적 대응 관계를 정의하는 지속적인 과제 등 한계점을 겸허히 인정하고 있다.