💻 computer science

Human Universal Grasping

이 논문은 100만 프레임 규모의 대규모 에고센트릭 인간 파지 데이터셋으로 학습되어, 단일 RGB-D 이미지로부터 다양한 물체에 대해 리타겟팅 가능한 파지를 생성하며, 다양한 형태와 환경에 걸친 제로샷 로봇 파지 분야에서 최첨단 성능을 달성하는 플로우 매칭 모델인 HUG를 소개한다.

원저자: Kevin Yuanbo Wu, Tianxing Zhou, Isaac Tu, Billy Yan, Irmak Guzey, David Fouhey, Dandan Shan, Lerrel Pinto

게시일 2026-06-16

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Kevin Yuanbo Wu, Tianxing Zhou, Isaac Tu, Billy Yan, Irmak Guzey, David Fouhey, Dandan Shan, Lerrel Pinto

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 커피 머그잔을 집는 법을 가르친다고 상상해 보세요. 보통 엔지니어들은 그 특정 로봇의 손가락이 어떻게 움직여야 하는지 수천 가지의 사례를 보여주며 몇 달 동안 프로그래밍하는 데 시간을 보내야 합니다. 이는 마치 아이에게 다른 손을 가진 사람이 신발 끈을 묶는 법을 보여주면서, 오직 '자신의' 손으로 묶는 법만 보여준 뒤 다른 손을 가진 사람의 신발 끈도 묶을 수 있기를 기대하는 것과 같습니다.

**"Human Universal Grasping" (HUG)**이라는 제목의 이 논문은 훨씬 더 단순하고 자연스러운 해결책을 제안합니다. 바로 인간이 하는 것을 그냥 지켜보는 것입니다.

이들이 어떻게 이를 수행했는지 일상적인 용어로 설명해 드리겠습니다.

1. 문제점: 서투른 학생인 로봇

로봇은 공장의 반복적인 작업에는 뛰어나지만, 복잡하고 예측 불가능한 가정 환경에서는 어려움을 겪습니다. 만약 로봇에게 특이하게 생긴 물체(예: 파인애플이나 헤어브러시)를 준다면, 물체를 쓰러뜨리지 않고 잡는 법을 몰라 헤매는 경우가 많습니다. 대부분의 로봇은 "시뮬레이션" 데이터(컴퓨터 게임)나 인간이 수동으로 조종하는 방식으로 학습되는데, 이는 매우 느리고 지루한 과정입니다.

2. 해결책: "스마트 글래스" 현장 학습

연구진은 인간이 이미 무언가를 잡는 데 전문가라는 사실을 깨달았습니다. 우리는 매일 생각 없이 수천 개의 물체를 집어 듭니다. 로봇을 처음부터 가르치는 대신, 그들은 인간의 플레이북을 복사하기로 결정했습니다.

데이터 수집: 연구진은 일반 안경처럼 보이지만 카메라와 센서가 달린 스마트 글래스(Aria Gen 2라고 불림)를 사람들에게 제공했습니다.
미션: 사람들은 이 안경을 쓰고 41개의 서로 다른 건물(집, 사무실 등)을 돌아다녔습니다. 그들은 6,707개의 서로 다른 물체를 집었습니다.
결과: 이들은 1M-HUGS라는 거대한 라이브러리를 구축했습니다. 여기에는 인간의 손이 물체를 잡는 모습이 담긴 100만 개의 이미지가 포함되어 있습니다. 이는 인간의 파지(grasping)를 담은 "YouTube"와 같지만, 컴퓨터가 손이 얼마나 멀리 있는지 정확히 알 수 있도록 3D 깊이 정보가 포함되어 있습니다.

3. 두뇌: "플로우(Flow)" 모델

데이터를 확보한 후, 로봇이 이를 사용하는 방법을 가르칠 방법이 필요했습니다. 그들은 HUG라고 불리는 모델을 만들었습니다.

HUG를 카멜레온이나 만능 번역기라고 생각해 보세요:

입력: 토스터기가 놓인 카운터의 사진(깊이 정보 포함) 한 장을 보여줍니다. 마우스로 토스터를 클릭합니다.
처리: 모델은 100만 개의 인간 파지 라이브러리를 살펴봅니다. 그리고 스스로 묻습니다. "만약 인간이 이 토스터를 본다면, 어떻게 잡을까?"
출력: 단순히 "잡으라"고 말하는 것이 아닙니다. 모델은 그 특정 물체를 잡기 위해 필요한 정확한 위치, 회전, 그리고 손가락 모양을 계산합니다.

이 마법 같은 기술의 핵심은 이 모델이 특정 로봇의 움직임이 아니라, 인간이 어떻게 움직이는지를 배운다는 점입니다. 즉, 파지의 '개념'을 배우는 것입니다.

4. 번역: 인간의 손에서 로봇의 손으로

이 부분이 아주 영리한 대목입니다. 모델은 표준적인 인간의 손 모양(MANO라고 불림)을 사용하여 파지를 예측합니다. 하지만 로로봇의 손은 다릅니다. 어떤 것은 손가락이 세 개고, 어떤 것은 네 개이며, 어떤 것은 크고 어떤 것은 작습니다.

연구진은 리타겟팅(retargeting) 시스템을 구축했습니다. 당신이 무용수라고 상상해 보세요. 당신은 하나의 안무(인간의 파지)를 배웠습니다. 이제 당신은 무대 구조가 다르거나, 당신보다 키가 큰 파트너와 함께 그 안무를 수행해야 합니다. 당신은 새로운 춤을 배우는 것이 아니라, 단지 새로운 파트너에 맞춰 스텝을 조정할 뿐입니다.

HUG는 이를 즉각적으로 수행합니다. 예측된 인간의 손 포즈를 가져와서, 이를 로봇의 특정 손가락에 맞게 수학적으로 "리타겟팅"합니다.

재학습 불필요: 로봇을 다시 가르칠 필요가 없습니다. 그냥 새 로봇을 연결하기만 하면 작동합니다.
제로샷(Zero-shot): 이는 로봇이 이전에 본 적이 없는 물체, 혹은 방문한 적이 없는 방에서도 작동함을 의미합니다.

5. 테스트: "HUG-BENCH" 챌써린지

이것이 실제로 작동하는지 증명하기 위해, 그들은 단순히 공이나 상자 같은 쉬운 물체로 테스트하지 않았습니다. 그들은 HUG-BENCH라는 "기말고사"를 만들었습니다.

손잡이가 있는 물건, 특이한 모양, 아주 작은 물건, 그리고 크고 다루기 힘든 물건 등 90개의 까다로운 물체를 모았습니다.
그들은 두 가지 방식으로 시스템을 테스트했습니다:
1. 시뮬레이션 내에서: 컴퓨터 환경에서 빠르게 수천 번 테스트할 수 있습니다.
2. 실제 환경에서: 실제 로봇을 실제 집으로 가져가서 이 90개의 물체를 집으려고 시도했습니다.

결과:

HUG는 테이블탑 환경에서 66.7%, 실제 환경(지저집 환경)에서 **62%**의 성공률을 보였습니다.
이는 기존의 최고 수준의 로봇 방식들보다 훨씬 높은 수치입니다 (23%에서 34% 더 우수함).
다른 로봇들이 피크닉 바구니나 스프레이 병 같은 까다로운 물체에서 실패할 때, HUG는 인간이 이와 유사한 행동을 하는 것을 미리 "보았기" 때문에 어떻게 잡아야 할지를 알아냈습니다.

요약

이 논문은 스마트 글래스를 통해 100만 개의 실제 인간 파지 데이터를 수집함으로써, 로봇이 인간의 직관을 모방하여 어떤 물체든, 어디서든, 어떤 손으로든 잡을 수 있게 하는 시스템을 만들었다고 주장합니다. 이는 매번 새로운 물체에 대해 로봇을 프로그래밍해야 하는 번거로움 없이, 인간의 숙련도와 로봇의 서투름 사이의 간극을 메워줍니다.

그들이 주장하지 않은 것:

이 기술이 의료 수술이나 정밀한 임상 작업에 작동한다고 주장하지 않았습니다.
로봇이 복잡한 다단계 작업(예: 샌드위치 만들기)을 계획할 수 있다고 주장하지 않았습니다. 이 모델은 오직 "지금 이 물체를 어떻게 잡을 것인가?"라는 구체적인 문제만을 해결합니다.
한계점도 언급했습니다: 현재 시스템은 오른손 파지만 모델링하며, 아주 작은 물체나 시야에서 완전히 가려진 물체를 다루는 데 어려움이 있습니다.

기술 요약: HUG (Human Universal Grasping)

문제 정의

인간은 임의의 물체를 손쉽게 움켜쥐는 반면, 다지형(multi-fingered) 로봇 핸드는 그에 상응하는 일반성을 갖추지 못하고 있습니다. 주요 병목 현상은 다양하고 실제적인 로봇 파지 데이터를 확보하기 어렵다는 점입니다. 기존 방식들은 다음과 같은 상당한 한계에 직면해 있습니다:

합성 데이터(Synthetic Data): 시뮬레이션에 의존하는 방식(힘 폐쇄(force-closure) 최적화 또는 강화학습 사용)은 심투리얼(sim-to-real) 간극 문제를 겪으며, 새로운 로봇 형태(embodiment)마다 재학습이 필요한 경우가 많습니다.
텔레오퍼레이션(Teleoperation): 실제 파지 동작을 제공하지만, 과정이 번거롭고 오픈 월드로 확장하기 어려우며, 정교한 손(dexterous hands)을 위한 데이터를 수집하기가 까다롭습니다.
데이터 부족(Data Scarcity): 로봇은 인간이 매일 축적하는 수천 번의 파지 경험을 갖추지 못하고 있으며, 이는 자연스럽고 실행 가능한 파지 분포를 학습하는 데 걸림돌이 됩니다.

본 논문은 로봇 파지의 가장 자연스러운 데이터 소스는 인간 자신이라고 주장합니다. 그러나 이를 활용하려면 데이터 수집 규모, 정밀한 3D 주석(annotation), 그리고 인간의 손과 로봇 손 사이의 형태적 차이(morphology gap)라는 과제를 극복해야 합니다.

방법론: HUG 프레임워크

저자들은 **HUG (Human Universal Grasping)**를 제안합니다. 이 프레임워크는 순수하게 야생(in-the-wild)의 인간 데이터를 통해 정교한 파싱을 학습하며, 다양한 로봇 핸드로의 제로샷 전이(zero-shot transfer)를 가능하게 합니다. 파이프라인은 세 가지 주요 구성 요소로 이루어집니다:

1. 데이터셋: 1M-HUGS

저자들은 100만 개의 이미지-파지 쌍으로 구성된 에고센트릭(egocentric) 데이터셋인 1M-HUGS를 수집했습니다.

수집: 데이터는 41개의 건물에서 Aria Gen 2 스마트 글래스를 사용하여 기록되었으며, 27.8시간의 비디오를 통해 6,707개의 객체 인스턴스를 포착했습니다.
프로토콜: 착용자는 다양한 관점에서 정적인 장면을 기록한 후, 오른손을 뻗어 물체를 잡습니다. 카메라 포즈를 사용하여 파지 포즈를 이전 프레임(손이 보이지 않는 시점)으로 역전파하여, 하나의 물리적 파지당 수백 개의 (객체 전용 이미지, 파지) 쌍을 생성합니다.
처리: 비전-언어 모델과 SAM3를 사용하는 큐레이션 파이프라인을 통해 객체 마스킹을 수행합니다. 프레임은 깊이 신뢰도와 손-객체 교차 여부에 따라 필터링됩니다.
레이블: Aria는 21개의 손 랜드마크만을 제공하므로, 저자들은 이 랜드마크에 전체 관절 구조를 가진 MANO 핸드 모델을 피팅했습니다. 개인 간의 크기 차이를 제거하기 위해 MANO 형상 파라미터( $\beta$ )는 표준값으로 고정하였고, 포즈 파라미터( $\theta$ )는 파지 동작을 포착합니다. 데이터셋에는 동기화된 RGB, 그레이스케일, 미터법 기반 깊이(metric depth), 객체 마스크 및 MANO 포즈가 포함됩니다.

2. 모델 아키텍처: Flow-Matching Transformer

HUG는 단일 RGB-D 이미지와 사용자가 지정한 물체의 2D 쿼리 포인트로부터 MANO 파지 상태를 예측하는 flow-matching 모델입니다.

입력: RGB-D 이미지와 2D 픽셀 클릭 $(u, v)$ 이며, 이는 깊이와 내부 파라미터를 사용하여 3D 쿼리 포인트 $p_q$ 로 리프팅됩니다.
인코더:
- RGB: 레지스터 토큰(register tokens)이 포함된 프리징된(frozen) DINOv2-Base ViT를 사용하여 인코딩됩니다.
- 포인트 클라우드 (PC): 깊이 이미지를 미터법 포인트 클라우드로 역투영하고, $p_q$ 주변 0.3m 반경으로 크롭한 뒤 학습 가능한 PointNeXt U-Net으로 처리합니다.
융합(Fusion): 모델은 포인트 페인팅(point painting) 기법을 사용하여 포인트 클라우드의 중심점을 RGB 이미지에 투영해 DINO 특징을 샘플링하고, 이를 PC 토큰과 결합하여 MLP를 통해 융합합니다.
Flow Transformer: 파지 상태는 손목 이동( $t$ ), 손목 회전( $R_{6d}$ ), 손가락 포즈( $\theta_{6d}$ )로 분해됩니다. 이들은 융합된 장면 토큰에 교차 주의(cross-attention)를 수행하는 DiT (Diffusion Transformer) 블록에 의해 처리됩니다. 모델은 AdaLN-Zero 변조를 통해 타임스텝(timestep)에 의해 조건화됩니다.
출력: 모델은 99차원의 파지 상태를 예측하며, 이는 flow-matching ODE를 통해 통합되어 최종 MANO 포즈를 생성합니다.

3. 리타겟팅 (Retargeting)

예측된 인간의 파지(MANO 포즈)는 학습된 리타겟팅 방법을 사용하여 다양한 로봇 핸드(예: Ability, WUJI)로 리타겟팅됩니다. 결정적으로, 각 형태별(per-embodiment) 학습이 필요하지 않으며, 모델은 서로 다른 로봇 형태에 대해 제로샷으로 일반화됩니다.

주요 기여

최초의 인간 전용 프레임워크: HUG는 (로봇 데이터 없이) 순수하게 인간 데이터로만 학습되어 여러 로봇 형태에 배포 가능한 최초의 파지 프레임워크입니다.
1M-HUGS 데이터셋: 다양한 환경과 객체 인스턴스를 포괄하며, 미터법 깊이와 MANO-피팅된 손 포즈를 포함하는 100만 개의 자연스러운 인간 파지 장면을 담은 대규모 에고센트릭 데이터셋입니다.
HUG-BENCH: 5개의 기하학적 카테고리와 3개의 크기 빈(bin)에 걸쳐 90개의 미학습 객체(실제 테스트용 30개 포함)로 구성된 새로운 평가 벤치마크입니다. 여기에는 쌍을 이루는 시뮬레이션 및 실제 평가를 위한 미터법 스케일의 3D 메쉬가 포함됩니다.
방법론: RGB와 깊이를 융합하여 별도의 핸드 학습 없이도 다양하고 자연스러운 파지를 예측하는 포인트 조건부 flow-matching 모델을 제시합니다.

실험 결과

시뮬레이션 평가 (HUG-BENCH)

30개의 미학습 테스트 객체에 대해 MuJoCo에서 평가되었습니다:

성능: HUG는 **73.0%의 성공률(SR)**과 14.6 mm의 끝마디 접촉(FC) 오차를 달성했습니다.
베이스라인: "Human Grasp Oracle"(94.0% SR)과 비교했을 때, 시뮬레이션의 한계(트래킹 오차, 오픈 루프 실행 등)를 고려한 수준의 차이 내에서 성능을 입증했습니다.
절제 연구(Ablations):
- 3D 기하학적 손실(geometric loss)을 제거하면 SR이 32.7%로 떨어져, 정확한 끝마디 배치를 위해 필수적임을 보여주었습니다.
- 0.3m 크롭 또는 포인트 페인팅을 제거하면 성능이 약 10-15 SR 포인트 감소했습니다.
- 모달리티: RGB 전용 방식은 크게 실패했으나(29.7% SR), PC 전용 방식은 강력한 성능(70.7% SR)을 보였지만 의미론적 근거(semantic grounding)가 부족했습니다. 듀얼 모달(RGB+PC) 접근 방식은 모호한 사례(예: 브러시의 손잡이를 잡을 것인가 털 부분을 잡을 것인가)를 해결하는 데 필수적이었습니다.
스케일링: 성능이 25K에서 1M 프레임까지 단조롭게 향상되었으며, 이는 모델이 용량 제한보다는 데이터 제한을 받고 있음을 시사합니다.

실제 환경 평가

두 가지 설정에서 30개의 객체를 대상으로 평가되었습니다:

테이블탑 (xArm + Ability Hand): HUG는 66.7% SR을 달 기록하며, Dex1B(43.7%) 및 CAP(32.7%)보다 각각 +23%, +34% 높은 성능을 보였습니다. HUG는 30개 중 28개의 객체를 적어도 한 번 이상 성공적으로 잡았습니다.
야생 환경 (YOR Mobile Manipulator + WUJI Hand + Aria Glasses): HUG는 현장 튜닝이나 형태별 재학습 없이도 통제되지 않은 가정 환경에서 62.0% SR을 달성했습니다.

실패 모드: 대부분의 실패는 파지 전 단계에서 파지로 넘어가는 과정(물체나 테이블에 부딪힘) 또는 들어 올리는 과정(미끄러짐)에서 발생했습니다. 이는 잘못된 파지 예측이라기보다 오픈 루프 실행과 힘 피드백의 부재 때문입니다.
일반화: HUG는 다양한 객체 크기(작은 지우개부터 큰 통까지), 기하학적 형태(무정형, 부속물이 있는 형태), 환경 전반에 걸쳐 강건함을 보여주었습니다.

의의 및 주장

본 논문은 HUG가 값비싼 로봇 특화 데이터 수집이나 시뮬레이션 중심의 학습을 거치지 않고도, 인간의 자연스러운 행동으로부터 정교한 로봇 파싱을 직접 학습할 수 있음을 보여준다고 주장합니다.

일반성: 모든 물리적으로 유효한 파지가 아닌, 자연스러운 인간 파지의 분포를 모델링함으로써, 시스템은 새로운 카메라, 로봇 핸드, 미학습 가정 환경에 제로샷으로 전이 가능한 신뢰할 수 있는 실행 가능한 파지를 생성합니다.
확장성: 경량화된 스마트 글래스를 사용하여, 이전에는 불가능했던 대규모 데이터셋(1M 프레임)을 수집할 수 있었습니다.
벤치마킹: HUG-BENCH의 도입은 시뮬레이션과 실제 환경 모두에서 정교한 파싱을 평가하기 위한 표준화되고 도전적인 미터법 스케일의 벤치마크를 제공하여, 해당 분야의 엄격한 평가 표준 부족 문제를 해결합니다.

저자들은 몇 가지 한계점(예: 오른손 전용, 오픈 루프 실행, 폐쇄(occlusion) 처리 문제)이 존재하지만, 이 프레임워크가 로봇 공학에서 인간 파싱의 일반성을 달성하는 데 있어 중요한 진전임을 결론지었습니다.