UniHM: Unified Dexterous Hand Manipulation with Vision Language Model

이 논문은 다양한 손 형태를 통합 토크나이저로 매핑하고 물리 법칙 기반의 동적 정제 모듈을 통해 자연어 명령만으로 물리적으로 타당한 다재도 손 조작을 가능하게 하는 최초의 프레임워크인 'UniHM'을 제안합니다.

핵심

이 논문은 **"UniHM(유니엠)"**이라는 새로운 로봇 기술에 대해 설명합니다. 쉽게 말해, **"사람처럼 손이 유연한 로봇에게 '그냥 말로' 복잡한 일을 시키는 방법"**을 개발한 연구입니다.

기존의 로봇들은 물건을 잡거나 움직일 때 매우 딱딱한 명령만 들을 수 있었거나, 미리 정해진 동작만 반복했습니다. 하지만 UniHM 은 **"병 뚜껑을 따서 냉장고에 넣어줘"**처럼 자연스러운 말로 지시하면, 로봇이 사람처럼 손가락을 구부리고 물건을 감싸는 등 유연하게 움직이게 합니다.

이 기술의 핵심을 일상적인 비유로 설명해 드릴게요.

---

1. 문제점: 로봇은 '말'을 못 알아듣고, '손'이 제각각이야

지금까지 로봇 연구자들은 두 가지 큰 장벽에 부딪혔습니다.

• 말을 못 알아듣음: "컵을 들어"라고 하면 컵을 들어주지만, "컵을 들어 그릇에 담아"처럼 복잡한 순서나 새로운 물건에 대한 지시는 못 알아듣습니다.
• 손이 제각각임: 로봇 손의 모양 (손가락 개수, 길이 등) 이 제각각이라서, A 로봇에게 가르친 동작을 B 로봇에게 바로 적용할 수 없었습니다. 마치 서양인 손에 맞는 장갑을 한국인 손에 끼우려다 손가락이 찢어지는 상황과 비슷합니다.

2. 해결책 1: "모든 손에 맞는 만능 장갑" (Unified Hand-Dexterous Tokenizer)

연구진은 모든 종류의 로봇 손 (Shadow Hand, Allegro Hand 등) 을 하나의 **'공통된 언어 (코드)'**로 번역하는 시스템을 만들었습니다.

• 비유: imagine 모든 나라의 악기 (피아노, 바이올린, 기타) 를 하나의 '악보 (코드)'로 통일한 상황을 상상해 보세요.
  • UniHM 은 복잡한 로봇 손의 움직임을 이 공통된 '악보'로 먼저 변환합니다.
  • 로봇이 어떤 모양이든 상관없이, 이 공통된 악보를 보고 자신의 손에 맞는 연주로 변환합니다.
  • 덕분에 한 번 배운 동작을 다른 모양의 로봇 손에게도 바로 가르칠 수 있게 되었습니다.

3. 해결책 2: "유튜브로 배우는 로봇" (Vision Language Model)

기존에는 로봇에게 직접 손을 잡고 가르치는 (텔레오퍼레이션) 방식이 필요해서 비용이 너무 비쌌습니다. UniHM 은 사람이 물건을 다루는 유튜브 영상을 보고 배웁니다.

• 비유: 로봇이 요리 유튜브를 보며 "감자를 깎고, 양파를 썰고, 냄비에 넣는" 과정을 눈으로 보고 배운 것입니다.
  • 로봇은 직접 사람이 시키는 대로 움직이는 훈련을 받지 않아도, 사람과 사물이 상호작용하는 수많은 영상을 통해 "어떻게 해야 물건을 잘 잡을지"를 스스로 터득합니다.
  • 여기에 **시각 언어 모델 (VLM)**을 결합해, "그릇을 열어"라는 말과 영상 속 상황을 연결지어 이해합니다.

4. 해결책 3: "물리 법칙을 지키는 교정 선생님" (Physics-Guided Dynamic Refinement)

로봇이 영상만 보고 따라 하면, 가끔 물리 법칙을 무시한 엉뚱한 동작을 할 수 있습니다. (예: 손가락이 물건을 뚫고 지나가거나, 너무 급하게 움직여 넘어지는 경우)

• 비유: 로봇이 만든 동작을 물리 법칙을 잘 아는 '교정 선생님'이 한 번 더 점검합니다.
  • "이 손가락은 물건을 뚫고 지나가면 안 돼", "너무 급하게 움직이면 넘어져"라고 지적하며 동작을 부드럽고 자연스럽게 다듬어 줍니다.
  • 이 과정을 통해 로봇은 실제 세상에서 넘어지지 않고, 물건을 부수지 않고 안전하게 움직일 수 있게 됩니다.

---

5. 결과: 실제로 잘 작동할까?

이 기술을 실제 실험실에서 테스트해 보니 놀라운 결과가 나왔습니다.

• 보지 못한 물건도 가능: 훈련할 때 보지 못했던 새로운 물건 (예: 낯선 모양의 병) 을 줘도, 지시만 하면 잘 다룹니다.
• 성공률 향상: 기존 방법들보다 훨씬 높은 확률로 물건을 잡거나 뚜껑을 여는 등 복잡한 작업을 성공했습니다.
• 자연스러운 동작: 로봇이 움직이는 모습이 기계적이지 않고, 사람처럼 부드럽고 자연스럽습니다.

요약

UniHM은 "모든 모양의 로봇 손에 맞는 공통 언어를 만들고, 사람의 영상을 보고 배우며, 물리 법칙으로 최종 점검을 거치는" 시스템을 개발했습니다. 덕분에 로봇은 이제 복잡한 지시도 알아듣고, 새로운 물건도 잘 다루며, 사람처럼 유연하게 손놀림을 할 수 있게 되었습니다.

이 기술은 앞으로 가정용 로봇이 집안일을 돕거나, 공장에서 복잡한 조립 작업을 대신하는 시대를 앞당길 것으로 기대됩니다.

기술 요약

1. 문제 정의 (Problem Statement)

로봇 조작 및 임베디드 AI 분야에서 다재도 있는 손 (Dexterous Hand) 을 이용한 물체 조작은 물리적으로 실행 가능한 복잡한 동작을 계획해야 한다는 점에서 핵심적인 난제입니다. 기존 연구들은 주로 다음과 같은 한계를 가졌습니다:

• 객체 중심 접근: 특정 물체의 정적인 그립 (Grasp) 포즈에 집중하여, 긴 시간 범위 (Long-horizon) 의 연속적인 조작 시퀀스를 생성하지 못함.
• 명령의 부재: 개방형 어휘 (Open-vocabulary) 의 자연어 명령을 이해하여 다양한 조작 작업을 지시하는 능력이 부족함.
• 데이터 의존성: 실제 로봇의 원격 조종 (Teleoperation) 데이터를 대량으로 수집해야 하는 높은 비용과 데이터 부족 문제.
• 물리성 결여: 생성된 동작 시퀀스가 물리적으로 실행 가능하거나 매끄럽지 않아 실제 로봇 적용 시 실패율이 높음.

2. 제안 방법론 (Methodology: UniHM)

저자들은 UniHM이라는 통합 프레임워크를 제안하며, 이는 자유 형식의 언어 명령에 기반하여 다양한 형태의 다재도 있는 손 (Dexterous Hand) 을 위한 조작 시퀀스를 생성합니다. 주요 구성 요소는 다음과 같습니다.

가. 자동 데이터 주석 및 리타게팅 (Auto Data Annotation & Retargeting)

• 데이터 생성: GPT-4o 를 활용하여 인간 - 물체 상호작용 (HOI) 비디오의 핵심 프레임에 대해 개방형 어휘의 자연어 명령을 자동 주석합니다.
• 리타게팅: MANO(인간 손) 포즈를 Shadow, Allegro, SVH, Leap, Panda 등 5 가지 서로 다른 로봇 손으로 매핑합니다.
• 물리 최적화: 매핑된 시퀀스에 에너지 기반 물리 최적화를 적용하여 충돌 방지 및 물리적으로 일관된 조작 시퀀스를 확보합니다.

나. 통합 다재도 있는 손 토크나이저 (Unified Hand-Dexterous Tokenizer)

• 형태 무관 코드북 (Morphology-Agnostic Codebook): 서로 다른 손의 운동학 (Kinematics) 을 단일 공유 VQ-VAE(VQ Token) 코드북으로 매핑합니다.
• 지식 증류 (Knowledge Distillation): 새로운 손 형태를 통합할 때, 참조 인코더 (Reference Encoder) 와의 지식을 증류하여 토크나이저의 잠재 공간 (Latent Space) 을 정렬합니다. 이를 통해 그라디언트 불연속성을 우회하고 새로운 손에 대한 일반화 능력을 향상시킵니다.
• 효과: 하나의 토큰 시퀀스를 다양한 로봇 손의 구체적인 관절 궤적으로 디코딩하여 직접 재사용 및 전이가 가능합니다.

다. 비전 - 언어 모델 기반 조작 (VLM-based Manipulation)

• 아키텍처: Qwen3-0.6B 를 베이스로 한 경량화된 VLM 을 사용합니다.
  • CLIPort 모듈: RGB-D 이미지와 언어 명령을 입력받아 목표 궤적 (Target Trajectory) 과 객체 포인트 클라우드를 추정합니다.
  • VLM 생성: 추정된 궤적, 객체 정보, 텍스트 명령을 입력받아 VQ-VAE 잠재 공간의 토큰 시퀀스를 생성합니다.
• 점진적 마스킹 학습 (Progressive Masked Training): 학습 초기에는 정답 (Ground Truth) 을 제공하고, 점차 마스킹 비율을 높여 언어와 이전 토큰 히스토리만으로 시퀀스를 생성하도록 훈련합니다. 이는 추론 단계의 도메인 시프트 (Distribution Shift) 에 대한 강건성을 높입니다.

라. 물리 유도 동적 정제 (Physics-Guided Dynamic Refinement)

• 생성된 초기 궤적 ($Q_{gen}$) 이 물리적으로 실행 가능하도록 사후 최적화를 수행합니다.
• 에너지 함수 구성:
  1. 접촉 에너지 (Contact Energy): 손가락 끝이 물체 표면에 침투하지 않고 자연스럽게 접촉하도록 비대칭 스무스 페널티 함수를 적용합니다.
  2. 생성 사전 (Generative Prior): 생성 모델의 의도 (Semantic Intent) 를 유지하도록 penalize 합니다.
  3. 시간적 사전 (Temporal Prior): 속도 및 가속도 프로파일을 매끄럽게 하여 시간적 일관성을 보장합니다.
• 최적화: Gauss-Newton 방법과 Levenberg-Marquardt 감쇠를 사용하여 프레임 단위로 최적화합니다.

3. 주요 기여 (Key Contributions)

1. 통합 다재도 있는 손 조작 프레임워크: 정적인 그립을 넘어, 이미지와 개방형 언어 명령으로부터 동적인 다재도 있는 손 조작 시퀀스를 생성하는 최초의 통합 프레임워크.
2. 형태 무관 코드북 (Morphology-Agnostic Codebook): 이질적인 손 형태를 단일 이산 동작 격자로 매핑하여 로봇 간 토큰 재사용 및 전이를 가능하게 함.
3. 물리 유도 동적 궤적 최적화: 생성적 사전, 시간적 사전, 접촉 인식 동적 최적화를 결합하여 매끄럽고 물리적으로 실행 가능한 시퀀스를 도출.
4. 원격 조종 데이터 불필요 (Generalization without Teleoperation): 고비용의 원격 조종 데이터 대신 인간 비디오 데이터를 학습하여 다양한 시나리오와 지시에 대한 강력한 일반화 성능 달성.

4. 실험 결과 (Results)

• 데이터셋: DexYCB 및 OakInk 데이터셋에서 평가.
• 성능 비교: 기존 최첨단 방법 (TM2T, MDM, FlowMDM, MotionGPT3 등) 보다 MPJPE(관절 위치 오차), FPL/FOL(최종 위치/방향 오차), FID(생성 리얼리즘) 등 모든 지표에서 우수한 성능을 기록.
  • 특히 **보이지 않는 객체 (Unseen Objects)**와 보이지 않는 궤적에서 뛰어난 일반화 능력을 입증.
• 실제 환경 평가 (Real-World): Franka 팔과 Panda/XHand/Inspire 손을 사용하여 실제 실험 수행.
  • 성공률: 그립, 픽앤플레이스, 당기기/밀기, 열기/닫기 등 다양한 작업에서 기존 방법 대비 월등히 높은 성공률 (예: 그립 작업 65% vs 기존 20~30%) 달성.
• Ablation Study: 깊이 입력 (Depth Input), 마스킹 학습, 물리 정제 모듈이 각각 성능 향상에 필수적임을 확인.

5. 의의 및 결론 (Significance)

UniHM 은 로봇 조작 분야에서 언어 기반 지시와 물리적으로 실행 가능한 복잡한 동작을 통합하는 중요한 전환점을 제시합니다.

• 확장성: 특정 로봇 손에 종속되지 않고 다양한 형태의 다재도 있는 손에 적용 가능한 범용 아키텍처를 제공.
• 실용성: 고비용 데이터 수집 없이 인간 비디오 데이터만으로 학습하여 실제 로봇 시스템 개발의 진입 장벽을 낮춤.
• 신뢰성: 생성된 동작에 물리 기반 정제를 도입하여 시뮬레이션 및 실제 환경에서의 실행 가능성을 보장.

이 연구는 인간 중심의 복잡한 조작 작업을 수행하는 임베디드 에이전트의 발전에 중요한 기여를 하며, 향후 촉각 피드백 통합 및 양손/도구 사용 시나리오로 확장될 수 있는 기반을 마련했습니다.