Learning Humanoid End-Effector Control for Open-Vocabulary Visual Loco-Manipulation

이 논문은 대규모 시각 모델의 일반화 능력과 시뮬레이션 기반의 정밀한 잔차 인식 말단 효과기 제어 방식을 결합하여, 다양한 실세계 환경에서 인간형 로봇이 개방형 어휘로 일상 사물을 조작할 수 있는 새로운 패러다임인 HERO 를 제안합니다.

핵심

이 논문은 로봇이 인간의 눈과 손처럼, 낯선 환경에서 낯선 물건을 자연스럽게 집어 올리는 능력을 어떻게 만들어냈는지 설명합니다.

기존의 로봇들은 "이것을 집어라"라고 말하면, 그 물건의 위치를 정확히 모르면 혼란에 빠지거나, 물건을 잡으려다 넘어지거나, 손이 물건을 정확히 잡지 못해 실패했습니다. 이 논문은 Unitree G1이라는 휴머노이드 로봇을 이용해, **"HERO"**라는 새로운 시스템을 개발하여 이 문제를 해결했습니다.

이 복잡한 기술을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제: 로봇은 왜 물건을 못 잡을까?

로봇이 물건을 잡으려면 두 가지가 동시에 잘 되어야 합니다.

1. 눈 (시각): "저기 빨간 사과가 있구나!"라고 알아보는 것.
2. 손 (제어): "그 사과를 정확히 잡으려면 내 몸통을 이렇게 비틀고, 무릎을 이렇게 굽혀야 해!"라고 계산해서 움직이는 것.

기존 연구들은 이 두 가지를 따로따로 하거나, 로봇이 직접 수많은 실수를 반복하며 배우게 (모방 학습) 했습니다. 하지만 로봇이 실수를 반복하며 배우는 데는 시간이 너무 오래 걸리고, 새로운 물건이 나오면 다시 배워야 하는 한계가 있었습니다.

2. 해결책: HERO 시스템의 3 단계 전략

이 논문은 로봇을 **"지능적인 기획자"**와 **"정교한 운동선수"**로 나누어 역할을 분담시켰습니다.

① 기획자 역할: "대형 AI 의 눈" (시각)

로봇은 사람의 눈처럼 직접 사물을 보고 판단하지 않습니다. 대신 **이미 훈련된 거대 AI 모델 (Grounding DINO, SAM 등)**을 빌려옵니다.

• 비유: 로봇이 직접 "저게 사과인가?"라고 고민하는 게 아니라, **세계적인 요리사 (AI)**에게 "저기 빨간 사과를 찾아줘"라고 말하면, 요리사가 "여기 있네!"라고 정확히 알려주는 방식입니다.
• 이 덕분에 로봇은 처음 보는 물건 (예: '스팸 캔'이나 '장난감 개') 이라도 언어로만 설명해주면 즉시 찾아낼 수 있습니다.

② 운동선수 역할: "정밀한 근육 제어" (HERO)

이게 이 논문의 핵심입니다. AI 가 "여기 잡으라고" 알려줘도, 로봇의 손이 그 위치를 정확히 잡지 못하면 소용없습니다.

• 문제: 기존 로봇들은 손끝이 목표 지점까지 8~13cm 정도 어긋나는 경우가 많았습니다. 컵을 잡으려다 컵을 엎치거나, 책상 아래로 떨어뜨리는 실수가 자주 발생했죠.
• 해결 (HERO): 연구팀은 로봇의 손끝을 2.5cm 이내로 정확히 맞추는 기술을 개발했습니다.
  • 비유: 마치 마술사가 실수가 없도록 연습한 것처럼, 로봇의 손이 목표물을 향해 날아갈 때, "아, 내가 1cm 정도 빗나갔네?"라고 스스로 감지하고 실시간으로 궤도를 수정합니다.
  • 이를 위해 로봇의 관절이 실제로 어디에 있는지, 몸이 얼마나 움직였는지를 **신경망 (AI)**이 분석하여 기계적인 오차까지 보정해 줍니다.

③ 전체적인 몸짓: "유연한 요가" (전신 제어)

물건을 잡으러 갈 때 로봇은 단순히 팔만 뻗지 않습니다.

• 비유: 사람이 낮은 탁자 아래에 있는 물건을 잡을 때, 허리를 굽히고, 엉덩이를 낮추고, 상체를 비틀며 균형을 잡는 것처럼, 로봇도 전신을 유연하게 움직여 균형을 유지하며 물건을 잡습니다.
• 이 시스템은 로봇이 넘어지지 않으면서도 최대한 멀리, 낮은 곳까지 손을 뻗을 수 있게 해줍니다.

3. 실제 성과: 얼마나 잘할까?

연구팀은 로봇을 실제 사무실, 카페, 교실 등 다양한 곳에 데려갔습니다.

• 결과: 로봇은 **90%**의 성공률로 낯선 물건 (커피 머그잔, 사과, 장난감 등) 을 성공적으로 집어 올렸습니다.
• 특이사항: 로봇은 물건을 집어 올릴 때 **스쿼트 (허리 굽히기)**를 하거나, 몸을 비틀어 물건을 잡는 등 인간처럼 자연스러운 동작을 보여줬습니다.

4. 왜 이 연구가 중요한가?

이전까지 로봇은 "정해진 장소의 정해진 물건"만 다룰 수 있었습니다. 하지만 이 시스템은 "언어로 지시하면, 어떤 물건이든, 어디에 있든 집어 올리는" 능력을 보여줬습니다.

• 핵심 메시지: 로봇이 물건을 잡는 일은 단순히 "손을 움직이는 것"이 아니라, 눈으로 보고, 머리로 계산하고, 온몸으로 균형을 잡는 통합적인 기술입니다. 이 논문은 이 모든 것을 잘 조화시켜, 로봇이 우리 일상생활 (사무실 정리, 컵 가져오기 등) 에 실제로 들어올 수 있는 길을 열었습니다.

요약

이 논문은 **"거대 AI 의 눈 (기획)"**과 **"정밀한 근육 제어 (운동선수)"**를 결합하여, 로봇이 인간처럼 유연하게 움직이며 낯선 물건을 정확히 잡는 능력을 완성했다는 것을 보여줍니다. 이제 로봇은 더 이상 "어디에 있는지 알려줘야만" 움직이는 기계가 아니라, "무엇을 원하는지 말해주면 스스로 찾아서 잡는" 똑똑한 도우미가 될 수 있게 되었습니다.

기술 요약

이 논문은 HERO(Humanoid End-Effector Control for Open-Vocabulary Visual Loco-Manipulation) 라는 새로운 시스템을 제안하여, 인간형 로봇이 onboard 센서 (RGB-D 카메라 등) 만을 사용하여 새로운 환경과 새로운 물체를 대상으로 시각 기반의 이동 조작 (Loco-Manipulation) 을 자율적으로 수행할 수 있도록 합니다.

주요 내용은 다음과 같습니다.

1. 문제 정의 (Problem)

• 과제: 인간형 로봇이 일상생활 환경 (사무실, 카페 등) 에서 자연어 명령 (예: "오렌지색 머그컵을 가져와") 을 받아, 다양한 높이와 형태의 물체를 찾아서 잡고 들어 올리는 작업입니다.
• 난이도:
  • 고차원 시각 입력: RGB-D 이미지를 통해 물체의 위치와 충돌 기하학을 실시간으로 추론해야 합니다.
  • 정밀한 제어: 물체 조작은 단순히 착지하는 것 (예: 뒤집기) 과 달리 손끝 (End-Effector, EE) 이 물체의 정확한 위치에 도달해야 하므로 매우 높은 정밀도가 요구됩니다.
  • 전신 제어 (Whole-body Control): 로봇은 물체에 도달하기 위해 허리를 굽히거나, 비틀거나, 무릎을 구부려 앉는 등 전신 균형을 유지하며 움직여야 합니다.
• 기존 접근법의 한계: 기존 연구는 대규모 실세계 모방 학습 (Imitation Learning) 에 의존하는데, 데이터 수집의 어려움으로 인해 새로운 환경이나 물체로 일반화 (Generalization) 하는 능력이 부족했습니다. 또한, 기존 인간형 로봇 제어 정책들은 EE 추적 오차가 8~13cm 로, 정밀한 조작에는 적합하지 않았습니다.

2. 방법론 (Methodology)

저자들은 모듈러 시스템 (Modular System) 을 채택하여 시각적 일반화와 정밀한 제어 성능을 결합했습니다. 시스템은 크게 '행동 계획 (Planning)'과 '행동 실행 (Execution)'으로 분리됩니다.

A. 모듈러 아키텍처

1. 시각적 인식 (Visual Perception):

   • Open-Vocabulary 이해: Grounding DINO 와 SAM(Segment Anything) 같은 대규모 비전 모델 (LVMs) 을 사용하여 자연어 쿼리에 해당하는 물체를 분할하고 식별합니다.
   • 그립 생성: AnyGrasp 모델을 사용하여 물체에 대한 병렬 턱 그립 (parallel jaw grasp) 포즈를 예측합니다.
   • Retargeting: 예측된 그립 포즈를 Unitree G1 로봇의 Dex-3 손에 맞게 재조정합니다.

2. 정밀한 End-Effector 추적 정책 (HERO Tracker):

   • 역운동학 (IK) 및 경로 계획: 목표 EE 포즈를 상체 관절 각도와 베이스 높이로 변환하고, 충돌 없는 상체 참조 궤적을 생성합니다.
   • 학습된 잔차 신경망 모델 (Learned Residual Neural Models):
     • 잔차 신경 FK (Forward Kinematics): 저가형 인간형 로봇의 기계적 오차로 인해 분석적 FK 가 부정확합니다. 이를 보정하기 위해 신경망이 분석적 FK 의 오차를 학습하여 보정합니다.
     • 잔차 신경 오도메트리 (Leg Odometry): 로봇이 이동하거나 상체를 움직일 때 베이스 (몸통) 가 움직이므로, 발이 고정되었다고 가정하고 하체 관절 상태를 기반으로 베이스의 실제 위치 변화를 신경망으로 추정합니다.
   • 재계획 (Replanning): 실행 중 발생하는 드리프트 (Drift) 를 보정하기 위해 일정 시간 간격마다 참조 궤적을 재계산합니다.
   • 목표 조정 (Goal Adjustment): 현재 EE 오차를 기반으로 목표 위치를 보정하여 시스템적 오차를 줄입니다.

3. 주요 기여 (Key Contributions)

1. 정밀한 EE 추적 정책 개발: 기존 8~13cm 의 오차를 2.5cm 이하로 획기적으로 줄였습니다. 이는 분석적 FK 와 오도메트리의 오차를 신경망 잔차 모델로 보정하고, 재계획 및 목표 조정 기법을 도입한 결과입니다.
2. 오픈-어휘 (Open-Vocabulary) 이동 조작 시스템: 대규모 비전 모델의 일반화 능력과 시뮬레이션에서 학습된 정밀 제어 정책을 결합하여, 훈련 데이터에 없는 새로운 물체와 환경에서도 성공적으로 작동합니다.
3. 전신 균형 유지 하의 조작: 허리를 굽히고 비틀며 균형을 잡는 복잡한 전신 제어를 통해 다양한 높이 (43cm~92cm) 의 물체를 안정적으로 조작할 수 있음을 입증했습니다.

4. 실험 결과 (Results)

• 시뮬레이션 및 실세계 추적 정확도: HERO 는 시뮬레이션과 MoCap(모션 캡처) 환경에서 평균 EE 추적 오차 2.44cm를 달성하여, 기존 최첨단 방법 (FALCON, AMO 등) 보다 3.2 배 더 정확했습니다.
• 실세계 그립 성공률:
  • 새로운 물체: 10 가지 일상 물체에 대해 일반 테이블과 낮은 테이블에서 **90%**의 성공률을 기록했습니다.
  • 새로운 환경: 10 가지 일상적인 장면 (사무실, 카페 등) 에서 **73.3%**의 성공률을 보였습니다.
  • 혼잡한 환경: 물체가 뒤섞인 5 가지 장면에서 **80%**의 성공률을 달성했습니다.
• 전신 도달 공간 분석: 허리를 굽히는 기능을 포함함으로써 단일 팔만 사용하는 경우보다 도달 가능한 작업 공간 (Workspace) 을 약 2.1 배 증가시켰습니다.

5. 의의 및 결론 (Significance)

이 연구는 인간형 로봇이 일상적인 물체와 상호작용하는 데 있어 모듈러 시스템이 대규모 실세계 모방 학습보다 더 확장 가능하고 효과적인 대안이 될 수 있음을 보여줍니다. 특히, 정밀한 EE 제어가 가능해짐으로써 다른 플랫폼 (예: 고정형 로봇 팔) 에서 학습된 조작 정책도 인간형 로봇에 쉽게 배포할 수 있는 길을 열었습니다. 이는 인간형 로봇이 복잡한 일상 환경에서 자율적으로 작업을 수행할 수 있는 중요한 이정표가 됩니다.