ULTRA: Unified Multimodal Control for Autonomous Humanoid Whole-Body Loco-Manipulation

이 논문은 물리 기반 신경 리타게팅 알고리즘과 강화 학습을 결합한 통합 멀티모달 제어 프레임워크인 ULTRA 를 제안하여, 인간형 로봇이 사전 정의된 동작 참조 없이도 egocentric 시각 입력만으로 자율적인 전신 loco-manipulation 을 수행할 수 있도록 합니다.

핵심

이 논문은 **"ULTRA"**라는 이름의 새로운 인공지능 시스템을 소개합니다. 이 시스템은 인간형 로봇 (휴머노이드) 이 복잡한 환경에서 물건을 들고 옮기거나, 다양한 작업을 스스로 수행할 수 있도록 돕는 '두뇌' 역할을 합니다.

기존의 로봇들은 마치 무용수가 미리 짜인 안무 (참고 영상) 를 따라 춤을 추는 것처럼, 정해진 동작만 반복할 수 있었습니다. 하지만 ULTRA 는 실제 상황을 보고 스스로 판단하여 춤을 추는 프로 댄서와 같습니다.

이 복잡한 기술을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제점: 로봇은 왜 '안무'만 따라 할까?

지금까지 로봇을 가르치는 방식은 크게 두 가지 한계가 있었습니다.

• 안무가 너무 많으면: 로봇이 기억해야 할 동작이 너무 많아서 혼란스럽습니다.
• 안무가 없으면: 로봇이 "상자를 들어라"라는 말만 듣고는 어떻게 해야 할지 몰라 멈춰 섭니다.
• 가장 큰 문제: 로봇이 물건을 잡을 때, 발이 미끄러지거나 물건을 떨어뜨리는 등 물리 법칙을 무시한 엉뚱한 동작을 자주 합니다.

2. ULTRA 의 해결책: 3 단계로 이루어진 '스마트 훈련 과정'

ULTRA 는 로봇을 가르칠 때 세 가지 단계를 거칩니다. 마치 훌륭한 요리사가 요리를 배우는 과정과 비슷합니다.

1 단계: "현실적인 요리법 만들기" (물리 기반 동작 재구성)

• 비유: 인간이 하는 동작을 로봇에게 그대로 복사하려다 보면, 로봇의 몸 구조가 달라서 넘어지거나 물건을 떨어뜨릴 수 있습니다.
• ULTRA 의 방법: ULTRA 는 인간의 동작 데이터를 가져와서, 로봇의 몸체와 물리 법칙 (중력, 마찰력 등) 을 고려해 다시 계산합니다. 마치 인간이 하는 '스프링' 동작을 로봇이 할 수 있도록 로봇의 관절과 근육에 맞게 자연스럽게 변형해 주는 것입니다.
• 결과: 로봇이 물건을 들 때 발이 미끄러지지 않고, 물건을 꽉 잡는 등 현실적으로 가능한 동작을 만들어냅니다.

2 단계: "명예 교수의 지도" (특권 교사 학습)

• 비유: 로봇에게 완벽한 지도를 주는 '교수님 (Teacher)'이 있습니다. 이 교수는 로봇이 보는 것뿐만 아니라, 로봇이 모르는 모든 정보 (정확한 물체 위치, 미래의 상태 등) 를 알고 있습니다.
• ULTRA 의 방법: 이 '교수님'이 먼저 완벽한 동작을 배웁니다. 하지만 실제 로봇은 교수님처럼 모든 정보를 알 수 없습니다. 그래서 교수님의 지식을 가상 현실 (시뮬레이션) 에서 완벽하게 훈련시킵니다.

3 단계: "실전 연습과 적응" (학생 학습 및 강화)

• 비유: 이제 '학생 (Student)' 로봇이 실전에 나갑니다. 학생은 교수님처럼 모든 정보를 알지 못합니다. 카메라 (눈) 로 보는 것만으로는 물체의 위치가 흐릿할 수도 있고, "상자를 저쪽으로 가져가라"라는 간단한 명령만 들을 수도 있습니다.
• ULTRA 의 방법:
  • 지식 전수: 교수님이 배운 기술을 학생에게 압축해서 가르칩니다.
  • 실전 훈련 (RL): 학생이 실수할 때, "아, 이럴 때는 이렇게 해야지"라고 스스로 학습하게 합니다.
  • 유연성: 안무 (참고 영상) 가 있으면 그걸 따라 하고, 안무가 없으면 "상자를 들어라"라는 말만으로도 스스로 판단해 움직입니다.

3. ULTRA 의 놀라운 능력

이 시스템은 세 가지 상황을 모두 잘 처리합니다.

1. 정밀한 안무 추종 (Dense Tracking):

   • 상황: "이 영상 속 동작을 똑같이 따라 해."
   • 결과: 로봇이 인간이 하는 복잡한 춤이나 물체 조작을 거의 완벽하게 따라 합니다.

2. 세부 명령 수행 (Fine-grained Control):

   • 상황: "상자를 들어 올려서 오른쪽으로 옮겨."
   • 결과: 구체적인 동작을 정해주지 않아도, 로봇이 스스로 상자를 들고 이동하는 최적의 경로를 찾아냅니다.

3. 자신만의 눈으로 목표 달성 (Long-horizon Goal Following):

   • 상황: "저기 있는 상자를 찾아서 가져와." (오직 로봇의 카메라만 사용)
   • 결과: 외부의 정밀한 센서 없이, 로봇이 자신의 카메라로 주변을 보며 상자를 찾아내고, 잡고, 목표 지점까지 가져갑니다.

4. 실제 실험 결과 (Unitree G1 로봇)

연구진은 이 기술을 실제 로봇 (Unitree G1) 에 적용했습니다.

• 시뮬레이션에서: 다른 로봇들보다 훨씬 더 안정적으로 물건을 들고 옮겼습니다.
• 실제 세상에서: 카메라로만 보고도 상자를 들고 이동하는 데 성공했습니다. 특히, 예상치 못한 장애물이나 명령이 들어와도 스스로 균형을 잡고 회복하는 능력을 보여주었습니다.

요약: 왜 이것이 중요한가요?

기존의 로봇은 **"무대 위의 인형"**처럼 정해진 대로만 움직였습니다. 하지만 ULTRA 를 통해 로봇은 **"현실 세계의 활동적인 파트너"**가 되었습니다.

• 안무가 없어도: 스스로 판단합니다.
• 환경이 복잡해도: 넘어지지 않습니다.
• 다양한 명령: "춤춰", "상자 들어", "저기 가" 등 어떤 명령이 들어와도 유연하게 대응합니다.

결론적으로, ULTRA 는 인간형 로봇이 집안일이나 공장 작업 등 실제 세상에서 유용하게 쓰일 수 있는 첫걸음을 내딛게 해주는 획기적인 기술입니다.

기술 요약

1. 문제 정의 (Problem)

인간형 로봇 (Humanoid) 이 실제 환경에서 자율적으로 이동 (Locomotion) 과 조작 (Manipulation) 을 동시에 수행하는 Whole-Body Loco-Manipulation은 여전히 주요한 장벽에 직면해 있습니다. 기존 접근 방식들은 다음과 같은 근본적인 한계가 있습니다:

• 데이터의 부재 및 품질 저하: 인간 모션 캡처 데이터를 로봇에 매핑 (Retargeting) 할 때, 물리적으로 일관성이 없거나 접촉 (Contact) 이 풍부한 상호작용에서 실패하는 경우가 많습니다.
• 스케일링의 어려움: 기존 방법들은 제한된 기술 집합 (Skill repertoire) 에만 작동하며, 대규모 기술 데이터셋으로 확장하기 어렵습니다.
• 의존성 문제: 대부분의 컨트롤러는 사전에 정의된 모션 참조 (Reference Motion) 를 추적하는 데만 의존합니다. 즉, 센서 입력 (자세, 시각 정보) 만으로 고수준의 작업 목표를 달성하는 지각 기반 (Perception-driven) 자율 제어가 부족합니다.
• 고정된 조건부 구조: 기존 아키텍처는 특정 입력 유형 (예: 정밀한 모션 캡처 데이터) 에 맞춰져 있어, 입력이 부족하거나 노이즈가 있는 실제 환경 (Egocentric perception) 에서 불안정해집니다.

2. 방법론 (Methodology)

저자들은 ULTRA(Unified Multimodal Control for Autonomous Humanoid) 라는 통합 프레임워크를 제안합니다. 이는 크게 두 가지 핵심 구성 요소와 4 단계 학습 파이프라인으로 구성됩니다.

A. 핵심 구성 요소

1. 물리 기반 신경 리타게팅 (Physics-driven Neural Retargeting):

   • 대규모 인간 - 물체 모션 캡처 (MoCap) 데이터를 인간형 로봇 (Unitree G1) 에 매핑하는 알고리즘입니다.
   • 기존 운동학적 (Kinematic) 리타게팅과 달리, 물리 시뮬레이션을 제약 조건으로 포함하여 접촉 (Contact) 과 동역학 (Dynamics) 을 고려합니다.
   • 강화학습 (RL) 을 통해 대규모로 학습하며, 물리적으로 실행 가능한 궤적을 생성하고 데이터 증강 (Augmentation) 을 지원합니다.

2. 통합 멀티모달 컨트롤러 (Unified Multimodal Controller):

   • 교사 - 학생 (Teacher-Student) 증류 (Distillation):
     • Stage 1 (Teacher): 완전한 상태 정보 (Privileged State) 와 밀집된 모션 참조를 가진 '특권 교사' 정책을 학습하여 물리적으로 정확한 추적을 수행합니다.
     • Stage 2 (Student): 실제 배포 환경 (부분 관측, 노이즈, 다양한 센서 입력) 에서 작동하는 '학생' 정책을 증류합니다.
   • 가용성 마스킹 (Availability Masking): 참조 모션이 있든, 희소한 작업 목표 (Sparse Goal) 가 있든, 혹은 시각 입력 (Point Cloud) 만 있든 상관없이 하나의 정책으로 처리할 수 있도록 설계되었습니다.
   • 잠재 변수 병목 (Variational Skill Bottleneck): 희소한 목표 하에서도 일관된 운동을 유지하기 위해 잠재 공간 (Latent Space) 을 활용하며, RL 미세 조정 (Finetuning) 을 통해 분포 외 (OOD) 상황에서의 강건성을 높입니다.

B. 4 단계 학습 파이프라인

1. 신경 리타게팅: RL 기반 정책으로 MoCap 데이터를 물리적으로 실행 가능한 로봇 궤도로 변환.
2. 특권 교사 학습 (Tracking): 변환된 궤적을 완전한 상태 정보로 추적하는 교사 정책 학습.
3. 멀티모달 증류: 교사를 학생 정책으로 증류하며, 다양한 센서 입력 (MoCap, 깊이 카메라, 관성 센서 등) 과 목표 조건을 처리하도록 훈련.
4. RL 미세 조정 (Finetuning): 증류된 학생 정책에 RL 을 적용하여 목표 달성 능력을 강화하고 분포 외 상황 (OOD) 에 대한 강건성을 확보.

3. 주요 기여 (Key Contributions)

1. 물리 기반 확장성 있는 리타게팅: 운동학적 제약만 고려하는 기존 방식의 한계를 극복하고, 접촉이 풍부한 상호작용에서도 물리적으로 타당한 대규모 모션 데이터를 생성하는 단일 정책 파이프라인을 제시했습니다.
2. 통합 멀티모달 제어 정책: 밀집된 모션 참조 (Dense Reference) 와 희소한 작업 목표 (Sparse Goal), 그리고 다양한 센서 입력 (정밀 MoCap 부터 노이즈가 많은 자체 시점 시각 입력까지) 을 하나의 정책으로 통합했습니다.
3. 실제 로봇 배포 검증: 시뮬레이션뿐만 아니라 실제 Unitree G1 로봇에서 자율적인 이동 - 조작 작업을 성공적으로 수행함을 입증했습니다. 참조 모션 없이도 시점 기반 (Egocentric) 지각만으로 장거리 목표 추적을 수행할 수 있습니다.
4. 강건한 잠재 공간 학습: RL 미세 조정을 통해 모호한 목표 하에서도 일관된 행동을 생성하고, 분포 외 (OOD) 환경에서도 성공률을 크게 향상시켰습니다.

4. 실험 결과 (Results)

• 리타게팅 품질: 기존 방법 (OmniRetarget, PHC 등) 대비 발 미끄러짐 (Foot skating), 침투 (Penetration), 손 - 물체 접촉 손실 (Contact floating) 을 획기적으로 줄였습니다.
• 추적 성능: 밀집된 참조 모션이 주어졌을 때, 특권 교사 (Privileged Teacher) 와 유사한 추적 성능을 달성하면서도, 참조가 없는 희소한 목표 조건에서도 높은 성공률을 보였습니다.
• OOD 일반화: RL 미세 조정 없이는 OOD(새로운 물체 크기, 새로운 모션) 에서 성능이 급격히 떨어지지만, RL 미세 조정을 적용하면 성공률이 크게 향상되었습니다 (예: 포인트 클라우드 기반 목표 추척에서 성공률 80% 증가).
• 실제 로봇 (Unitree G1) 성능:
  • 밀집 참조 추적: 73% 성공률 (수직), 73% (수평).
  • 희소한 목표 추척 (MoCap): 80~90% 성공률.
  • 희소한 목표 추척 (Egocentric/Depth): 50~60% 성공률. (참고: 실제 환경의 노이즈와 마커 가림 등으로 인해 MoCap 모드보다 낮지만, 참조 없이 자율 수행이 가능함을 입증).
• 잠재 공간 분석: t-SNE 시각화를 통해 학습된 잠재 공간이 제어 모드 (추적 vs 목표 추척) 와 운동 의미 (Semantic) 에 따라 구조화되어 있음을 확인했습니다.

5. 의의 및 결론 (Significance)

ULTRA 는 인간형 로봇의 실용적인 이동 - 조작 작업을 위한 단일 통합 솔루션을 제시합니다.

• 자율성 강화: 사전 정의된 모션 참조에 의존하지 않고, 센서 입력과 고수준 목표만으로 복잡한 작업을 수행할 수 있는 능력을 입증했습니다.
• 확장성: 대규모 모션 데이터셋을 물리적으로 일관되게 변환하고, 이를 하나의 정책으로 증류하여 다양한 작업과 환경에 적용 가능한 확장 가능한 패러다임을 제시했습니다.
• 실제 적용 가능성: 시뮬레이션과 실제 로봇 (Unitree G1) 모두에서 검증되었으며, 특히 노이즈가 많은 시각 센서와 불완전한 상태 추정 하에서도 안정적인 제어가 가능함을 보여줌으로써 인간형 로봇의 실제 환경 적용 가능성을 크게 높였습니다.

이 연구는 인간형 로봇이 고정된 스크립트를 재생하는 것을 넘어, 지각과 목표에 기반한 유연하고 자율적인 행동을 생성하는 새로운 방향을 제시한다는 점에서 의미가 큽니다.