ZeroWBC: Learning Natural Visuomotor Humanoid Control Directly from Human Egocentric Video

이 논문은 대규모 로봇 원격 조종 데이터 없이도 인간 1 인칭 시점 비디오만으로 자연스러운 전신 인간형 로봇 제어를 가능하게 하는 'ZeroWBC' 프레임워크를 제안하고, 이를 통해 인간형 로봇의 자연스러운 행동과 다용도성을 크게 향상시켰음을 보여줍니다.

핵심

제로WBC: 로봇에게 '인간처럼' 걷고 행동하는 법을 가르치는 혁신적인 방법

이 논문은 휴머노이드 로봇이 복잡한 세상에서 인간처럼 자연스럽게 행동하는 법을 배우는 새로운 방법, **'제로WBC (ZeroWBC)'**를 소개합니다.

기존의 로봇들은 무거운 원격 조종 장비를 쓰거나, 시뮬레이션에서만 훈련받아 현실 세계에 나오면 어색하게 움직이는 경우가 많았습니다. 하지만 이 새로운 방법은 마치 유튜브나 인스타그램을 보며 로봇을 가르치는 것처럼, 인간의 일상 영상을 통해 로봇을 학습시킵니다.

이 복잡한 기술을 쉽게 이해할 수 있도록 세 가지 단계로 나누어 설명해 드릴게요.

---

1. 문제: 왜 로봇은 아직 '인간' 같지 않을까?

지금까지 로봇을 가르치려면 두 가지 방법 중 하나를 썼습니다.

• 방법 A (원격 조종): 사람이 직접 로봇을 조종하며 데이터를 모으는 것. (너무 비싸고 귀찮음)
• 방법 B (시뮬레이션): 컴퓨터 게임 속에서만 훈련시키는 것. (현실과 달라서 실제 로봇에 적용하면 엉망이 됨)

이 두 방법 모두 로봇이 "의자에 앉기"나 "공 차기" 같은 복잡한 행동을 자연스럽게 하기는 어렵게 만들었습니다. 로봇은 마치 춤을 추는 인형처럼 딱딱하게 움직일 뿐, 주변 환경을 보고 반응하는 '인간 같은' 행동은 못 했습니다.

2. 해결책: 제로WBC의 두 단계 마법

저자들은 **"로봇을 직접 조종하지 말고, 인간의 영상을 보고 배우게 하자"**는 아이디어를 제안했습니다. 이를 위해 두 단계의 마법을 사용합니다.

1 단계: "영웅 영화 감독" (모션 생성 AI)

• 역할: 로봇에게 "소파에 앉아서"라고 말하면, 로봇이 어떻게 움직여야 할지 구체적인 동작 시나리오를 만들어주는 역할입니다.
• 비유: 마치 영화 감독이 배우에게 "이제 소파에 앉아서 커피를 마셔"라고 지시하면, 배우가 그 상황을 상상하며 자연스럽게 앉는 동작을 떠올리는 것과 같습니다.
• 작동 원리:
  • 로봇은 자신의 눈 (카메라) 으로 주변을 보고, 사용자의 명령 (예: "공을 차라") 을 듣습니다.
  • 이 정보를 바탕으로 거대한 AI 모델 (VLM) 이 **"인간이 이 상황에서 어떻게 움직일지"**에 대한 시나리오를 만듭니다.
  • 이때, 로봇은 직접 실패를 겪으며 배우는 게 아니라, 수천 시간의 인간 일상 영상을 통해 이미 '어떻게 행동해야 하는지'를 배워왔습니다.

2 단계: "완벽한 무용 교습사" (모션 추적 AI)

• 역할: 1 단계에서 만든 시나리오를 로봇의 몸 (관절) 에 맞게 정확히 따라 하게 만드는 역할입니다.
• 비유: 무용 교습사가 학생에게 "팔을 이렇게 들어라"라고 시범을 보이면, 학생이 그 동작을 완벽하게 따라 하는 것과 같습니다.
• 작동 원리:
  • 1 단계에서 만든 '인간의 동작'을 로봇의 관절에 맞게 변형 (리타겟팅) 합니다.
  • 로봇은 이 동작을 따라 하기 위해 강화 학습을 통해 훈련받았습니다. 마치 춤 연습을 할 때, 처음에는 쉬운 동작부터 시작해 점점 어려운 동작을 배우는 커리큘럼 학습 방식을 썼습니다.
  • 덕분에 로봇은 넘어지지 않고, 공을 차거나 의자에 앉는 등 복잡한 동작도 안정적으로 수행합니다.

3. 실제 성과: 로봇이 인간처럼 행동하다!

이 방법을 Unitree G1이라는 휴머노이드 로봇에 적용해 실험한 결과는 놀라웠습니다.

• 새로운 상황에도 잘 적응: 훈련 데이터에 없던 장애물이나 소파가 있어도, 로봇은 스스로 길을 찾아 피하고 앉았습니다. (소위 'Few-shot' 및 'Zero-shot' 능력)
• 자연스러운 움직임: 로봇이 의자에 앉을 때, 마치 사람이 앉듯 다리를 구부리고 균형을 잡는 모습이 매우 자연스러웠습니다.
• 데이터 비용 절감: 비싼 원격 조종 장비 없이, 인간의 영상 데이터만으로 훈련했기 때문에 비용과 시간을 획기적으로 줄였습니다.

요약: 왜 이 연구가 중요한가요?

이 연구는 로봇이 **"원격 조종사의 손"**이 아니라, **"스스로 세상을 보고 배우는 존재"**로 진화하는 중요한 발걸음입니다.

마치 유튜브를 보며 요리법을 배우는 사람처럼, 로봇도 인간의 일상 영상을 통해 복잡한 세상에서 자연스럽게 행동하는 법을 배울 수 있게 된 것입니다. 앞으로는 로봇이 우리 집 소파에 앉아 커피를 마시거나, 공을 차며 놀아주는 날이 더 가까워질 것입니다.

한 줄 요약:

"비싼 원격 조종 없이, 인간의 일상 영상만 보고 로봇에게 '인간처럼' 자연스럽게 행동하는 법을 가르치는 혁명적인 방법!"

기술 요약

1. 문제 정의 (Problem)

현재 휴머노이드 로봇의 전신 제어 (Whole-body Control) 는 다음과 같은 주요 한계에 직면해 있습니다:

• 데이터 수집의 비효율성: 기존 방법들은 로봇을 원격 조종 (Teleoperation) 하여 데이터를 수집해야 하는데, 이는 비용이 매우 높고 확장성이 떨어집니다.
• 자연스러운 상호작용 부재: 대부분의 기존 연구는 춤이나 무술 같은 연행성 동작에 집중하거나, 시뮬레이션 환경에서 특정 작업만 수행하도록 훈련되었습니다. 실제 환경에서의 시각적 맥락 (예: 소파에 앉기, 공 차기, 장애물 피하기) 을 고려한 자연스러운 전신 제어는 여전히 난제입니다.
• 시뮬레이션 - 현실 간극 (Sim-to-Real Gap): 시뮬레이션 기반 강화학습은 실제 로봇 배포 시 성능 저하를 겪는 경우가 많습니다.
• 비자연스러운 동작: 상하체를 분리하여 제어하는 방식은 로봇이 인간처럼 자연스러운 동작을 수행하는 것을 방해합니다.

2. 제안 방법: ZeroWBC (Methodology)

저자들은 대규모 인간 1 인칭 시점 (Egocentric) 비디오와 모션 캡처 (MoCap) 데이터를 활용하여 로봇 원격 조종 데이터 없이도 자연스러운 휴머노이드 전신 제어를 학습하는 ZeroWBC 프레임워크를 제안합니다. 이 프레임워크는 두 단계로 구성됩니다.

A. 데이터 수집 전략

• 로봇 원격 조종 대신, 인간 중심 데이터 수집 방식을 채택했습니다.
• 인간이 모션 캡처 (MoCap) 슈트를 입고 가슴에 GoPro 카메라를 부착하여 일상 동작을 수행하고, 이를 동기화하여 수집합니다.
• 카메라 높이를 로봇의 카메라 높이와 정확히 일치시켜 도메인 격차 (Domain Gap) 를 최소화합니다.

B. 1 단계: 멀티모달 모션 생성 (Multimodal Motion Generation)

• 목표: 텍스트 명령과 인간 1 인칭 시점 이미지를 입력받아 미래의 인간 전신 모션을 생성합니다.
• 아키텍처:
  • VQ-VAE: 연속적인 인간 모션 데이터를 이산적인 토큰 (Motion Tokens) 으로 압축하고 디코딩합니다.
  • VLM (Vision-Language Model): Qwen2.5-VL-3B 를 기반으로 미세 조정 (Fine-tuning) 합니다. 시각적 컨텍스트와 텍스트 지시를 입력받아 VQ-VAE 의 모션 토큰을 예측합니다.
  • 학습 전략:
    1. 1 단계 (Pre-training): 대규모 공개 데이터셋 (Nymeria, HumanML3D) 을 사용하여 시각 - 텍스트 - 모션 간의 기본적인 정렬을 학습합니다.
    2. 2 단계 (Domain-specific Fine-tuning): 자체 수집한 고품질 1 인칭 시점 데이터로 추가 미세 조정을 수행하여 공간적 이해도와 물리적으로 타당한 상호작용 능력을 향상시킵니다.

C. 2 단계: 범용 모션 추적 (General Motion Tracking)

• 목표: 1 단계에서 생성된 인간 모션을 로봇의 관절에 매핑 (Retargeting) 하고, 이를 정밀하게 추적하는 제어 정책을 학습합니다.
• 학습 방식:
  • 커리큘럼 러닝 (Curriculum Learning): 난이도 (걷기, 뛰기, 회전 등) 가 낮은 모션부터 높은 모션까지 점진적으로 학습 데이터를 노출시킵니다.
  • 적응형 샘플링: 추적 오차와 성공/실패 통계를 기반으로 어려운 모션 클립을 더 자주 샘플링하도록 동적 가중치를 부여합니다.
  • 비대칭 PPO (Asymmetric PPO): 학습 시에는 미래 모션 정보 (Privileged Information) 를 활용하지만, 추론 시에는 현재 관측 가능한 정보만 사용하여 배포 시 복잡성을 줄입니다.
  • 미래 모션 인코딩: 현재 목표뿐만 아니라 단기 및 장기 미래 목표 프레임을 입력받아 동적 동작의 안정성을 높입니다.

3. 주요 기여 (Key Contributions)

1. 최초의 인간 1 인칭 비디오 기반 휴머노이드 제어 프레임워크: 대규모 인간 1 인칭 비디오와 MoCap 데이터를 활용하여 로봇 원격 조종 데이터의 필요성을 제거했습니다.
2. 통합된 2 단계 아키텍처: 텍스트와 시각적 맥락에 기반한 모션 생성과 고급 추적 정책을 결합하여, 장면과 명령에 조건부 (Conditioned) 로 자연스러운 전신 제어를 가능하게 했습니다.
3. 뛰어난 일반화 능력: 시뮬레이션과 실제 환경 (Unitree G1 로봇) 에서 다양한 상호작용 시나리오 (장애물 회피, 공 차기, 소파/의자 이용 등) 에 대해 강력한 Few-shot 및 Zero-shot 일반화 성능을 입증했습니다.

4. 실험 결과 (Results)

• 모션 생성 성능: Nymeria 및 자체 수집 데이터셋에서 기존 텍스트 기반 모션 생성 모델 (MotionGPT 등) 보다 FID, R-Precision, MM-Dist 등 모든 지표에서 우수한 성능을 보였습니다. 특히 시각적 맥락을 추가한 멀티모달 접근법이 모션 토큰의 질을 크게 향상시켰습니다.
• 모션 추적 정확도: HumanML3D, MoCap, 생성된 모션 등 다양한 평가 세팅에서 기존 최첨단 방법 (GMT 등) 보다 관절 위치 오차 (MPJPE) 와 속도 오차 (MPJVE) 가 낮았습니다. 커리큘럼 러닝이 장기 모션 시퀀스의 안정성에 결정적인 역할을 했습니다.
• 실제 로봇 실험 (Unitree G1):
  • Few-shot: 훈련 데이터와 다른 물체 배치나 스타일에서도 장애물 회피 (95%), 공 차기 (78%), 소파에 앉기 (84%) 등에 성공했습니다.
  • Zero-shot: 훈련 데이터에 전혀 없었던 "의자에 앉기"와 같은 새로운 객체와 명령에도 성공적으로 대응하여 자연스러운 동작을 수행했습니다.

5. 의의 및 결론 (Significance)

• 데이터 비용 절감: 고비용의 로봇 원격 조종 데이터 수집을 대체할 수 있는 확장 가능한 데이터 기반 패러다임을 제시했습니다.
• 자연스러운 인간 - 로봇 상호작용: 휴머노이드 로봇이 복잡한 실제 환경에서 인간과 유사한 자연스러운 전신 동작을 수행할 수 있는 길을 열었습니다.
• 미래 지향적 프레임워크: 범용 휴머노이드 로봇의 대규모 학습을 위한 새로운 실현 가능한 프레임워크를 제공하며, 추론 지연 시간 단축 및 촉각 센서 통합 등을 통해 향후 개선이 필요한 부분도 명시했습니다.

이 논문은 휴머노이드 로봇이 실제 세계의 복잡한 상호작용을 수행하기 위해 필요한 "자연스러운 전신 제어" 문제를 해결하기 위해, 인간 데이터의 힘을 최대한 활용하는 혁신적인 접근법을 제시했다는 점에서 중요한 의의를 가집니다.