1. 문제 정의 (Problem Statement)

휴머노이드 로봇의 복잡한 loco-manipulation(이동 및 조작) 기술을 학습하는 것은 여전히 로봇 공학의 주요 난제입니다. 기존 강화학습 (RL) 은 이동에는 성공적이었으나, 상호작용이 풍부한 조작 작업에는 장기 계획 (long-horizon planning) 의 어려움으로 인해 적용이 제한적이었습니다.

최근 DreamControl 프레임워크는 오프더셸 (off-the-shelf) 인간 모션 확산 모델 (Diffusion Model) 을 사용하여 RL 정책 훈련을 위한 참조 궤적을 생성하는 방식을 제안했습니다. 그러나 기존 DreamControl 은 다음과 같은 확장성 및 실용성 한계를 가지고 있었습니다:

• Generate-then-Retarget 파이프라인의 비효율성: 인간 모션 데이터 (AMASS 등) 로 훈련된 모델 (OmniControl) 을 먼저 생성한 후, 이를 로봇 (예: Unitree-G1) 에 맞게 재매핑 (Retargeting) 하는 방식입니다.
• 공간 제약의 불일치: 인간 공간에서 생성된 궤적은 로봇의 신체 구조로 변환될 때 원래의 공간적 제약 (예: 특정 물체 잡기 위치) 을 만족하지 못합니다.
• 수동 튜닝 및 필터링: 로봇이 원하는 위치에 도달하도록 하기 위해 입력 공간 조건을 시행착오 (Trial-and-error) 로 조정하거나, 생성된 궤적을 수동으로 필터링해야 하는 번거로움이 있었습니다. 이는 긴 시간의 작업이나 고차원 작업에서 확장성을 저해합니다.
• 데이터의 한계: 기존 모델은 주로 AMASS 데이터셋에 의존하여 로봇의 다양한 조작 작업 (서랍 열기 등) 에 필요한 동작을 충분히 학습하지 못했습니다.

2. 방법론 (Methodology)

DreamControl-v2 는 위 문제들을 해결하기 위해 로봇의 행동 공간 (Robot-Space) 에서 직접 훈련 가능한 가이드 확산 모델을 도입합니다.

A. 대규모 인간 데이터를 로봇 공간으로 변환 (Massive Human Data to Robot-Space)

• 데이터 통합: AMASS, HumanML3D, GRAB, Nymeria 등 다양한 인간 모션 데이터셋과 OmniRetarget 의 로봇 데이터를 통합합니다.
• 자동화된 재매핑 (Retargeting): 인간 모션을 Unitree-G1 로봇의 키키텍틱스 (Kinematics) 공간으로 일괄 재매핑합니다.
  • 인간과 로봇이 공유하는 12 개의 관절 (골반, 무릎, 발목, 어깨, 팔꿈치, 손목 등) 을 기준으로 최적화 문제를 풀어 상대적 관절 각도와 전역 포즈를 계산합니다.
  • SMPL 및 Xsens 등 서로 다른 포맷의 데이터를 통합하기 위해 SMPL 파라미터를 복원하는 최적화 과정을 거칩니다.
• 자동 필터링: PHC(Physics-based Humanoid Control) 의 가용성 필터를 적용하여 환경 맥락 없이 불가능한 동작 (예: 트레드밀 달리기) 을 제거하고, 키워드 기반 검색을 통해 작업별 (서랍 열기 등) 세그먼트를 추출합니다.

B. 로봇 공간 확산 모델 훈련 (Diffusion Prior Training)

• 모델 아키텍처: OmniControl 아키텍처를 기반으로 하되, MDM(Manuscript Diffusion Model) 의 사전 훈련 가중치를 초기값으로 사용합니다.
• 조건부 생성: 오픈 보카불러리 텍스트 명령어 ($p$) 와 시공간 제어 신호 ($c$, 특정 관절의 3D 위치 제약) 를 동시에 조건으로 받아 로봇의 궤적을 생성합니다.
• 공간 가이드 (Spatial Guidance): 샘플링 단계에서 역운동학 (FK) 을 통해 생성된 궤적을 키 포인트 공간으로 매핑하고, 목표 위치와의 오차를 최소화하도록 궤적을 조정합니다.
• 후처리: 생성된 궤적을 실행 가능한 로봇 관절 각도로 변환하고, 물리적 타당성 (미끄러짐 방지, 안전 높이 등) 을 검증하는 자동 필터링을 적용합니다.

C. 물리 기반 모션 모방을 위한 강화학습 (RL for Physics-Based Motion Imitation)

• 생성된 확산 모델의 궤적을 참조 (Reference) 로 사용하여 RL 정책을 훈련합니다.
• RL 정책은 참조 궤적 추적 보상과 작업 완료 보상을 동시에 받습니다.
• 추론 시에는 참조 궤적이 필요 없으며, 학습된 정책이 자율적으로 환경을 상호작용하며 작업을 수행합니다.

3. 주요 기여 (Key Contributions)

1. 로봇 공간 직접 훈련 (Native Robot-Space Training): 인간 모션 모델에서 로봇으로의 재매핑 후처리를 제거하고, 로봇의 행동 공간에서 직접 확산 모델을 훈련하여 공간 제약의 불일치를 근본적으로 해결했습니다.
2. 확장 가능한 자동화 파이프라인: 수동 필터링과 시행착오 기반의 프롬프트 조정을 제거하고, 대규모 이질적 데이터셋 (Human + Robot) 을 통합하여 자동화된 워크플로우를 구축했습니다.
3. 다양한 기술 습득: AMASS 에 포함되지 않은 복잡한 상호작용 작업 (서랍 열기, 깊은 스쿼트 등) 을 포함한 다양한 기술을 성공적으로 학습할 수 있는 데이터 혼합 전략을 제시했습니다.
4. 실제 로봇 검증: 시뮬레이션뿐만 아니라 실제 Unitree-G1 로봇에서의 배포를 통해 방법론의 유효성을 입증했습니다.

4. 실험 결과 (Results)

• 데이터 스케일링의 효과: 훈련 데이터셋을 AMASS 만 사용한 경우에서 Full-Mix(AMASS + Nymeria + GRAB + OmniRetarget) 로 확장함에 따라 생성된 궤질의 품질 (FID 감소) 과 다양성이 크게 향상되었습니다. 특히 기존 도메인 (AMASS) 의 성능을 유지하면서 새로운 도메인 (Non-AMASS) 에서도 성능이 개선되었습니다.
• RL 정책 성능: 생성된 참조 궤적의 수가 증가할수록 RL 정책의 성공률이 꾸준히 향상되었습니다.
  • Group-1 (복잡한 상호작용 작업): 서랍 열기, 깊은 스쿼트 & 들기 등 기존 DreamControl 이 IK 와 수동 필터링에 의존했던 작업에서 DreamControl-v2 는 완전 자동화된 파이프라인으로 높은 성공률 (90% 이상) 을 달성했습니다.
  • Group-2 (단순 작업): 기존 DreamControl 과 유사하거나 더 나은 성능을 보였습니다.
• 비교 분석:
  • Prompt Calibration vs Pre-retargeting: 추론 시 프롬프트를 조정하는 방식 (Prompt-Calib) 은 샘플 효율성이 낮고 (유효 궤적 비율 4~8%) 생성 품질이 낮았습니다. 반면, 사전 재매핑 (Pre-retargeting) 방식은 유효 궤적 비율이 68% 에 달하며 훨씬 높은 정확도를 보였습니다.
  • 네트워크 초기화: 인간 모션 모델 (MDM) 의 사전 훈련 가중치를 사용한 미세 조정 (Fine-tuning) 이 무작위 초기화보다 훨씬 빠른 수렴과 높은 물리적 타당성을 보였습니다.

5. 의의 및 결론 (Significance)

DreamControl-v2 는 휴머노이드 로봇의 자율적 기술 습득을 위한 간단하고 확장 가능한 (Simpler and Scalable) 프레임워크를 제시합니다. 이 연구는 다음과 같은 의미를 가집니다:

• 데이터 효율성 및 자동화: 수동 개입을 최소화하고 대규모 인간 및 로봇 데이터를 통합하여 로봇이 복잡한 상호작용 작업을 학습할 수 있는 기반을 마련했습니다.
• Sim-to-Real 성공: 생성된 모션이 물리적으로 타당하여 시뮬레이션에서 학습된 정책이 실제 로봇 (Unitree-G1) 에서도 안정적으로 작동함을 입증했습니다.
• 미래 방향: 텍스트 기반 명령과 공간적 제약을 동시에 만족시키는 생성 모델의 발전은 휴머노이드가 다양한 일상 환경에서 자율적으로 작동하는 데 중요한 이정표가 될 것입니다.

이 논문은 기존 접근법의 병목 현상을 해결하고, 데이터 중심의 자동화된 파이프라인을 통해 휴머노이드 로봇의 범용성 (General Purpose) 을 높이는 데 기여합니다.