QuadFM: Foundational Text-Driven Quadruped Motion Dataset for Generation and Control

1. 연구 배경 및 문제점 (Problem)

quadruped(4 발 보행) 로봇 분야에서 강화학습과 학습 기반 제어 기술은 비약적으로 발전했으나, 근본적인 모션 리소스 (Foundational Motion Resources) 의 부재라는 심각한 병목 현상에 직면해 있습니다.

• 데이터의 한계: 기존 4 발 로봇 모션 데이터셋은 걷기 (walk), trot, 앉기 (sit) 등 소수의 기본 보행 원시 동작 (primitives) 에만 국한되어 있습니다. 감정 표현, 상호작용, 복잡한 행동이 부족하며, 자연어 (Language) 와 모션을 연결하는 풍부한 시맨틱 (Semantic) 정보가 결여되어 있습니다.
• 제어의 비일관성: 기존 언어 기반 모션 생성 방법들은 고수준 모션 생성과 저수준 물리 제어 (Low-level control) 를 분리하여 훈련합니다. 이로 인해 생성된 모션은 기하학적으로 그럴듯해 보일 수 있으나, 실제 로봇 하드웨어에서 동역학적으로 실행 불가능하거나 불안정하여 'Sim-to-Real' 전이가 실패하는 경우가 많습니다.
• 목표: 인간과의 직관적인 상호작용을 위해 다양한 보행, 정서적 표현, 그리고 자연어 명령을 통합적으로 이해하고 실행할 수 있는 고충실도 데이터셋과 통합 제어 프레임워크가 필요합니다.

2. 제안된 방법론 (Methodology)

이 논문은 QuadFM (Quadruped Foundational Motion) 데이터셋과 이를 활용한 Gen2Control RL 프레임워크를 제안합니다.

A. QuadFM 데이터셋 구축

• 규모: 총 11,784 개의 큐레이션된 모션 클립 (약 20.27 시간 분량) 으로 구성되며, 35,352 개의 자연어 설명이 포함됩니다.
• 데이터 수집 파이프라인 (Multi-source):
  1. 실제 개 모션 캡처 (Motion Capture): 걷기, trot 등 기본 보행 및 전환 동작.
  2. 비디오 기반 생성 (Video-to-Motion): Qwen2.5VL 및 Wan 모델을 활용해 다양한 행동 (인간에게 달려가기, 긁기, 두 발로 서기 등) 을 생성하고 포즈 추정 기술을 적용.
  3. 아티스트 설계 (Artist-Designed): 춤, 기쁨의 점프 등 동물의 자연스러운 반응으로 얻기 어려운 의도적이고 스타일리시한 상호작용 모션.
  4. 원격 조종 (Teleoperation): 실제 로봇을 인간이 직접 조종하여 수집한 하드웨어 실행 가능 모션.
• 3 단계 주석 (Triple-layer Annotation): 각 모션 클립에 대해 다음 3 가지 레이어의 텍스트가 부여됩니다.
  1. 세부 행동 라벨: 구체적인 동작 설명 (예: "오른손을 머리 높이까지 들어 앞뒤로 흔든다").
  2. 상호작용 시나리오: 맥락 있는 설명 (예: "오늘 어떻게 지냈니?").
  3. 실행 가능한 자연어 명령: 로봇이 수행해야 할 지시 (예: "손을 들어라").
• 물리적 정합성 (Physical Fidelity): 수집된 원시 모션을 로봇의 기하학적/물리적 제약 (관절 범위, 질량 분포 등) 에 맞게 Kinematic Retargeting을 거친 후, **RL 기반 추적 (RL Tracking)**을 통해 동역학적으로 실행 가능한 궤적으로 정제합니다.

B. Gen2Control RL 프레임워크

• 개념: 텍스트 기반 모션 생성 (Generation) 과 일반 모션 제어 (Control) 를 **단일 프레임워크에서 공동 최적화 (Co-optimization)**하는 방식입니다.
• 구조:
  1. 모션 생성기 (Generator): MotionGPT3 를 기반으로 텍스트와 현재 자세를 조건으로 하여 잠재 공간 (Latent space) 에서 모션을 생성하는 확산 (Diffusion) 모델.
  2. 모션 추적 정책 (Tracking Policy): 생성된 모션을 물리적으로 안정적으로 실행하는 저수준 제어기 (RL 정책).
• 학습 과정:
  • 생성된 모션이 실제 로봇에서 미끄러짐 없이 안정적으로 추적될 수 있는지 (Executability) 를 추적 정책의 보상 (Reward) 으로 피드백합니다.
  • 생성기는 이 피드백을 통해 "지시사항과 일치하면서도 물리적으로 실행 가능한" 모션을 생성하도록 학습됩니다.
  • 이를 통해 생성과 제어가 분리된 기존 방식의 Sim-to-Real 실패를 방지합니다.

3. 주요 기여 (Key Contributions)

1. QuadFM 데이터셋: 4 발 로봇을 위한 대규모, 초고충실도 모션 - 언어 데이터셋. 다양한 상호작용 및 정서적 행동을 포함하며, 3 단계 주석을 통해 언어 기반 학습을 지원합니다.
2. Gen2Control RL 프레임워크: 의미론적 생성과 동역학적 실행 가능성을 동시에 보장하는 통합 학습 패러다임. 생성된 모션이 실제 하드웨어에서 즉시 실행 가능하도록 보장합니다.
3. 실시간 배포 검증: NVIDIA Orin 기반의 Unitree Go2 X 로봇에서 **500ms 미만의 지연 시간 (Latency)**으로 실시간 언어 구동 모션 생성 및 실행을 성공적으로 시연했습니다.

4. 실험 결과 (Results)

• 데이터셋 다양성: 기존 DogML 데이터셋과 비교하여, QuadFM 은 보행뿐만 아니라 상호작용 및 감정 표현 영역에서 훨씬 넓은 운동학적 (Kinematic) 분포를 보입니다. UMAP 시각화 결과, DogML 은 제한된 클러스터에 머무른 반면 QuadFM 은 역동적이고 표현력 있는 새로운 영역을 포괄합니다.
• 성능 평가 (Human Evaluation): 30 명의 참가자를 대상으로 한 평가에서 Gen2Control RL 은 기존 MotionGPT3 대비 모든 지표 (안정성, 텍스트 - 모션 정렬, 부드러움, 자연스러움) 에서 우월한 점수를 기록했습니다.
  • 예시: 안정성 (7.58 vs 6.27), 텍스트 - 모션 정렬 (7.98 vs 5.77).
• 실제 로봇 배포: Unitree Go2 X 로봇에서 NVIDIA Jetson Orin 을 사용하여 실시간으로 작동했습니다. 음성 입력부터 모션 실행까지 전체 지연 시간이 약 0.5 초로 측정되어 즉각적인 상호작용이 가능함을 입증했습니다.
• Ablation Study: 다양한 데이터 소스 (모션 캡처, 비디오 생성, 아티스트 설계, 원격 조종) 를 조합했을 때 가장 높은 성능을 보였으며, DogML 데이터와 혼합 학습 시에도 우수한 일반화 성능을 확인했습니다.

5. 의의 및 결론 (Significance)

이 연구는 4 발 로봇의 지능화를 위한 핵심 인프라를 마련했다는 점에서 의미가 큽니다.

• 자연어 기반 상호작용의 실현: 로봇이 단순한 명령어뿐만 아니라 복잡한 문맥과 감정 표현을 이해하고, 이를 물리적으로 안정된 동작으로 변환할 수 있는 기반을 제공했습니다.
• Sim-to-Real 격차 해소: 생성 모델과 제어기를 분리하지 않고 통합하여 학습함으로써, 시뮬레이션에서 생성된 모션이 실제 로봇에서도 실패 없이 작동하도록 보장했습니다.
• 오픈 소스 및 미래 지향성: 데이터셋과 코드를 공개하여 (GitHub) 연구 커뮤니티가 4 발 로봇의 다양한 행동 학습과 인간 - 로봇 상호작용 (HRI) 연구에 활용할 수 있는 토대를 마련했습니다.

요약하자면, QuadFM은 4 발 로봇이 "동물처럼" 자연스럽고, "인간처럼" 감정적으로 반응하며, "명령에 따라" 정확하게 움직일 수 있도록 하는 데이터와 알고리즘의 통합 솔루션을 제시한 획기적인 연구입니다.