Spherical Latent Motion Prior for Physics-Based Simulated Humanoid Control

1. 연구 배경 및 문제 정의 (Problem)

물리 기반 시뮬레이션 인간형 로봇 (Humanoid) 제어 분야에서 운동 선구 (Motion Prior) 를 학습하는 것은 중요한 연구 주제입니다. 기존 접근법은 주로 **변분 오토인코더 (VAE)**와 **적대적 운동 선구 (AMP)**에 의존해 왔으나, 다음과 같은 한계가 존재했습니다.

• VAE 기반 방법의 한계: 전체 운동 궤적을 잠재 공간 (Latent Space) 으로 압축하는 과정에서 중요한 모터 제어 세부 사항 (Motor details) 이 손실됩니다. 또한, 가우시안 분포를 기반으로 한 무작위 잠재 샘플링은 종종 물리적으로 불가능한 행동이나 넘어짐 (Fall) 을 유발합니다.
• AMP 기반 방법의 한계: 적대적 학습을 통해 운동 데이터 분포에 근접하도록 유도하지만, 모드 붕괴 (Mode Collapse) 현상이 발생하기 쉽고, 다양한 운동 기술을 포괄적으로 학습하는 데 어려움을 겪습니다.
• 핵심 문제: 기존 방법들은 운동의 **다양성 (Diversity)**과 **유효성 (Validity)**을 동시에 확보하는 데 실패했습니다. 즉, 무작위 샘플링 시 안정성을 보장하거나, 물리적으로 타당한 행동을 생성하는 데 한계가 있었습니다.

2. 제안 방법론: SLMP (Methodology)

저자들은 **구형 잠재 운동 선구 (Spherical Latent Motion Prior, SLMP)**라는 2 단계 프레임워크를 제안합니다. 이 방법은 정보 손실 없이 안정적이고 다양한 무작위 샘플링이 가능한 구조화된 잠재 행동 공간을 구축합니다.

2.1. 1 단계: 고품질 모션 추적 컨트롤러 학습

• 먼저, 수집된 인간 전투 모션 캡처 데이터를 기반으로 **목표 조건부 (Goal-Conditioned) 운동 추적 컨트롤러 ($\pi_{track}$)**를 학습합니다.
• 이 컨트롤러는 시뮬레이션 환경에서 참조 모션을 물리 법칙에 따라 정확하게 추종하도록 PPO(Proximal Policy Optimization) 를 사용하여 최적화됩니다.

2.2. 2 단계: 구형 잠재 공간으로의 증류 (Distillation)

학습된 추적 컨트롤러를 단위 구 (Unit Sphere) 형태의 잠재 공간으로 증류합니다. 이 과정에서 세 가지 핵심 손실 함수 (Loss) 를 결합하여 잠재 매니폴드를 형성합니다.

1. 모방 증류 손실 (Imitation Distillation Loss): 잠재 코드 $z$가 참조 모션에서 인코딩된 경우, 생성된 행동이 전문가 (추적 컨트롤러) 의 행동과 일치하도록 합니다.
2. 적대적 판별기 손실 (Discriminator Loss): 전문가 행동과 비전문가 (무작위 잠재에서 생성된) 행동을 구분하는 판별기 (Discriminator) 를 훈련합니다.
3. 판별기 유도 국소 의미 일관성 손실 (Discriminator-Guided Local Semantic Consistency Loss, $L_{DLSC}$):
   • 기하학적 가중치 ($w_d$): 구 표면에서 두 잠재 점 사이의 거리를 기반으로 국소적 평활성 (Smoothness) 을 보장합니다.
   • 의미적 가중치 ($w_c$): 판별기의 출력 값을 활용하여, 분포 밖 (Out-of-distribution) 인 샘플에 대한 제약을 강화합니다.
   • 이 조합은 무작위 샘플링이 물리적으로 유효한 행동 영역으로 수렴하도록 잠재 공간을 구조화합니다.

2.3. 고수준 작업 적용: 2 에이전트 전투

• SLMP 는 저수준 제어기 (Low-level controller) 로서 작동하며, 고수준 정책 (High-level policy) 은 잠재 공간에서 행동 코드 ($z$) 를 선택합니다.
• 복잡한 보상 설계 없이 **간단한 규칙 기반 보상 (Sparse rule-based rewards, 예: 타격, 쓰러짐)**만으로도 물리적으로 타당하고 인간 같은 전투 행동을 학습할 수 있습니다.

3. 주요 기여 (Key Contributions)

1. 전투 모션 캡처 데이터셋 공개: 2 시간 분량의 인간 전투 모션 캡처 데이터 (타격, 회피, 발걸음 등 다양한 동작 포함) 를 수집 및 공개합니다. 이는 물리 기반 인간형 로봇 제어 연구에 중요한 자원이 됩니다.
2. SLMP 프레임워크 제안: 증류, 판별기, 의미 일관성 제약을 결합하여 구조화된 구형 잠재 행동 공간을 구축하는 2 단계 방법을 제시합니다. 이는 VAE 의 정보 손실과 AMP 의 모드 붕괴 문제를 동시에 해결합니다.
3. 범용성 및 일반화 검증: 단순한 보상 신호로도 물리적으로 타당한 2 에이전트 전투를 가능하게 하며, 다양한 인간형 로봇 형태 (Morphology) 에도 적용 가능한 일반화 능력을 입증했습니다.

4. 실험 결과 (Results)

• 모션 추적 성능: SLMP 는 VAE 기반 방법 (PULSE) 보다 높은 성공률과 낮은 MPJPE(평균 관절 위치 오차) 를 기록하여, 잠재 공간 재구성 시 정보 손실이 적음을 입증했습니다.
• 무작위 샘플링 안정성:
  • 1000 회의 무작위 롤아웃 실험에서 SLMP 는 30 초 동안 넘어지지 않는 **생존율 (Survival Rate)**이 99.8% 에 달했습니다.
  • 반면, VAE 기반 방법은 시간이 지남에 따라 생존율이 급격히 떨어졌으며, AMP 기반 방법은 반복적이고 다양성이 낮은 행동을 보였습니다.
• 잠재 매니폴드 시각화: 현재 자세 (State) 에 따라 잠재 구 (Sphere) 상의 유효 영역이 동적으로 변화함을 확인했습니다. (예: 서 있는 상태에서는 다양한 행동이 가능하지만, 공중 차기 상태에서는 유효한 행동 영역이 제한됨). 이는 SLMP 가 상태 의존적 (State-dependent) 인 유효 행동 집합을 인코딩함을 의미합니다.
• 2 에이전트 전투: 복잡한 보상 설계 (Dense shaping rewards) 없이 단순한 규칙 기반 보상만으로도 다양한 공격, 회피, 발걸음 행동을 학습하여 인간과 유사한 전투 시나리오를 구현했습니다.

5. 의의 및 결론 (Significance)

이 논문은 물리 기반 인간형 로봇 제어에서 **구조화된 운동 선구 (Structured Motion Prior)**의 중요성을 강조합니다.

• 보상 엔지니어링 단순화: 복잡한 보상 함수 설계 없이도 고수준 정책이 복잡한 다중 에이전트 작업을 수행할 수 있게 합니다.
• 안정성과 다양성의 동시 달성: 무작위 샘플링이 항상 물리적으로 유효한 행동을 생성하도록 보장하여, 실제 로봇 적용 시 발생할 수 있는 불안정성을 줄입니다.
• 실제 로봇 적용 가능성: 시뮬레이션뿐만 아니라 실제 인간형 로봇 플랫폼에서도 적용 가능성을 보여주어, 향후 실제 로봇 제어 및 가상 현실, 게임 분야로의 확장에 기여할 것으로 기대됩니다.

결론적으로, SLMP 는 기존 방법론의 한계를 극복하고, 물리적으로 타당하면서도 다양하고 안정적인 인간형 로봇 제어를 위한 새로운 패러다임을 제시합니다.