MotionGRPO: Overcoming Low Intra-Group Diversity in GRPO-Based Egocentric Motion Recovery

MOTIONGRPO 기술 요약

문제 정의
Project Aria 와 같은 헤드 마운티드 디바이스 (HMD) 신호로부터 전신 3 차원 인간 동작을 복원하는 것은 VR/AR 애플리케이션을 위한 여전히 중요한 과제입니다. 제 3 자 시점 캡처와 달리, 주관식 (egocentric) 환경에서는 사용자의 몸이 대부분 관찰되지 않는 심각한 가려짐 현상으로 고통받습니다. 기존 확산 기반 방법들은 머리 궤적에 조건부인 동작 사전 지식을 학습함으로써 이를 해결하려 합니다. 그러나 이러한 방법들은 종종 전역 분포 매칭에 의존하여 국소 관절 재구성 오류, 공간적 불일치, 그리고 발 미끄러짐 (foot skating), 동작 떨림 (jitter), 지면 침투와 같은 시각적 아티팩트를 초래합니다. furthermore, 확산 기반 동작 복원에 강화 학습 (RL) 을 직접 적용하는 것은 "낮은 그룹 내 다양성 (low intra-group diversity)"이라는 특정 병목 현상에 직면합니다. 동작 복원이 결정론적인 머리 신호에 크게 제약받기 때문에, 그룹 내에서 샘플링된 출력들은 최소한의 분산을 보입니다. 이러한 다양성 부족은 그룹 상대 정책 최적화 (GRPO) 이점 계산에서의 표준 편차가 0 에 가까워지게 만들어, 기울기 소실과 불안정한 학습을 초래합니다.

방법론
저자들은 확산 샘플링 과정에 세밀한 가이드를 주입하기 위해 RL 사후 학습을 활용하는 MOTIONGRPO 프레임워크를 제안합니다. 이 방법론은 세 가지 핵심 구성 요소를 중심으로 구조화되어 있습니다:

1. MDP 공식화 및 GRPO: 확산 샘플링 과정은 마르코프 결정 과정 (MDP) 으로 모델링됩니다. 정책은 별도의 가치 네트워크가 필요 없이 그룹별 점수에서 직접 가치 기준을 추정하는 그룹 상대 정책 최적화 (GRPO) 를 사용하여 최적화됩니다. 정책 $\pi_\theta$ 는 확산 모델의 역전환 분포에 해당합니다.
2. 하이브리드 보상 메커니즘: 최적화를 안내하기 위해 하이브리드 보상 시스템이 설계되었습니다:
   • 전역 시각 보상: 궤적 조건부 지각 모델이 시각적 타당성을 평가합니다. 이 모델은 온라인 대비 학습을 통해 훈련되며, 자연스러운 동작을 발 미끄러짐과 떨림과 같은 아티팩트와 구별하기 위해 (머리 궤적과 짝지어진) 생성된 동작을 하드 부정 샘플로 능동적으로 합성합니다.
   • 국소 관절 보상: 명시적인 하위 보상들이 관절 위치, 회전, 속도의 정밀도를 강제합니다. 여기에는 프레임별 유사성 변환 정렬 유무에 따라 계산된 포즈 보상, 국소 회전 오차, 그리고 속도 차이가 포함됩니다.
3. 노이즈 주입 전략: 낮은 그룹 내 다양성 병목 현상을 해결하기 위해 저자들은 노이즈 주입 전략을 도입합니다. 입력 머리 궤적 조건의 변위 성분에 시간적으로 평활화된 퍼린 (Perlin) 노이즈가 추가됩니다. 이는 의사 (pseudo) 분포 외 입력을 시뮬레이션하여 확산 정책이 약간 이동된 상태에 직면하도록 강제합니다. 이는 모델의 불확실성과 샘플링된 그룹 내 출력 다양성을 증가시켜, GRPO 이점 계산을 위한 유의미한 표준 편차를 보장하고 학습 과정을 안정화합니다.

주요 기여

• MOTIONGRPO 프레임워크: 학습된 지각 모델을 통한 전역 타당성과 정밀한 관절 정렬을 위한 명시적 목표를 결합한 하이브리드 보상을 최적화하는 주관식 동작 복원을 위한 RL 기반 사후 학습 프레임워크의 도입.
• 낮은 다양성의 식별 및 완화: 결정론적 동작 복원 작업에 GRPO 를 적용할 때의 근본적인 병목 현상인 "낮은 그룹 내 다양성"의 식별. 저자들은 출력 다양성을 증가시키고 기울기 소실을 방지하기 위해 시간적으로 평활화된 노이즈 주입 전략을 제안합니다.
• 최첨단 성능: 기존 베이스라인에 비해 관절 정확도와 시각적 충실도 모두에서 우수한 성능을 달성함을 보여주는 광범위한 실험.

실험 결과
이 방법은 AMASS 및 RICH 벤치마크에서 평가되었으며, Aria Digital Twins (ADT) 데이터셋에 대한 추가적인 정성적 검증을 수행했습니다.

• 정량적 성능: MOTIONGRPO 는 EgoAllo 와 같은 경쟁 베이스라인을 크게 앞서는 최첨단 결과를 달성했습니다. AMASS 데이터셋에서 평균 관절 위치 오차 (MPJPE) 를 124.985 mm 에서 114.207 mm 로, 프로크루스테스 정렬 MPJPE(PA-MPJPE) 를 103.958 mm 에서 95.512 mm 로 감소시켰습니다. RICH 데이터셋에서도 유사한 개선이 관찰되었습니다.
• 시각적 품질: 이 프레임워크는 고주파 아티팩트를 효과적으로 완화했습니다. 떨림 (Jitter), 발 미끄러짐 (Foot Skating), 지면 침투 (Ground Penetration) 에 대한 지표들은 베이스라인 대비 일관된 개선을 보여주어 하이브리드 보상 메커니즘의 유효성을 확인시켰습니다.
• 절대 실험 (Ablation Studies):
  • 관절 보상을 사용한 순수 (Vanilla) GRPO 는 국소 정밀도를 개선했지만, 전역 물리적 타당성을 해결하기 위해 시각적 보상이 필요했습니다.
  • 퍼린 노이즈 주입 전략이 결정적이었습니다; 이를 사용하지 않으면 그룹 다양성이 붕괴되었고 성능 향상은 제한적이었습니다.
  • 합성된 하드 부정 샘플의 사용은 단순한 노이즈 주입에 비해 지각 모델이 자연스러운 동작과 결함 있는 동작을 구분하는 능력을 크게 향상시켰습니다.
• 효율성: 사후 학습 전략으로서 MOTIONGRPO 는 추론 시 거의 계산 오버헤드를 부과하지 않으며, 베이스라인 확산 모델과 비교 가능한 추론 속도와 VRAM 사용량을 유지합니다.

의의
이 논문은 MOTIONGRPO 가 생성 확산 모델과 동작 복원에 필요한 정밀한 기하학적 제약 사이의 간극을 연결함으로써 중요한 진전을 이루었다고 주장합니다. 새로운 노이즈 주입 전략으로 GRPO 를 적응시킴으로써, 이 프레임워크는 표준 분포 매칭의 한계와 결정론적 복원 작업에 내재된 기울기 소실 문제를 극복합니다. 그 결과, 우수한 시각적 타당성과 관절 정확도로 고품질 전신 동작을 복원할 수 있는 시스템이 탄생하여, VR/AR 애플리케이션을 위한 주관식 동작 복원을 위한 견고한 솔루션을 제공합니다.