MotionMAR: Multi-scale Auto-Regressive Human Motion Reconstruction from Sparse Observations

기술 요약: MotionMAR

문제 정의

인간의 움직임은 저주파의 전역적 궤적에서 고주파의 국소적 세부 사항으로 진화하는 내재적인 시간적 계층 구조를 가지고 있습니다. 그러나 많은 트랜스포머 기반 방법들을 포함한 기존의 모델링 방식들은 모션 데이터를 단일 스케일에서 처리되는 평면적인 시퀀스로 취급하는 경우가 많습니다. 이러한 한계는 희소한 관측 데이터(예: VR 헤드셋 및 컨트롤러로부터의 입력)를 다룰 때 결정적인 문제가 됩니다. 모델이 최소한의 데이터로부터 복잡한 전신 역학을 재구성해야 하기 때문입니다. 단일 스케일 전략은 메인 모션 엔벨로프(envelope)와 국소적 변화를 분리하지 못하기 때문에, 장기적인 안정성과 단기적인 정밀도 사이의 균형을 맞추는 데 어려움을 겪으며, 이로 인해 플로팅 아티팩트(floating artifacts), 원치 않는 지터(jitter), 그리고 모호한 움직임이 발생하곤 합니다.

방법론

저자들은 희소한 관측으로부터 고충실도의 인간 움직임을 재구성하기 위해 설계된 다중 스케일 자기회귀 프레임워크인 MotionMAR를 제안합니다. 컴퓨터 비전의 시각적 자기회귀(Visual Autoregressive, VAR) 모델링에서 영감을 받은 MotionMAR는 시간적 조대-세밀(coarse-to-fine) 생성 전략을 채택합니다. 모션을 단 한 번의 패스로 예측하는 대신, 이 프레임워크는 광범위한 전역 궤적에서 시작하여 점진적으로 시간적 세부 사항을 정교화하며 서로 다른 시간 해상도에 걸쳐 순차적으로 모션을 생성합니다.

이 아키텍처는 네 가지 통합된 구성 요소로 이루어져 있습니다:

1. 시간적 다중 스케일 토큰화(Temporal Multi-scale Tokenization, TMT) VQ-VAE:

   • 이 모듈은 연속적인 모션 시퀀스를 다중 스케일의 이산 잠재 공간(discrete latent space)으로 인코딩합니다.
   • 표준 VAR가 공간적 스케일링을 사용하는 것과 달리, TMT는 시간 해상도($T/4, T/2, T$)를 기준으로 양자화 스케일을 정의합니다.
   • 이는 공유된 학습 가능한 코드북을 사용하여 반복적인 잔차 양자화(residual quantization) 프로세스를 수행함으로써 광범위한 의미론적 모션과 미세한 지터를 분리합니다. 이를 통해 전역적 추세에서 상세한 운동학(kinematics)으로 내려가는 피처 피라미드를 생성하여 자기회귀 생성의 구조적 토대를 제공합니다.

2. 스케일 인식 제어(Scale-Aware Control, SAC) 모듈:

   • 희소한 입력을 처리하는 문제를 해결하기 위해, 이 모듈은 희소한 트래킹 데이터(머리 및 손)를 생성 과정에 통합합니다.
   • 이 모듈은 연속적인 특징을 추출하고 선형 보간법을 통해 각 생성 스케일의 특정 시간 해상도에 맞게 정렬합니다.
   • 정렬된 특징은 두 가지 수준으로 자기회귀 네트워크에 주입됩니다: 로컬 스케일 단위 가이드를 위한 프레임 정렬 제약 조건으로서, 그리고 전체적인 모션 스타일 일관성을 유지하기 위한 글로벌 컨텍스트 벡터(Adaptive Layer Normalization을 통해)로서 주입됩니다.

3. 모션 자기회귀 네트워크(Motion Autoregressive Network, MAN):

   • GPT-2 스타일의 트랜스포머 아키텍처를 기반으로 구축된 MAN은 TMT VQ-VAE에 의해 정의된 잠재 공간에서 작동합니다.
   • 이 네트워크는 "다음 스케일 예측(next-scale prediction)" 메커니즘을 따릅니다. 즉, 조대한 인덱스를 사용하여 전역 구조를 먼저 확립한 다음, 세밀한 인덱스를 예측하여 특정 디테일을 복구합니다.
   • 네트워크는 각 스케일에서의 예측된 인덱스와 실제 정답 인덱스 간의 교차 엔트로피 손실(cross-entropy loss)을 사용하여 훈련되며, 훈련 중 오류가 전파되는 것을 방 prevent하기 위해 티처 포싱(teacher forcing)을 활용합니다.

4. 모션 정제 네트워크(Motion Refinement Network, MRN):

   • 이산 인덱스를 다시 연속적인 포즈로 디코딩하는 과정에서 양자화 아티팩트와 지터가 발생할 수 있으므로, MRN은 사후 처리 안정화 장치 역할을 합니다.
   • 다층 양방향 GRU(Bidirectional Gated Recurrent Unit, Bi-GRU)로 구현된 MRN은 연속적인 포즈 시퀀스 상에서 작동합니다.
   • 잔차 학습(residual learning) 전략을 사용하여, MRN은 과거와 미래 프레임의 컨텍스트를 모두 활용하여 운동학적 디테일을 부드럽게 하고 물리적 타당성을 확보하기 위한 교정 오프셋(corrective offset)을 예측합니다.

주요 기여

본 논문은 세 가지 주요 기여를 설명합니다:

1. MotionMAR 프레임워크: 희소한 인간 모션 재구성을 위해 특별히 설계된 새로운 시간적 조대-세밀 자기회귀 프레임워크입니다.
2. 새로운 모듈 설계: 세 가지 특화된 구성 요소의 통합을 보여줍니다:
   • TMT VQ-VAE: 시간 해상도를 기반으로 양자화 스케일을 정의함으로써 궤적을 지터로부터 분리합니다.
   • SAC 모듈: 관측 사항에 엄격하게 부합하도록 희소 트래킹 신호를 다양한 생성 스케일에 정렬합니다.
   • MRN: 양방향 시간적 컨텍스트를 통해 운동학을 부드럽게 하고 양자화 아티팩트를 제거합니다.
3. 최첨단 성능(State-of-the-Art Performance): 이 프레임워크는 AMASS 데이터셋에서 기존의 회귀, 확산(diffusion) 및 자기회귀 베이스라인 모델들과 비교하여 우수한 정확도와 시간적 일관성을 달와 성취했습니다.

실험 결과

저자들은 AMASS 데이터셋의 세 가지 설정(S1: 머리 + 손; S2: 머리 + 손 + 루트; S3: 대규모 일반화)과 GORP 데이터셋의 실제 데이터에 대해 MotionMAR를 평가했습니다.

• 정량적 성능: MotionMAR는 여러 지표에서 기존의 최첨단 방법들(AvatarPoser, AvatarJLM, SAGE, RPM 및 확산 기반 모델 포함)보다 뛰어난 성능을 보였습니다.
  • S1 설정에서 가장 낮은 MPJPE(2.82 cm), MPJRE(2.39°), Jitter(5.17)를 달성하여 우수한 정확도와 부드러움을 입증했습니다.
  • Hand PE 및 Lower PE에서도 상당한 개선을 보여, 말단 부위와 하체 역학의 더 나은 재구성을 나타냈습니다.
• 정성적 분석: 시각적 비교를 통해 MotionMAR가 베이스라인 방법들에서 보이는 지터나 구조적 불일치 없이, 더 유동적이고 해부학적으로 타당한 움직임을 생성함을 확인했습니다.
• 효율성: 42.36M 개의 파라미터와 61.76 FPS의 추론 속도를 갖춘 MotionMAR는 높은 정확도와 VR/AR 애플리케이션에 적합한 실시간 성능 사이의 균형을 맞춥니다. 이는 높은 정확도를 유지하면서도 많은 확산 기반 방법들보다 빠른 속도를 보여주며, 경량 회귀 모델들보다 높은 정확도를 유지합니다.
• 절제 연구(Ablation Studies): 세 가지 핵심 모듈(TMT, SAC, MRN) 중 하나라도 제거하면 성능 저하가 발생하였으며, 이는 계층적 토대, 관측 정렬, 그리고 운동학적 평활화가 모두 고충실도 재구성을 위해 필수적임을 확인시켜 줍니다.

의의 및 주장

본 논문은 MotionMAR가 인간 운동학의 내재적 시간 계층 구조를 명시적으로 모델링함으로써 모션 재구성을 위한 신뢰할 수 있고 구조를 인식하는 접근 방식을 제공한다고 주장합니다. 생성 과정을 생물학적 움직임의 본질(일반적인 의도에서 구체적인 조정으로 진화하는 과정)과 일치시킴으로써, 이 프레즘은 단일 스케일 모델링의 한계를 극복합니다.

저자들은 MotionMAR를 시각적 자기회로 모델링을 인간 모션 역학 분야로 연결하는 생물학적 영감을 받은 솔루션으로 포지셔닝합니다. 그들은 자신들의 작업이 시각적 자기회귀 모델링을 희소한 인간 모션 재구성 분야에 도입하여, VR/AR 애플리케이션을 위한 고효율 및 실용적인 방법을 제공한다고 강조합니다. 또한, 이 방법이 견고하지만 여 데이터 중심적이며, 더 강력한 물리 기반 사전 지식(prior)이 요구되는 극단적이거나 비전형적인 움직임 또는 매우 모호한 경우에는 여전히 과제에 직면할 수 있다고 언급합니다.