기술 요약: MoPO – 가려진 인간 메쉬 복원을 위한 운동 사전 지식 통합

1. 문제 제기

단안 비디오에서 3D 인간 메쉬를 복원하는 것은 애니메이션, 가상 현실, 로봇 공학 응용 분야에서 중요한 작업입니다. 최근의 발전으로 표준 벤치마크에서의 성능이 향상되었지만, 기존 방법들은 가림(자기 가림, 물체 - 사람, 사람 - 사람) 에 대해 여전히 심각한 어려움을 겪고 있습니다.
현재 최첨단 (SOTA) 가려진 인간 메쉬 복원 (HMR) 방법들은 두 가지 주요 과 faced 합니다:

1. 심한 가림 하의 부정확한 자세: 가시적인 신체 부위로부터의 불충분한 공간적 특징에만 의존하면 부정확하고 비자연스러운 자세 추정이 발생합니다. 기존 방법들은 종종 2D 증거 (마스크, 키포인트) 나 확산 모델의 암묵적 사전 지식에 의존하는데, 이는 심한 가림 상황에서는 실패합니다.
2. 시간적 불일치 및 운동 떨림: 비디오에 적용될 때, 강력한 시간적 모델링 없이 프레임 단위로 추정하면 심각한 운동 떨림이 발생합니다. 기존 비디오 기반 방법들은 종종 장기적 의존성을 모델링하거나 가려진 관절에 대해 효과적으로 추론하는 능력이 부족하여 불안정한 출력을 초래합니다.

이 연구의 핵심 가설은 자세 시퀀스 자체가 가려진 신체 부위를 추정하기 위한 신뢰할 수 있는 운동 사전 지식을 내재하고 있으며, 이는 불충분한 이미지 특징이나 일반적인 장면 사전 지식에만 의존하는 것보다 더 강력하다는 것입니다.

2. 방법론: MoPO 프레임워크

제안된 방법인 MoPO(가려진 인간 메쉬 복원을 위한 운동 사전 지식) 는 운동 예측을 HMR 파이프라인에 통합하는 모델 기반 접근법입니다. 이는 두 가지 주요 단계로 작동합니다:

A. 운동 가림 제거 모듈

이 단계는 과거 운동을 기반으로 가려진 관절을 예측하여 완전한 3D 관절 시퀀스를 재구성하는 것을 목표로 합니다.

• 공간 - 시간 가림 감지기: 현재 프레임의 신뢰도만 의존하는 방법과 달리, MoPO 는 현재 및 이전 프레임의 신뢰도 점수의 가중 합을 계산합니다. 또한 RNN 을 활용하여 과거 추세를 기반으로 신뢰도 오프셋을 추정하여 관절을 가시 ($V$) 와 가려진 ($OccJ$) 집합으로 그룹화합니다. 이를 통해 시간적으로 일관된 가림 감지가 보장됩니다.
• 가려진 부분 보완: 감지된 가려진 관절에 대해 경량의 MLP 기반 운동 예측기가 사용됩니다.
  • 리프팅 네트워크가 먼저 2D 감지로부터 3D 자세 ($P^{3D}$) 를 추정합니다.
  • 예측기는 **이산 코사인 변환 **(DCT)을 사용하여 자세 시퀀스를 주파수 영역으로 변환합니다.
  • MLP-Mixer 네트워크가 주파수 영역의 공간 - 시간 정보를 처리하여 미래 자세를 예측합니다.
  • **역 DCT(IDCT)**는 예측을 다시 3D 위치로 변환합니다.
  • 시스템은 현재 프레임의 가려진 관절을 과거의 예측된 관절로 반복적으로 교체하여 완성된 자세 시퀀스 ($P^{3D}_{com}$) 를 생성합니다.

B. 운동 인지 융합 및 정제 모듈

이 단계는 완성된 운동 사전 지식을 시각 데이터와 통합하여 최종 SMPL 매개변수를 추정합니다.

• 가림 완화 융합: 완성된 자세 시퀀스는 RNN 을 사용하여 운동 컨텍스트 ($C_M$) 로 인코딩됩니다. 이 컨텍스트는 **멀티헤드 크로스 어텐션 **(MCA)을 사용하여 이미지 특징 (ViT 백본을 통해 추출됨) 과 융합됩니다. 운동 컨텍스트는 쿼리로 작용하고 이미지 특징은 키와 값으로 작용하여, 신뢰할 수 있는 운동 사전 지식에 의해 안내된 인간 관련 특징 (형태 및 초기 자세) 을 네트워크가 추출할 수 있게 합니다.
• 운동 인지 정제: 융합된 특징으로부터 SMPL 6D 회전 매개변수를 직접 회귀하는 어려움에 대응하기 위해, 이 방법은 **역 운동학 **(IK) 원리를 활용합니다:
  • SMPL 자세는 스윙(관절 위치로부터 유도 가능한 인접 관절 간의 회전) 과 트위스트(관절로부터 유도 불가능한 뼈 축을 따른 회전) 로 분해됩니다.
  • 스윙은 완성된 관절 시퀀스 ($P^{3D}_{com}$) 에서 직접 계산되는 반면, 트위스트는 융합된 특징으로부터 회귀됩니다.
  • 이러한 구성 요소들이 결합되어 초기 자세 ($\theta_{init}$) 를 최종 정제된 자세 ($\theta_{refined}$) 로 정제하며, 이는 이후 최종 메쉬를 생성하기 위해 사전 훈련된 SMPL 회귀기에 입력됩니다.

3. 주요 기여

1. 명시적 운동 가림 제거: MoPO 는 HMR 을 위해 운동 보완 기반 가림 제거를 도입한 최초의 방법입니다. 이는 과거 시퀀스에서 가려진 관절을 명시적으로 보완하여, 일반 확산 모델의 암묵적 사전 지식보다 더 신뢰할 수 있는 가림 없는 운동 사전 지식을 제공합니다.
2. 운동 인지 융합 및 정제: 이 프레임워크는 크로스 어텐션을 통해 완성된 자세를 이미지 특징과 통합하고, 스윙 - 트위스트 분해 전략을 사용하여 SMPL 매개변수를 정제합니다. 이는 가림 하에서 회전을 회귀하는 모호성을 극복하기 위해 운동 사전 지식을 효과적으로 활용합니다.
3. 최첨단 성능: 이 방법은 가림 특화 벤치마크와 표준 벤치마크 모두에서 우수한 결과를 달성하여, 기존 SOTA 방법들에 비해 오류 지표 (MPJPE 및 MPVPE) 를 크게 감소시켰습니다.

4. 실험 결과

저자들은 3DPW-OC, 3DPW-PC, 3DOH, 3DPW-Crowd, CMU-Panoptic 및 표준 3DPW를 포함한 여러 벤치마크에서 MoPO 를 평가했습니다.

• 가림 특화 벤치마크:
  • 3DPW-OC(물체 - 사람 가림) 에서 MoPO 는 이전 SOTA(DPMesh) 대비 MPJPE 를 8.5%(70.9mm 에서 64.9mm 로) 감소시키고 MPVPE 를 12.0%(88.0mm 에서 77.4mm 로) 감소시켰습니다.
  • 3DPW-PC(사람 - 사람 가림) 에서 MoPO 는 76.0mm MPJPE 를 달성하여 이전 방법들을 능가했습니다.
  • CMU-Panoptic(다중 인물 장면) 에서 MoPO 는 DPMesh 대비 평균 2.0mm 의 개선을 달성하며 우수한 견고성을 보여주었습니다.
• 표준 벤치마크:
  • 표준 3DPW데이터셋에서 MoPO 는 60.6mm MPJPE, 37.1mm PA-MPJPE, 71.2mm MPVPE를 달성했습니다. 이는 MEGA(67.5mm) 대비 MPJPE 가 **10.2%**감소한 것으로, 운동 사전 지식이 덜 가려진 시나리오에서도 유익함을 보여줍니다.
• 효율성: MoPO 는 무거운 사전 훈련된 확산 모델에 의존하는 DPMesh(2607.4M 파라미터, 168.51G FLOPs) 에 비해 훨씬 적은 파라미터 (85.0M) 와 FLOPs(1.48G) 를 사용합니다.
• 정성적 분석: 시각화는 MoPO 가 심한 가림 하에서 더 정확하고 시간적으로 일관된 메쉬를 생성하며, 경쟁사들에 비해 가속도 오류가 현저히 낮음 (운동 떨림 감소) 을 확인시켜 줍니다.

5. 중요성 및 주장

이 논문은 MoPO 가 시간적 시퀀스에서 도출된 신뢰할 수 있는 운동 사전 지식으로 불충분한 공간적 이미지 특징에 대한 의존성을 전환함으로써 가려진 HMR 의 근본적인 부정확한 문제를 해결한다고 주장합니다.

• 견고성: 가려진 관절을 명시적으로 보완함으로써, 기존 비디오 기반 HMR 방법들이 겪는 "비현실적인 자세"와 "심한 운동 떨림"을 완화합니다.
• 일반화: 이 방법은 "인생 속 (in-the-wild)" 인터넷 비디오와 다양한 실제 시나리오에서 강력한 일반화를 보여주며, 암묵적 장면 사전 지식보다 명시적 운동 사전 지식이 HMR 을 위한 더 안정적인 기반임을 시사합니다.
• 효율성: 경량 설계 (MLP-Mixer 기반 예측기) 는 확산 기반 접근법에 비해 계산적으로 효율적인 대안을 제공하면서도 더 높은 정확도를 달성합니다.

저자들은 인간 운동 사전 지식을 활용하는 것이 가려진 인간 메쉬 복원 분야의 미래 연구에 있어 중요한 방향이며, 복잡하고 실제적인 시나리오를 위한 더 신뢰할 수 있는 해결책을 제공한다고 결론지었습니다.