1. 문제 정의 (Problem)

• 배경: 비언어적 단서 (몸짓, 포즈) 는 그룹 역학, 의도, 감정을 이해하는 데 필수적입니다. 특히 다중 인물 간의 상호작용을 분석하려면 각 인물의 절대적인 3D 공간 내 위치와 방향을 파악하는 것이 중요합니다.
• 기존 방법의 한계:
  • 기존의 2D-to-3D 포즈 리프팅 방법들은 주로 단일 인물 (Single-person) 에 초점을 맞추거나, 다중 인물 환경에서도 인물 간의 상관관계 (Inter-person relationships) 를 무시하는 경향이 있습니다.
  • 일부 다중 인물 방법 (예: POTR-3D) 은 인물 간의 상호작용을 모델링하지만, 고정된 인원 수 (Fixed group size) 만 처리할 수 있어 실제 다양한 크기의 그룹 상황에 적용하기 어렵습니다.
  • 가림 (Occlusion) 이 발생하는 상황에서 단일 인물 기반 방법은 성능이 급격히 저하됩니다.

2. 제안 방법 (Methodology)

MuPPet 은 Diffusion Process와 Transformer 아키텍처를 기반으로 하며, 인물 간의 상관관계를 명시적으로 모델링하기 위해 다음과 같은 핵심 기술들을 도입했습니다.

A. 아키텍처 개요

• 입력: 여러 인물의 2D 포즈 시퀀스 ($X \in \mathbb{R}^{T \times P \times J \times 2}$).
• 출력: 절대 좌표계상의 3D 포즈 시퀀스 ($Y \in \mathbb{R}^{T \times P \times J \times 3}$).
• 프로세스: 확산 모델 (Diffusion Model) 을 사용하여 노이즈가 있는 3D 포즈를 점진적으로 제거 (Denoising) 하여 최종 3D 포즈를 생성합니다.

B. 핵심 구성 요소

1. 다중 인물 공간 어텐션 (Dynamic Multi-Person Attention):

   • 단일 인물 내의 관절 간 어텐션뿐만 아니라, 장면 내 모든 인물의 모든 관절에 걸쳐 자기 어텐션 (Self-attention) 을 적용합니다.
   • 인원의 수 ($P$) 가 변해도 처리할 수 있도록 설계되어, 동적인 그룹 크기를 지원합니다.

2. 개인 인코딩 (Person Encoding):

   • 각 관절이 어느 인물에 속하는지 명시적으로 구분하기 위해 학습 가능한 Person Embedding ($E$) 을 도입합니다.
   • 이는 모델이 인물 간의 관계를 학습하면서도 개별 인물을 식별할 수 있게 하여, 고정된 인원 수에 의존하는 기존 방법의 한계를 해결합니다.

3. 순열 증강 (Permutation Augmentation):

   • 다중 인물 데이터의 다양성을 높이기 위해 훈련 시 인물의 순서를 무작위로 섞는 (Permutation) 전략을 사용합니다.
   • Superset Permutation: 모든 인물의 순서를 무작위화.
   • Subset Permutation: 일부 인원만 추출하여 순서를 무작위화.
   • 이를 통해 모델이 다양한 그룹 크기와 배열에 대해 강건하게 학습하도록 합니다.

4. 확산 과정 (Diffusion Process):

   • DDPM (Denoising Diffusion Probabilistic Models) 기반의 역확산 과정을 통해 3D 포즈를 생성합니다.
   • 가림 (Occlusion) 이나 깊이 모호성 (Depth ambiguity) 과 같은 불확실성이 있는 경우, 결정론적 모델 대신 여러 가지 유효한 3D 포즈 가설을 확률적으로 추론하여 최종 예측을 정제합니다.

5. 손실 함수 (Pose Loss):

   • 절대 위치 (Absolute Root) 와 상대 위치 (Relative Joints) 를 분리하여 학습합니다.
   • $\mathcal{L}_{\text{MPJPE}} = \lambda \cdot \mathcal{L}_{\text{abs}} + (1 - \lambda) \cdot \mathcal{L}_{\text{rel}}$ 형태로 가중치를 두어 균형 잡힌 학습을 유도합니다.

3. 주요 기여 (Key Contributions)

1. 동적 인원 수 처리: 고정된 인원 수가 아닌, 프레임 간에 변하는 다중 인물의 2D-3D 포즈 리프팅을 가능하게 하는 프레임워크 제안.
2. 효율적인 관계 모델링: 개인 인코딩 (Person Encoding), 순열 학습 (Permutation Learning), 그리고 전 인물에 걸친 공간/시간 어텐션을 통해 인물 내 (Intra-) 및 인물 간 (Inter-) 관계를 효율적으로 모델링.
3. 성능 및 가림 처리: 단일 인물 베이스라인 및 기존 최첨단 (SOTA) 다중 인물 방법보다 우수한 성능을 보이며, 특히 가림 (Occlusion) 상황에서 강건성을 입증.

4. 실험 결과 (Results)

• 데이터셋: Haggling (3 명 상호작용), CMU Panoptic (2~8 명 상호작용) 데이터셋을 사용.
• 단일 인물 방법 대비 (Haggling):
  • SOTA 단일 인물 방법 (D3DP) 대비 상대 포즈 오차 6.4%, 절대 포즈 오차 17.2% 개선.
  • 절대 루트 (Root) 오차에서 19.9% 향상. 이는 다중 인물 관계 모델링이 3D 위치 추정에 미치는 긍정적 영향을 보여줍니다.
• 최첨단 다중 인물 방법 대비 (Panoptic):
  • VirtualPose, POTR-3D 등 기존 SOTA 방법들보다 평균 상대 관절 오차 (MPJPE) 에서 최고 성능을 기록했습니다.
  • 절대 포즈 추정을 목표로 함에도 불구하고, 상대 포즈 정확도에서도 기존 2D-to-3D 리프팅 방법들을 능가했습니다.
• 가림 (Occlusion) 연구:
  • 가려진 관절 수가 증가할수록 MuPPet 의 성능 저하 폭이 D3DP 보다 훨씬 작았습니다. 특히 절대 포즈 오차에서 큰 격차를 보이며, 주변 인물들의 정보를 활용해 가려진 포즈를 추론하는 능력이 뛰어남을 입증했습니다.
• Ablation Study:
  • 각 모듈 (다중 인물 어텐션, 개인 인코딩, 순열 증강) 이 점진적으로 추가될수록 성능이 향상됨을 확인했습니다. 특히 순열 증강 (Subset/Super-set) 이 데이터 다양성을 높여 성능 향상에 기여했습니다.

5. 의의 및 결론 (Significance)

• 사회적 인식 3D 포즈 추정: MuPPet 은 단순한 포즈 추정을 넘어, 인물 간의 사회적 상호작용 (Imitation, Synchrony 등) 을 고려하여 3D 포즈를 추정함으로써 로봇 및 지능형 시스템이 그룹과 상호작용하는 데 필수적인 정보를 제공합니다.
• 실용성: 고정된 인원 수 제약에서 벗어나 실제 환경의 다양한 그룹 크기를 처리할 수 있어, 실제 응용 (예: 인간 - 로봇 상호작용, 사회적 행동 분석) 에 매우 유용합니다.
• 가림 문제 해결: 가림이 빈번한 사회적 상호작용 장면에서도 주변 맥락을 활용해 정확한 3D 포즈를 복원할 수 있음을 보여주었습니다.

이 논문은 다중 인물 3D 포즈 추정 분야에서 인물 간의 상관관계 모델링의 중요성을 재확인하고, 이를 효과적으로 구현한 새로운 아키텍처를 제시했다는 점에서 의의가 큽니다.