기술 요약: 확산 기반 역해법을 활용한 제로샷 인간 포즈 추정

문제 정의

인간 포즈 추정은 희소 센서 데이터로부터 전신 3D 자세 (머리, 몸통, 사지) 를 재구성하는 것을 목표로 합니다. 최근 조건부 확산 모델을 활용한 연구는 머리와 두 손목 등 단 세 개의 센서만으로 전신 포즈를 예측하는 데 가능성을 보여주었으나, 이러한 방법들은 서로 다른 체형을 가진 사용자 간 일반화 능력 부족이라는 치명적인 한계를 겪고 있습니다.

카스티요 (Castillo) 등 (2023) 의 기존 접근법들은 확산 모델을 관절 위치와 회전에 모두 조건부로 학습시켰습니다. 그러나 관절 위치는 본질적으로 척도에 의존적이므로, 사용자의 뼈 길이와 체형 비율에 따라 크게 달라집니다. 그 결과, 특정 사용자의 데이터로 훈련된 모델은 광범위한 미세 조정 (fine-tuning) 없이는 다른 체형을 가진 사용자에게 일반화되지 못합니다. 여러 체형에 대해 공동 훈련하는 것 (알리악바리안 (Aliakbarian) 등, 2022 가 시도한 바와 같이) 은 모델 복잡성을 증가시킬 뿐이며, 모든 가능한 체형 변이를 커버할 것이라는 보장은 없습니다. 따라서 개인화된 훈련 데이터 없이도 체형 이상치 (outliers) 에 일반화될 수 있는 알고리즘이 필요합니다.

방법론: InPose

저자들은 InPose를 제안합니다. 이는 포즈 추정을 **역문제 (inverse problem)**로 공식화하여 제로샷 일반화를 달성하는 확산 기반 방법입니다. 핵심 통찰은 인간 포즈를 두 가지 구성 요소로 분해하는 것입니다:

1. 척도 무관 포즈 (Scale-free pose): 체형 크기와 독립적인 관절 회전 (각도) 으로 정의됩니다.
2. 척도 의존적 구성 요소 (Scale-dependent component): 뼈 길이와 체형에 의존하는 3D 공간 내 관절 위치로 정의됩니다.

1. 역문제 공식화

위치와 회전 모두에 확산 모델을 조건부로 설정하는 것 (이는 모델을 특정 체형에 결합시킴) 대신, InPose 는 생성적 사전분포 (generative prior) 를 회전 측정값에만 조건부로 설정합니다.

• 사전분포 (Prior): 센서로부터의 노이즈가 포함된 회전 측정값 ($r_m$) 을 기반으로 척도 무관 포즈의 분포를 예측하도록 조건부 흐름 매칭 (Conditional Flow Matching, CFG) 확산 모델을 훈련합니다.
• 가능도 (Guidance): 측정된 관절 위치 ($l_m$) 는 훈련을 위한 조건 입력으로 사용되지 않고, 추론 과정을 안내하는 **가능도 항 (likelihood term)**으로 활용됩니다. 이 항은 사용자의 특정 뼈 길이를 고려할 때 생성된 포즈가 관측된 위치를 얼마나 잘 설명하는지 평가합니다.

2. 수학적 프레임워크

목표는 $p(r_M | y_m)$의 사후분포에서 샘플링하는 것으로, 여기서 $r_M$은 22 개의 전역 관절 회전을, $y_m$은 센서 측정값을 나타냅니다. 베이즈 정리를 사용하여 스코어 함수를 분해합니다:
$$\nabla_{r_M^t} \log p_t(r_M^t | \{l_m, r_m\}) = \nabla_{r_M^t} \log p_t(r_M^t | r_m) + \nabla_{r_M^t} \log p_t(l_m | r_M^t)$$

• 사전분포 항 ($\nabla \log p(r_M^t | r_m)$): 오직 회전에만 조건부로 설정된 CFG 기반 스코어 모델이 학습합니다. 이는 타당한 포즈들의 척도 무관 분포를 제공합니다.
• 가능도 항 ($\nabla \log p(l_m | r_M^t)$): 이 항은 역기구학 (inverse kinematics) 안내 역할을 합니다. 이는 6D 회전 벡터를 행렬로 변환하는 비선형 연산자 $D(\cdot)$와 정방향 기구학 (forward kinematics) 을 수행하는 선형 연산자 $A$를 통해 추정된 회전을 위치로 매핑하는 것을 요구합니다.

3. 의사역행렬 안내를 통한 비선형성 처리

주요 과제는 가능도 항이 가우시안 확률변수를 비선형 함수 $D(\cdot)$를 통해 전파한다는 점입니다. 확산 모델을 위한 표준 의사역행렬 안내 (Pseudoinverse-Guidance for Diffusion Models, ΠGDM) 는 선형 연산자를 가정합니다.

• 정리 1 (Theorem 1): 저자들은 스코어 모델이 6D 회전 벡터에 대해 특정 단위 노름 (unit-norm) 및 직교성 제약을 보장한다면, 노이즈가 포함된 입력 $r_M^t$에 대한 변환된 회전 $D(r_M^0)$의 분포를 가우시안 분포로 근사할 수 있음을 증명합니다.
• 이 근사를 통해 저자들은 가능도 스코어를 분석적으로 계산할 수 있게 되며, 연산자가 선형일 필요 없이 ΠGDM 을 사용하여 노이즈 제거 과정을 안내할 수 있게 됩니다.

4. 파이프라인

추론 과정 (알고리즘 1) 은 포즈를 반복적으로 정제합니다:

1. CFG 사전분포 (회전에 조건부) 를 사용하여 조건부 노이즈 제거 추정치 $\hat{r}_M^t$를 생성합니다.
2. ΠGDM 프레임워크를 사용하여 가능도 스코어를 계산하며, 사용자의 특정 뼈 길이를 포함하여 회전을 예상 위치로 매핑합니다.
3. 수정된 DDIM 샘플러를 사용하여 사전분포와 가능도 스코어를 결합하여 다음 시간 단계의 포즈 추정치를 업데이트합니다.

주요 기여

1. 제로샷 일반화: 생성적 사전분포 (회전) 를 척도 의존적 측정값 (위치) 과 분리함으로써, InPose 는 재훈련이나 미세 조정 없이 임의의 체형을 가진 사용자의 포즈를 추정할 수 있습니다.
2. 역해법 공식화: 이 논문은 포즈 추정을 사전 훈련된 확산 사전분포가 희소 위치 측정값에서 유도된 가능도 항에 의해 안내되는 역문제로 재정의합니다.
3. 비선형 연산자를 위한 가우시안 근사: 저자들은 6D-행렬 회전 매핑을 통한 가우시안 변수의 전파를 가능하게 하는 이론적 증명 (정리 1) 을 제공하여, ΠGDM 을 이 특정 역문제에 적용 가능하게 합니다.
4. 강건성: 이 방법은 노이즈가 많은 위치 입력에 크게 의존하는 방법들과 달리, 생성적 사전분포가 최종 추정치에서 지배적인 역할을 하므로 위치 측정 노이즈에 내재적으로 강건합니다.

실험 결과

실험은 BoDiffusion 베이스라인과 유사한 프로토콜을 사용하여 AMASS 데이터셋에서 수행되었습니다.

• 체형 스케일링: 키가 크거나 작은 등 스케일링된 체형을 가진 사용자를 테스트했을 때, 베이스라인 모델 (AvatarJLM, BoDiffusion) 은 위치 오차 (MPJPE) 와 회전 오차 (MPJRE) 모두에서 상당한 성능 저하를 보였습니다. 반면, InPose 는 모든 스케일링 요인에서 일관된 성능을 유지하며 제로샷 능력을 입증했습니다.
• 변화하는 상대적 신체 부위: 특정 신체 부위 (예: 팔 대 몸통) 가 다르게 스케일링된 시나리오에서, InPose 는 역 안내가 변경된 뼈 길이를 정확히 반영함에 따라 MPJPE 와 상체 위치 오차 (UPE) 에서 베이스라인을 능가했습니다.
• 노이즈 강건성: 위치 측정값에 가우시안 노이즈가 증가하는 조건에서 InPose 는 안정적으로 유지된 반면, 베이스라인은 크게 저하되었습니다.
• 트레이드오프:
  • InPose 는 **기본 체형 (훈련에 사용된 체형)**에서 베이스라인보다 약간 낮은 성능을 보입니다. 이는 베이스라인이 해당 특정 체형에 대한 직접적인 비선형 매핑을 학습할 수 있는 반면, InPose 는 일반적인 근사에 의존하기 때문입니다.
  • 하체 추정: CFG 입력으로 머리 이동을 포함하지 않을 경우, 루트 이동이 직접 관측되지 않아 InPose 는 하체 포즈 추정 (높은 LPE) 에서 어려움을 겪습니다. 그러나 머리 위치를 CFG 입력으로 추가 (InPose (head)) 하면 하체 추정이 크게 개선되어 다양한 체형에서 모든 베이스라인을 능가합니다.

중요성과 주장

이 논문은 포즈를 척도 무관 및 척도 의존적 구성 요소로 분해함으로써 제로샷 포즈 예측을 위한 경로를 제시한다고 주장합니다. 그 중요성은 새로운 사용자마다 개인화된 데이터 수집과 재훈련이 필요하다는 실용적 웨어러블 센서 응용 분야의 주요 병목 현상을 제거하는 데 있습니다.

저자들은 겸손하게 한계를 인정합니다:

• 이 방법은 훈련에 사용된 특정 체형에서는 베이스라인을 능가하지 못합니다.
• 하체 추정은 루트 이동이 직접 통합되지 않았기 때문에 사전분포나 머리 위치 포함에 크게 의존합니다.
• 이 알고리즘은 추론 중 사용자의 뼈 길이에 대한 정확한 지식을 요구하며, 뼈 길이 추정 오류는 성능을 저하시킬 수 있습니다.

이 연구는 향후 연구가 물리 제약을 통한 하체 모델링 개선과 명시적 보정 없이 뼈 길이를 맹목적으로 추정하는 방법 개발에 초점을 맞춰야 함을 시사합니다.