기술 요약: PoseShield: 인간 자기 충돌 해결을 위한 신경망 충돌 필드

문제 정의

자기 충돌(Self-collision)은 SMPL 기반의 인간 포즈 추정 및 모션 생성에서 지속적인 과제로 남아 있다. 극단적인 관절 움직임이나 확률적 모션 합성 상황에서, 생성된 메시는 빈번하게 자기 침투(self-penetrations)를 보이며 물리적으로 불가능한 결과를 초래한다. 기하학적 처리 및 물리 시뮬레이션 분야에 고전적인 충돌 처리 방법들이 존재하지만, 이들은 대개 원시 정점(vertex) 위치를 최적화함으로써 메쉬 공간에서 직접 작동한다. 이러한 접근 방식은 최적화 변수가 메쉬 정점이 아닌 포즈 파라미터 $\theta$인 SMPL 파이프라인과 자연스럽게 호환되지 않는다. 또한, 고전적인 방법들은 대개 충돌이 없는 참조 구성(reference configuration)을 필요로 하는데, 현대의 포즈 예측 파이프라인에서는 이러한 참조 구성을 일반적으로 얻을 수 없다. 기존의 학습 기반 접근 방식들은 휴리스틱한 페널티나 소프트 제약 조건에 의존하는 경우가 많으며, 이는 강건한 경사 하강법 기반 제약 최적화에 필요한 이론적 정규성 조건(regularity conditions)을 결려하고 있다.

방법론

저자들은 PoseShield라는, 저차원의 SMPL 포즈 공간에 직접 정의된 신경망 충돌 제약을 제안한다. 이 방법론의 핵심은 충돌 해결을 제약 최적화 문제로 정식화하고, 학습된 제약을 에이커날 방정식(Eikonal equation)과 연결하는 것이다.

1. 문제 정식화

자기 충돌이 발생하는 SMPL 구성 $(\beta, \theta_0)$가 주어졌을 때, 목표는 충돌이 없는 제약 조건을 만족하면서 원래의 포즈와의 거리를 최소화하는 수정된 포즈 $\theta$를 찾는 것이다:
$$\theta^\star = \arg \min_{\theta} d_{\mathrm{SMPL}}(\theta, \theta_0) \quad \text{subject to} \quad \iota(\mathcal{M}(\beta, \theta)) = +1$$
여기서 $\iota$는 이진 충돌 지표이다. $\iota$는 미분 불가능하므로, 저자들은 학습 가능한 대리 신경망 제약 함수 $g(\theta)$를 도입하여 문제를 다음과 같이 변형한다:
$$\theta^\star = \arg \min_{\theta} d_{\mathrm{SMPL}}(\theta, \theta_0) \quad \text{subject to} \quad g(\theta) \ge C_l$$

2. 이론적 토대: 에이커날 정규화 (Eikonal Regularization)

경사 하강법 기반 제약 솔버(예: SLSQP, Augmented Lagrangian)가 안정적으로 수렴하기 위해서는 제약 함수가 제약 경계 근처에서 소멸하지 않는 그래디언트를 요구하는 선형 독립 제약 자격(LICQ)을 만족해야 한다. 저자들은 이 요구 사항과 에이커날 방정식 사이의 연결 고리를 확립한다.

그들은 $g(\theta)$가 포즈 공간 내의 충돌 경계에 대한 부호 거리 함수(Signed Distance Function, SDF)를 근사하도록 학습할 것을 제안한다. 학습 과정에서 에이커날 정규화 항을 적용함으로써:
$$\mathcal{L}_{\text{grad}} = \mathbb{E}_{\theta \sim \Omega} \left[ \left| \|\nabla_{\theta} g(\theta)\| - 1 \right| \right]$$
이 방법은 포즈 공간 전체에서 $\|\nabla g\|$가 0에서 멀리 떨어져 있도록 보장한다. 이론적으로, 이는 전역적으로 LICQ를 만족하며 최적화 과정에 대한 수렴 보장을 제공한다. 저자들은 이 손실 함수를 최소화하는 것이 LICQ가 실패하는 포즈 공간 영역의 부피를 제한한다는 것을 증명한다.

3. 학습 및 최적화

• 학습 목적 함수: 네트워크는 부호 감독(sign supervision, 충돌이 없는 포즈에 대해 $g(\theta) > 0$, 충돌이 있는 포즈에 대해 $g(\theta) < 0$을 보장)과 에이커날 손실을 결합하여 학습된다. 또한 학습 안정성을 높이기 위해 시간 차분(Temporal Difference, TD) 변형 그래디언트 손실이 도입된다.
• 능동 학습 (Active Learning): 결정 경계(decision boundary)를 정확하게 포착하기 위해, 저자들은 $g(\theta)$의 제로 레벨 셋 근처의 샘플들로 학습 세트를 점진적으로 증강하는 능동 학습 전략을 채택한다.
• 모션 시퀀스 확장: 학습된 제약은 인간 모션 시퀀스로 확장된다. PoseShield는 밑단의 모션 생성기를 재학습하는 대신, 생성기와 무관한 사후 교정기(post-hoc corrector)로서 작동한다. 이는 포즈 파라미터, 관절 위치, 시간적 속도를 포함하는 거리 메트릭을 통해 모션 충실도를 유지하면서 충돌 제약을 만족하도록 모션 시퀀스를 최적화한다.

주요 기여

1. 원칙적인 프레임워크: 본 논문은 학습 가능한 미분 가능 제약이 있는 제약 최적화 문제로서 SMPL 포즈 공간에서의 자기 충돌 해결을 정식화하였으며, 특정 가정 하에 경사 하강법 기반 솔버에 대한 이론적 수렴 보장을 제공한다.
2. PoseShield: 에이커날 정규화로 학습된 신경망 충돌 제약이다. 저자들은 이 학습 목적 함수가 LICQ가 실패하는 영역의 부피를 정량적으로 제한함을 증명하여, 학습 정확도와 솔버의 신뢰성 사이의 관계를 입증하였다.
3. 생성기와 무관한 교정 (Generator-Agnostic Correction): 이 방법은 밑단의 모션 모델을 재학습할 필요 없이 인간 모션 시퀀스를 위한 사후 교정기로 기능하며, 시간적으로 일관된 충돌 해결을 가능하게 한다.
4. 벤치마킹: 저자들은 벤치마킹을 용이하게 하기 위해 자기 충돌이 포함된 약 931k개의 SMPL 포즈를 담은 Humans with Collisions (HwC) 데이터셋을 도입하였다.

실험 결과

실험은 HwC 데이터셋과 PROX 데이터셋에서 수행되었으며, Torch-mesh-isect, 분류기 기반 베이스라인, COAP, VolumetricSMPL 등의 베이스라인과 PoseShield를 비교하였다.

• 성공률 (SCC): PoseShield는 HwC 데이터셋에서 **95.8%**의 성공률을 달 기록하며, 가장 우수한 베이스라인인 COAP(44.6%)를 크게 앞질렀다.
• 침투 깊이 감소 (PDR): 이 방법은 **98.2%**의 PDR을 달성하였으며, 이는 자기 침투를 매우 효과적으로 제거했음을 나타낸다.
• 기하학적 충실도: PoseShield는 0.059의 낮은 평균 정점 거리(Mean Vertex Distance, MVD)를 유지하였으며, 이는 교정된 포즈가 원래 입력과 가깝게 유지되면서 충돌을 해결했음을 보여준다.
• 모션 시퀀스: 모션 교정 작업에서 PoseShield는 잔류 침투 깊이와 모션 아티팩트(예: 발 미끄러짐 현상) 측면에서 직접 최적화 및 COAP 기반 접근 방식보다 우수한 성능을 보이며, 충돌 제거와 모션 품질 사이의 최적의 균형을 제공하였다.

의의 및 주장

본 논문은 PoseShield가 인간 모델링의 고질적인 문제에 대해 이론적으로 근거한 솔루션을 제공한다고 주장한다. 충돌 처리를 에이커날 방정식과 연결함으로써, 저자들은 휴리스틱한 페널티 기반 방법에서 흔히 결여되는 특성인 최적화 과정의 수치적 안정성과 강건성을 확보하였다. 메쉬 공간이 아닌 저차원의 포즈 공간에서 직접 작동할 수 있는 능력은, 밑단의 생성 모델을 수정하지 않고도 정적 포즈 교정부터 복잡한 모션 합성까지 다양한 SMPL 기반 시나리오에 대한 범용적인 정밀화 모듈로서의 매끄러운 통합을 가능하게 한다.