Enhancing Monocular 3D Hand Reconstruction with Learned Texture Priors

기술 요약: 학습된 텍스처 프라이어를 통한 단안 3D 손 재구성 개선

문제 정의
단안 3D 손 재구성은 여전히 도전적이고 제약이 많은 문제입니다. 고성능 모델들이 존재하지만, 이들은 종종 관측된 이미지의 외형(appearance)과 완벽하게 일치하지 않는 기하학적 예측을 생성합니다. 저자들은 현재의 학습 신호가 효과적이기는 하지만, 가용한 외형 정보를 충분히 활용하지 못하고 있다는 점을 관찰했습니다. 또한, 조밀한 텍스처 감독(supervision)이 포함된 기존 데이터셋은 일반적으로 멀티뷰 스튜디오 환경에 국한되어 있어, "in-the-wild" 단안 데이터의 다양성과 확장성이 부족합니다. 핵심 과제는 정답(ground-truth) 텍스처나 멀티뷰 입력 없이도, 단일 이미지로부터 얻은 희소하고 부분적이며 노이즈가 있는 텍스처 관측값을 활용하여 3D 손 재구성의 기하학적 정확도와 사실성을 모두 향상시키는 것입니다.

방법론
제안된 접근 방식은 기존의 기하학 중심 재구성 파이프라인(구체적으로 HaMeR 트랜스포머 아키텍처를 보강함)에 경량화된 학습 가능 텍스처 모듈을 통합합니다. 이 방법은 세 가지 주요 구성 요소를 통해 작동합니다:

1. 희소 관측값 추출 (Sparse Observation Extraction): 입력 이미지와 예측된 3D 손 메쉬(HaMeR와 같은 베이스 모델로부터)가 주어지면, 시스템은 가시적인 표면 지점들을 역투영(back-project)하여 희소한 UV-RGB 쌍을 추출합니다. 이 쌍들은 부분적이고 뷰 특이적인(view-specific) 텍스처 관측을 나타냅니다.
2. 학습된 텍스처 모듈 (Learned Texture Module): 트랜스포머 기반 아키텍처가 가변적인 길이의 희소 관측값을 처리합니다.
   • 인코더 (Encoder): RGB 값은 1×1 컨볼루션을 통해 임베딩되며, UV 좌표는 공간적 맥락을 주입하기 위해 랜덤 푸리에 특징(Random Fourier Features)을 사용하여 인코딩됩니다. 이들은 결합되어 학습된 쿼리 토큰을 사용하는 트랜스포머 디코더에 의해 처리되며, 이를 통해 전역 특징을 집계합니다.
   • 디코더 (Decoder): 컨볼루션 업스케일링 디코더(픽셀 셔플링 활용)는 잠재 표현(latent representation)을 조밀하고 전체 해상도인 UV 텍스처 맵(224×224)으로 변환합니다.
   • 학습 전략 (Training Strategy): 이 모듈은 약지도 학습(weakly-supervised) 방식으로 훈련됩니다. 모델은 관측된 색상이 해당 UV 위치의 색상과 일치하는 전체 텍스처 맵을 재구성합니다. 손실 함수는 로컬 정확도와 전역 주파수 일관성을 모두 보장하기 위해 마스크드 L1(masked L1) 항과 푸리에 도메인 일관성 손실을 결합합니다.
3. 조밀한 정렬 감독 (Dense Alignment Supervision): 재구성된 텍스처는 예측된 메쉬에 적용되며, 미분 가능한 렌더러(PyTorch3D)를 통해 이미지 공간으로 다시 렌더링됩니다. 렌더링된 이미지와 원본 입력 사이의 광도 일관성(photometric consistency) 손실이 계산됩니다. 이 조밀한 정렬 신호는 베이스 모델의 기하학적 추정치를 정교화하도록 유도합니다.

결정적으로, 텍스처 모듈은 훈련 중에 "사이드카(sidecar)" 역할을 합니다. 제안된 구성에서 베이스 모델의 백본은 동결되며, 오직 헤드(head)만이 텍스처 모듈(사전 훈련되었거나 "웜업"된 상태)과 함께 미세 조정됩니다. 추론 시에는 텍스처 모듈이 필요하지 않으며, 개선 사항은 재구성 모델의 업데이트된 가중치를 통해서만 나타납니다.

주요 기여

• 통합 희소-조밀 텍스처 모델: 저자들은 전체 텍스처 재구성을 위한 통합 모델 내에서 희소하고 부분적인 손 텍스처 관측을 수용하는 첫 번째 방법을 소개합니다. 이는 정답 텍스처나 멀티뷰 데이터 없이도 약지도 학습을 통해 달성됩니다.
• 트랜스포머 기반 아키텍처: 불완전한 UV-RGB 입력을 통해 조밀하고 일관된 텍스처를 재구성하도록 설계된, 픽셀 수준의 어텐션과 랜덤 푸리에 특징을 사용하는 새로운 아키텍처를 도입했습니다.
• 확장 가능한 학습 절차: 합성 데이터와 실제 데이터를 혼합하여 모델을 초기화하는 웜업 절차를 제안하여, 수동 주석(annotation)의 필요성을 제거했습니다.
• 엔드 투 엔드 광도 감독: 미분 가능한 렌더링 프레임워크와 광도 일관성 손실의 통합을 통해, 수동 개입 없이 기하학적 정렬을 개선하는 텍스처 가이드 감독을 가능하게 했습니다.

결과
이 방법은 HaMeR [46]을 확장하여 평가되었으며, HInt 데이터셋(NEWDAYS, VISOR, Ego4D 포함)과 FreiHAND 및 HO3D와 같은 표준 벤치마크에서 테스트되었습니다.

• 정량적 개선: 이 접근 방식은 특히 "폐쇄된(Occluded)" 키포인트 카테고리에서 베이스라인인 HaMeR을 지속적으로 능가합니다. 예를 들어, VISOR 데이터셋의 @0.10 임계값에서, 이 방법은 폐쇄된 키포인트에 대해 HaMeR의 61.8% 대비 64.2%의 PCK를 달관했습니다. NEWDAYS 및 Ego4D에서도 개선이 관찰되었습니다.
• 벤치마크 성능: FreiHAND 및 HO3D에서 이 방법은 베이스라인과 대등한 성능을 달성하였으며, 이는 텍스처 가이드 감독이 깨끗한 스튜디오 캡처 데이터셋에서의 성능을 저하시키지 않으면서도 도전적인 상황, 폐쇄되거나 에고센트릭(egocentric) 시나리오에서 이득을 제공함을 입증합니다.
• 희소성에 대한 강건성: 실험 결과, 텍스처 모델이 단 1,000개의 가시적인 UV 픽셀만으로도 높은 재구성 충실도를 유지함을 보여주었으며, 이는 단안 데이터의 전형적인 희소한 감독에 대한 강건성을 나타냅니다.
• 효율성: 텍스처 모듈은 훈련 반복당 약 70ms를 추가하며, 최종 모델은 베이스 네트워크의 업데이트된 가중치에만 의존하므로 테스트 시에는 추가적인 계산 비용이 발생하지 않습니다.

의의 및 주장
본 논문은 외형 가이드 정렬이 기하학적 단서가 모호한 시나리오(예: 심한 폐쇄 또는 에고센트릭 뷰포인트)에서 기하학 중심 훈련을 보완하는 의미 있는 보완재 역할을 한다고 주장합니다. 저자들은 자신들의 솔루션이 실용적이고 모듈식임을 강조합니다. 즉, 추가적인 수동 주석이 필요하지 않고, 선별되지 않은 단안 데이터로 확장 가능하며, 기하학적 정확도와 시각적 사실성을 모두 향상시킵니다. 이 연구는 학습된 텍스처 프라이어가 기존의 재구성 파이프라인에 효과적으로 통합되어 3D 손 포즈 및 형태 추정의 모호성을 해결할 수 있음을 입증함으로써 향후 개선을 위한 토대를 마련했습니다.