Sapiens2: 고해상도 인간 중심 비전 모델에 대한 기술 요약

이 논문은 Meta Reality Labs 에서 제안한 Sapiens2에 대해 다루고 있습니다. Sapiens2 는 인간 중심 비전 (Human-centric vision) 에 특화된 고해상도 트랜스포머 모델 패밀리로, 일반화 능력, 다용도성, 그리고 높은 충실도 (High-fidelity) 출력에 중점을 두고 있습니다.

1. 문제 정의 (Problem)

기존의 인간 중심 비전 모델 (예: Sapiens 1 세대) 은 다음과 같은 한계를 가지고 있었습니다:

• 시맨틱과 저수준 디테일의 균형 부재: 마스킹 이미지 모델링 (MIM, 예: MAE) 은 픽셀 재구성을 통해 저수준 디테일 (텍스처 등) 을 잘 학습하지만, 제로샷 (zero-shot) 이나 소수 레이블 설정에서의 시맨틱 이해도가 부족합니다. 반면, 대비 학습 (Contrastive Learning, CL) 은 시맨틱을 잘 학습하지만, 밀집 예측 (dense prediction) 과 같은 작업에서 필요한 미세한 공간적 디테일과 광도적 충실도를 희생하는 경향이 있습니다.
• 고해상도 처리의 어려움: 4K 와 같은 초고해상도 입력을 처리하면서도 메모리 효율성을 유지하고, 긴 훈련 스케줄을 안정적으로 수행하는 아키텍처가 부족했습니다.
• 데이터 및 태스크 한계: 기존 모델은 제한된 데이터셋과 태스크에 의존하여, 다양한 인간 이미지 (다양한 인종, 환경, 조명) 와 새로운 태스크 (포인트맵, 알베도 등) 에 대한 일반화 능력이 제한적이었습니다.

2. 방법론 (Methodology)

2.1 데이터 (Humans-1B Dataset)

• 규모: 웹 규모의 약 40 억 장의 이미지에서 다단계 필터링 (바운딩 박스 감지, 헤드 포즈 추정, 미적/리얼리즘 점수, CLIP 특징, 텍스트 오버레이 감지 등) 을 거쳐 **10 억 장 (1B)**의 고품질 인간 이미지를 선별했습니다.
• 선별 기준: 각 이미지에는 최소 한 명의 주요 인물이 포함되어야 하며, 384 픽셀 이상의 크기를 가져야 합니다.
• 다양성: 나이, 인종, 배경, 조명, 오목 (occlusion) 등 다양한 조건을 균형 있게 포함하도록 클러스터링 및 샘플링을 수행했습니다. 태스크 레이블이나 인간 특유의 사전 지식 (prior) 은 사전 학습 시 주입하지 않았습니다.

2.2 사전 학습 (Pretraining)

• 통합 목적 함수 (Unified Objective):
  • 마스킹 이미지 재구성 (MAE): 저수준 디테일 (텍스처, 경계) 을 학습하여 밀집 예측 작업의 충실도를 보장합니다.
  • 대비 학습 (Contrastive Learning): [CLS] 토큰을 기반으로 한 자기 증류 (self-distilled) 대비 목적 함수를 사용하여 인스턴스 수준의 불변성과 시맨틱 이해도를 강화합니다.
  • 결합: $L = L_{MAE} + \lambda L_{CL}$로 두 목적 함수를 결합하여, 픽셀 공간에 앵커링된 특징을 학습하면서도 시맨틱적으로 조직화된 표현을 얻습니다.
• 데이터 증강: 다양한 뷰 (전역 및 로컬) 를 생성하여 학생 - 교사 (student-teacher) 프레임워크를 적용했습니다.

2.3 모델 아키텍처 (Model Architecture)

• 규모: 파라미터 수 0.4B 에서 5B 까지 다양한 크기의 모델 패밀리 (0.4B, 0.8B, 1B, 5B) 를 제공합니다.
• 고해상도 처리 (4K):
  • 계층적 아키텍처: 초기 레이어에서는 **윈도우드 셀프 어텐션 (Windowed Self-Attention)**을 사용하여 로컬 구조와 텍스처를 포착합니다. 이후 토큰을 풀링하여 길이를 줄인 후, 글로벌 셀프 어텐션을 적용하여 장거리 문맥을 통합합니다.
  • 안정성 및 효율성: QK-Norm (고해상도 훈련 안정화), RMSNorm, 그룹 쿼리 어텐션 (GQA), 그리고 픽셀 셔플 (Pixel-shuffle) 디코더를 도입하여 메모리 효율성과 훈련 안정성을 높였습니다.
• 해상도: 네이티브 1K 해상도를 지원하며, 4K 입력을 위한 계층적 변형과 2K 출력 해상도를 지원합니다.

2.4 사후 학습 (Post-training)

• 태스크: 포즈 추정, 신체 부위 분할, 포인트맵 (깊이), 표면 법선 (Normal), 알베도 (반사율) 추정의 5 가지 주요 인간 중심 태스크에 대해 파인튜닝을 수행했습니다.
• 주석 데이터: 10 만 장의 자연 환경 (in-the-wild) 이미지와 고품질 합성 데이터를 활용하여 태스크별 레이블 (예: 308 개의 키포인트, 29 개 클래스 분할) 의 양과 질을 대폭 향상시켰습니다.

3. 주요 기여 (Key Contributions)

1. 대규모 인간 중심 모델 패밀리: 10 억 장의 인간 이미지로 사전 학습된 0.4B~5B 파라미터 규모의 트랜스포머 모델 패밀리 제시.
2. 통합 사전 학습 전략: 마스킹 재구성과 대비 학습을 결합하여 제로샷 일반화와 밀집 예측의 디테일 보존을 동시에 달성.
3. 고해상도 및 다중 태스크 확장: 4K 입력을 처리 가능한 아키텍처를 도입하고, 포즈, 분할, 기하학적 정보 (법선, 알베도, 포인트맵) 등 다양한 태스크에서 SOTA 성능 달성.
4. 데이터 및 주석의 질적 향상: 10 억 장의 선별된 데이터와 10 배 이상 확장된 고품질 태스크 주석 데이터셋 구축.

4. 실험 결과 (Results)

Sapiens2 는 다양한 벤치마크에서 기존 모델 (Sapiens 1 세대, DINOv2/3, PE 등) 을 압도하는 성능을 보였습니다.

• 포즈 추정 (Pose Estimation): 308 개의 키포인트에 대한 mAP 에서 Sapiens2-5B 는 74.7을 기록하여 기존 모델 대비 +6.5 포인트 향상. 11K 테스트 세트에서 82.3 mAP 를 달성하여 새로운 SOTA 를 수립.
• 신체 부위 분할 (Body-part Segmentation): 29 개 클래스에 대한 mIoU 에서 Sapiens2-5B 는 **82.5%**를 기록하여 기존 모델 대비 +24.3 포인트 향상. 입술, 혀, 귀걸이 등 미세한 부분의 분할 정확도가 크게 개선됨.
• 법선 추정 (Normal Estimation): 평균 각도 오차 (Mean Angular Error) 가 6.73 도로 감소 (기존 대비 45.6% 감소). 30 도 임계값 이내의 정확도가 96.13% 에 달함.
• 포인트맵 및 알베도: 포인트맵 (Pointmap) 과 알베도 (Albedo) 추정에서도 모든 모델 크기에서 기존 최첨단 방법 (MoGe, UniDepth 등) 을 능가하는 성능을 보임. 특히 알베도 추정은 합성 데이터로만 학습되었음에도 자연 환경 이미지에 대한 일반화 능력이 뛰어남.
• 고해상도 이점: 4K 모델은 1K 모델 대비 더 미세한 주름, 헤어 디테일, 작은 액세서리 (귀걸이, 체인 등) 를 픽셀 단위로 정확하게 분할하고 재현함.

5. 의의 (Significance)

Sapiens2 는 인간 중심 비전 분야에서 **새로운 기준 (Benchmark)**을 제시합니다.

• 고충실도 출력: 고해상도 입력을 처리하면서도 픽셀 단위의 정밀한 디테일 (텍스처, 경계) 을 보존하여, 아바타 생성, 증강 현실 (AR), 디지털 휴먼 제작 등 실용적인 응용 분야에 필수적인 높은 충실도를 제공합니다.
• 범용성: 단일 모델이 포즈, 분할, 3D 기하학, 재조명 (relighting) 등 다양한 태스크를 처리할 수 있어, 태스크별 전용 모델을 구축할 필요성을 줄입니다.
• 확장성: 데이터와 모델 크기의 스케일링 법칙 (Scaling Laws) 을 인간 비전 영역에서 효과적으로 입증했으며, 향후 더 큰 규모와 더 복잡한 인간 이해 태스크로 확장할 수 있는 강력한 기반을 마련했습니다.

결론적으로, Sapiens2 는 제한된 사전 지식 없이 대규모 데이터와 통합된 학습 목표를 통해 인간 이미지의 복잡한 구조와 외관을 고해상도로 이해하는 데 있어 가장 강력한 기반 모델 중 하나로 자리 잡았습니다.