기술 요약: VGGHeads

문제 정의

3D 인간 머리 모델링 분야는 두 가지 병목 현상에 직면해 있습니다: 대규모의 다양성 있는 데이터셋의 부족과 현재 방법론적 파이프라인의 한계입니다.

1. 데이터 제한: 기존의 실제 데이터셋(예: VGG-Face, CelebA, MS-Celeb-1M)은 종종 통제된 조건 하에서 타이트하게 크롭되고 정렬된 단일 얼굴로 제한됩니다. 이는 실제 응용 분야에서 흔히 발생하는 다인(multi-person), 비제약적 시나리오를 포착하지 못합니다. 또한, 얼굴 데이터에 대한 개인정보 보호 및 윤리적 우려로 인해 주요 벤치마크(예: VGG-Face, MS-Celeb-1M)가 철회되거나 다른 데이터셋(예: ImageNet)에서 얼굴이 블러 처리됨에 따라, 다양하고 잘 주석 처리된 데이터를 수집하는 데 큰 장벽이 되고 있습니다.
2. 방법론적 제한: 전통적인 접근 방식은 얼굴 검출, 랜드마크 검출, 그리고 크롭된 영역에서의 3D 정렬이라는 순차적인 파이프라인을 따릅니다. 이러한 분리는 거친(coarse) 검출과 세밀한(fine-grained) 재구축 사이의 간극을 만들며, 각 단계마다 특화된 모델을 요구합니다. 더욱이, 검출 모델은 극단적인 포즈와 다인 시나리오에서 어려움을 겪는 경우가 많으며, 3D 재구축 방법은 야생(in the wild) 환경에서 얻기 어려운 견고하게 사전 정렬된 크롭 영역에 의존합니다.

방법론

1. VGGHeads 데이터셋 생성

저자들은 VGGHeads를 소개합니다. 이는 100만 개 이상의 다인 이미지와 **220만 개의 주석 처리된 머리(head)**로 구성된 대규모 합성 데이터셋입니다.

• 생성 파이프라인: 이 데이터셋은 LAION 데이터셋에서 추출한 2D 인간 포즈 스켈레톤을 조건으로 하는 잠재 확산 모델(SDXL)을 사용하여 생성되었습니다. 이를 통해 다양한 공간적 구성과 현실적인 인물 간 상호작용을 보장하는 동시에 개인정보 문제를 제거합니다.
• 주석 과정:
  • 검출(Detection): 합성 이미지 내의 머리 바운딩 박스를 위치시키기 위해 수동으로 주석 처리된 하위 집합(10,000개 이미지)을 기반으로 이진 머리 검출기(RT-DETR)를 학습시킵니다.
  • 3D 회귀(3D Regression): 검출된 각 머리에 대해, 최첨단 FLAME 회귀 모델(DAD-3DNet)이 메쉬 정점(vertices), 포즈 회전, 표정 계수를 포함한 포괄적인 3D 형상 변형 모델(3DMM) 파라미터를 예측합니다.
• 품질 필터링: 신뢰성을 보장하기 위해 4단계 필터링 파이프라인을 사용합니다:
  1. 기본 유효성: 검출된 머리가 없는 이미지를 제거합니다.
  2. 일관성 검증: 원본 이미지와 반전된 이미지 사이의 안정적인 검출 수를 확인합니다.
  3. 교차 방법 검증: 머리 검출과 얼굴 검출(RetinaFace) 사이의 중첩을 확인합니다.
  4. 스케일 일관성: 이미지를 수직으로 분할했을 때 머리 수가 일정하게 유지되는지 확인하여, 작고 변형된 머리와 같은 아티팩트를 제거합니다.
• 안전 및 개인정보 보호: 파이프라인은 다층 안전 필터(CLIP 기반 NSFW 필터링, 네거티브 임베딩)를 채택하며, 피사체 중립적인 장면 설명(BLIP-VQA 활용)을 사용하여 개인정보를 보장하고, 다인 데이터에 대한 미세 조정이 신원 기억이나 재식별을 가능하게 하지 않음을 검증합니다.

2. 통합 아키텍처

본 논문은 순차적인 크롭 및 정렬의 필요성을 제거하고, 단일 순전파(forward pass) 과정에서 거친 머리 검출과 파라메트릭 3D 모델링을 연결하는 새로운 통합 아키텍처를 제안합니다.

• 기반 모델: 이 아키텍처는 실시간 객체 검출기인 YOLO-NAS를 확장합니다.
• 다중 스케일 설계: 백본은 다인 장면에서 발견되는 급격한 크기 변화를 처리하기 위해 여러 스케일(D1-D3)에서 계층적 특징을 추출합니다.
• 예측 헤드(Prediction Heads): 모델은 다중 스케일 특징 맵으로부터 FLAME의 파라메트릭 구조를 직접 디코딩하는 6개의 특화된 헤드를 포함합니다:
  1. 형태 (Shape)
  2. 표정 (Expression)
  3. 턱 포즈 (Jaw Pose)
  4. 전역 머리 포즈 (Global Head Pose)
  5. 이동 (Translation)
  6. 스케일 (Scale)
• 출력: 각 검출된 머리에 대해, 모델은 분류 점수, 바운딩 박스 및 완전한 3DMM 파라미터 벡터(형태, 표정, 포즈)를 동시에 출력합니다. 이 파라미터들은 3D 메쉬 정점, 포즈 회전 및 얼굴 랜드마크의 미분 가능한 렌더링을 가능하게 합니다.

3. 목적 함수 (Objective Functions)

모델은 다중 구성 손실 함수를 사용하여 엔드 투 엔드로 학습됩니다:

• 검출 손실: 분류를 위한 Focal loss ($L_C$)와 바운딩 박스 회귀를 위한 Complete IoU loss ($L_{reg}$)입니다.
• 3D 손실:
  • 재투영 손실 ($L_{reproj}$): 재투영된 3D 정점과 그라운드 트루스 2D 키포인트 사이의 불일치를 최소화합니다.
  • 3D 정점 손실 ($L_{3D}$): 포즈와 독립적으로 형태와 표정을 감독하기 위해 정규화된 캐노니컬(canonical) 3D 머리 정점(귀, 안구, 목 제외)에 대해 L2 손실을 계산합니다.
  • 회전 손실 ($L_R$): SO(3) 매니폴드 기하학을 존중하고 오일러 각의 불연속성을 피하기 위해 6D 회전 표현에 대한 지오데식 거리(geodesic distance)를 사용합니다.

주요 기여

1. 통합 다중 스케일 머리 표현: 단일 순전파 과정에서 바운딩 박스, 3D 정점, 포즈 및 랜드마크를 공동으로 최적화하는 최초의 엔드 투 엔드 실시간 모델입니다. 이는 검출과 재구축 사이의 간극을 메우며, 별도의 크롭 단계를 제거하고 순차적인 "교사(teacher)" 파이프라인보다 뛰어난 성능을 보입니다.
2. 대규모 다인 합성 데이터셋: VGGHeads는 상세한 3D 메쉬를 가진 220만 개의 주석 처리된 머리와 100만 개 이상의 이미지를 제공합니다. 이는 WIDERFace보다 20배 이상 크며, 대규모 규모와 포괄적인 다인 3D 주석을 결합한 최초의 데이터셋으로, 개인정보 문제 없이 생성되었습니다.
3. 합성-실제 일반화 (Synthetic-to-Real Generalization): 저자들은 이 합성 데이터로만 학습된 모델이 실제 세계의 벤치마크에서 최첨단(SOTA) 성능을 달면을 입증함으로써, 합성 데이터가 통합 모델링 작업을 위한 전통적인 실제 데이터 접근 방식과 대등하거나 이를 능가할 수 있음을 보여줍니다.

실험 결과

• 3D 머리 포즈 추정: AFLW 및 BIWI 벤치마크에서 VGGHeads는 엔드 투 엔드 방식 중 SOTA 성능을 달성했으며, 먼저 검출을 수행해야 함에도 불구하고 크롭 기반의 비엔드 투 엔드 방식과 경쟁할 만한 성능을 보였습니다.
• 3D 머리 정렬: DAD-3DHeads 벤치마크에서 VGGHeads는 RingNet과 3DDFA-v2를 크게 앞질렀으며, (해당 벤치마크와 동일한 분포로 학습된) DAD-3DNet에 필적하는 결과를 달성했습니다.
• 얼굴 검출: 명시적으로 작은 얼굴에 최적화되지는 않았으나, FDDB 및 WIDER 벤치마크에서 특화된 검출기(예: RetinaFace)와 대등한 성능을 달성하여, 통합 접근 방식이 검출 품질을 희생하지 않음을 입증했습니다.
• 교차 방법 검증: 기존 방법(예: img2pose)을 VGGHeads로 재학습했을 때 포즈 추정 및 검출 벤치마크에서 성능이 향려되었으며, 이는 이 데이터셋의 유용성을 확인시켜 줍니다.
• 절제 연구 (Ablation Studies): 3D 손실 구성 요소(정점 또는 회전) 중 하나라도 제거하면 모든 지표에서 성능 저하가 발생하며, 이는 다중 구성 손실 설계의 필요성을 확인시켜 줍니다.

의의 및 주장

본 논문은 VGGHeads가 3D 머리 모델링의 근본적인 병목 현상인 개인정보 보호와 데이터 부족 문제를 해결한다고 주장합니다. 제어 가능한 확산 모델을 활용함으로써, 저자들은 윤리적 장벽으로 인해 실제 데이터로는 수집이 불가능한 다양하고 비제약적인 다인 시나리오를 포착하는 데이터셋을 성공적으로 구축했습니다.

주된 의의는 합성 데이터가 복잡한 통합 비전 모델 학습을 위한 실제 데이터를 대체할 수 있음을 증명했다는 데 있습니다. 저자들은 합성 데이터로만 학습된 모델이 검출과 파라메트릭 3D 모델링이라는 더 어려운 문제를 해결할 수 있으며, 실제 데이터로 학습된 방법들보다 우수함을 보여주었습니다. 이는 컴퓨터 비전 연구의 발전을 위한 실행 가능하고 개인정보를 보호하는 파이프라인을 구축하며, 세밀한 재구축 작업을 위한 강력한 초기화를 제공합니다.