기술 요약: HairGPT

문제 정의

디지털 헤어 모델링은 머리카락이 유동적이면서도 구조화되어 있고, 혼란스러우면서도 정리되어 있다는 본질적인 이중성으로 인해 여전히 중요한 과제로 남아 있습니다. 기존 생성 접근법, 특히 3D 기하학을 2D 잠재 텍스처 맵으로 투영하는 연속 확산 필드 (continuous diffusion fields) 에 의존하는 방법들은 머리카락의 구조적 특성과 근본적으로 불일치합니다. 이러한 방법들은 전역 토폴로지와 국소 텍스처를 얽히게 만들어, 전체 실루엣을 변경하지 않고 컬의 조임 정도를 수정하는 것과 같은 구성적 편집을 취약하거나 불가능하게 만듭니다. 또한, 인간 창작자가 헤어스타일을 직관적으로 설명하는 방식과 이러한 모델이 내부적으로 이를 표현하는 방식 사이에는 깊은 의미론적 간극이 존재합니다. 현재 방법들은 머리카락을 해부학적 영역과 미적 의도에 의해 지배되는 의도적으로 조직화된 구조가 아닌, 차별화되지 않은 신호로 취급하는 경향이 있습니다.

방법론

저자들은 개별 가닥을 기본 생성 단위로 간주하고 3D 헤어스타일 합성을 구조화된 시퀀스 모델링 문제로 공식화하는 통합 자기회귀 (autoregressive) 프레임워크인 HairGPT를 제안합니다. 이 방법론은 **이중 분해 표현 (Dual-Decoupled Representation)**과 가닥 - 언어 (Strand-as-Language) 패러다임을 기반으로 구축되었습니다.

1. 이중 분해 헤어스타일 파라미터화

HairGPT 는 헤어스타일 모델링을 두 개의 직교 축을 따라 분해합니다.

• 공간 분해 (두피 수준): Hairmony 분류 체계에 기반하여 두피를 앞, 상단, 정수리, 뒷목, 좌우 측두부, 좌우 측면의 8 개 영역으로 의미론적으로 분할합니다. 전역 밀도 맵은 이러한 영역 내에서 가닥 뿌리의 배치를 안내하여 국소성을 강제합니다.
• 구조 분해 (가닥 수준): 각 가닥의 기하학은 계층적 튜플 $(u, c, r)$로 분해됩니다.
  • 뿌리 ($u$): 두피 매니폴드 상의 공간 좌표.
  • 대략적 형태 ($c$): 세그먼트 방향 벡터의 이산 코사인 변환 (DCT) 을 통해 추출된 전역 흐름과 토폴로지를 포착하는 저주파 백본.
  • 스타일 잔차 ($r$): 국소 좌표계에서 대략적 백본에 대한 스케일 및 회전 불변 편차로 정의된 고주파 기하학적 세부 사항 (예: 컬, 꼬임).

2. 희소 가이드 가닥 추출

고충실도 자산 (일반적으로 약 $10^5$개의 가닥 포함) 에 대한 자기회귀 모델링을 실현 가능하게 하기 위해, 조밀한 원시 기하학은 512 개의 대표 가이드 가닥이라는 희소 집합으로 압축됩니다. 이는 개방 곡선에서의 푸리에 변환과 관련된 아티팩트를 피하기 위해 DCT 기반 형태 기술자를 사용한 주파수 인식 클러스터링을 통해 달성됩니다.

3. 기하학적 토큰화

연속 기하학 표현은 전문 토크나이저를 사용하여 컴팩트한 어휘로 이산화됩니다.

• 뿌리: $256 \times 256$ 그리드 위의 정수 UV 인덱스로 양자화됩니다.
• 기하학: 멀티헤드 곱 양자화 (Multi-Head Product Quantization) 방식 (4 개 헤더 사용) 이 대략적 백본과 스타일 잔차를 인코딩합니다. 각 가닥은 8 개의 이산 토큰 (대략적 형태 4 개, 스타일 4 개) 으로 표현되어 조밀한 곡선 파라미터화에 비해 시퀀스 길이를 크게 단축합니다.
• 밀도: 전역 밀도 맵은 2D VQ-VAE 를 통해 1024 개의 토큰 시퀀스로 압축됩니다.

4. 통합 자기회귀 합성

HairGPT 는 텍스트 및 이미지를 포함한 다중 모달 조건 하에서 헤어 토큰을 자기회귀적으로 생성하기 위해 (Qwen 기반) 디코더 전용 비전 - 언어 모델을 사용합니다.

• 계층적 시퀀스 구성: 생성 과정은 영역 인식 다단계 시퀀스로 조직화됩니다. 가닥은 두피 영역별로 그룹화되어 레이아웃 (밀도에 기반한 뿌리 위치 예측), 대략적 (전역 형태 예측), 스타일 (세부 잔차 예측) 의 세 가지 모드로 생성됩니다.
• 학습 전략: 모델은 오류 누적을 방지하기 위해 한 번에 하나의 모드에서 시퀀스를 샘플링하는 다단계 전략으로 학습됩니다. 중복 마스크는 조밀 및 스타일 단계에서 조건부 앵커로만 기능하는 반복된 공간 토큰을 손실 계산에서 제외합니다.
• 데이터 엔진: 생성적 비주얼 합성을 활용하고 LoRA 를 사용하여 VLM(Qwen2.5-VL) 을 미세 조정하여 영역 인식 의미론적 주석을 생성함으로써, 약 12 만 개의 정렬된 삼중항 (이미지, 텍스트, 3D 기하학) 데이터셋을 구축하는 확장 가능한 파이프라인이 사용됩니다.

주요 기여

1. 가닥 - 언어 패러다임: 이 논문은 홀리스틱 텍스처 합성에서 벗어나 가닥을 기본 생성 단위로 하는 이중 분해 자기회귀 과정으로서의 3D 헤어 생성 재구성을 제시합니다.
2. 기하학적 토큰화: 복잡한 토폴로지와 고주파 세부 사항을 컴팩트한 이산 어휘 (가닥당 8 개 토큰) 로 효율적으로 인코딩하는 멀티헤드 곱 양자화 기반의 새로운 방식.
3. 계층적 구성 및 학습: 생성을 영역 인식 및 단계별 시퀀스 (레이아웃, 대략적, 스타일) 로 조직화하여 구조적 일관성과 최적화 안정성을 향상시키는 다단계 학습 전략.
4. 강건한 조건부 및 편집: 영역 인식 텍스트 주석을 통한 강건한 의미론적 조건부 지원 및 희귀/복잡한 헤어스타일 합성과 스타일화된 도메인 적응을 가능하게 하는 구성적 편집 기능.

결과

저자들은 HairGPT 를 확산 기반 방법 (DiffLocks) 과 재구성 방법 (HairStep, HAAR) 을 포함한 최신 기법들과 비교 평가했습니다.

• 정성적 성능: HairGPT 는 구조적 일관성을 유지하면서 고주파 세부 사항 (예: 단단히 감긴 아프로 텍스처) 과 복잡한 토폴로지 구조 (예: 번, 포니테일) 를 합성하는 데 있어 뛰어난 능력을 보여줍니다. HAAR 에 비해 미세한 의미론적 지시 (예: 특정 분할 위치, 지역적 스타일) 를 더 잘 따릅니다.
• 정량적 지표: DiffLocks 평가 세트에서 HairGPT 는 DiffLocks 에 비해 더 낮은 챔퍼 거리 (6.31 대 7.83) 와 더 높은 F-점수 (0.828 대 0.824) 를 달성했습니다. 또한 이미지 유도 생성 작업에서 더 높은 CLIP 점수 (0.592) 를 기록했습니다.
• 애블레이션 연구: 실험은 멀티헤드 토크나이저 (코드북 사용률 향상) 와 대략적 - 스타일 분해 (방향 오차 및 위치 드리프트 감소) 의 필요성을 확인했습니다. 또한 다단계 학습이나 시퀀스 구분자를 제거하면 기하학적 붕괴와 혼란스러운 가닥 생성이 발생한다는 것을 보여주었습니다.
• 응용: 이 프레임워크는 미세 조정을 통해 스타일화된 도메인 (예: 2D 애니메이션) 에 성공적으로 적응하며, 밀도 맵이나 지역적 텍스트 프롬프트를 수정하여 전역 구조를 방해하지 않고 특정 헤어 속성을 변경하는 유연한 다중 모달 편집을 지원합니다.

중요성과 주장

이 논문은 HairGPT 의 주요 중요성이 단순히 새로운 모델을 생산하는 데 있는 것이 아니라, 머리카락을 위한 새로운 생성 패러다임을 진전시키는 데 있다고 주장합니다. 헤어스타일을 얽힌 필드로 취급하는 것에서 벗어나 가닥의 명시적이고 구조화된 구성으로 바라보는 방식으로 전환함으로써, 이 프레임워크는 생성 과정을 전문 그루밍의 구조화된 논리와 정렬시킵니다.

저자들은 이 접근 방식이 다음과 같다고 주장합니다.

• "불투명한 텍스처 합성 문제"에서 "투명하고 구성적인 모델링 과정"으로 헤어 생성을 변환합니다.
• 가닥과 영역의 계층적 조직을 내부화함으로써 인간 의도 (언어적 설명) 와 3D 기하학 사이의 간극을 해소합니다.
• 일회성 생성을 넘어 상호작용형 3D 헤어 저작으로 나아가는 반복적 계획, 편집, 헤어스타일 구조 검증을 수행할 수 있는 미래 에이전트 시스템의 기반을 제공합니다.

저자들은 현재 한계에 대해 겸손하게 언급하며, 이 프레임워크가 주석을 위해 미세 조정된 VLM 에 의존한다는 점 (전문가 인간 라벨링과 완벽하게 일치하지 않을 수 있음), 컴팩트한 토큰화가 극도로 높은 곡률을 가진 가닥의 경우 일부 국소 기하학적 충실도를 희생할 수밖에 없다는 점, 그리고 조밀한 머리카락은 현재 직접 생성이 아닌 보간을 통해 얻어진다는 점을 인정합니다. 또한 자기회귀 추론이 현재 확산 기반 대안보다 느리다고 지적합니다.