기술 요약: GeomHair

문제 정의

3D 데이터로부터 개별 헤어 스트랜드를 재구성하는 것은 고충실도 디지털 아바타, 애니메이션, AR/VR 애플리케이션을 위한 핵심적인 과제입니다. 물리 기반 렌더링과 모션 시뮬레이션은 명시적인 스트랜드 수준의 표현을 필요로 하지만, 기존 방법들은 다음과 같은 중대한 한계에 직면해 있습니다:

1. 색상 의존성: 대부분의 최첨단 재구성 기술은 스트랜드 방향을 추론하기 위해 고품질의 다중 뷰 색상 (RGB) 정보에 크게 의존합니다. 구조광 센서에서 스캔된 데이터나 디자이너 메쉬 에셋과 같은 색상 없는 3D 기하학에 적용될 경우, 이러한 방법들은 종종 실패하거나 노이즈가 많은 결과를 생성합니다.
2. 데이터 부족: 실제 세계의 헤어 스트랜드에 대한 대규모이고 다양한 데이터셋이 부족합니다. 기존 데이터셋은 비용이 많이 드는 수작업 파라미터 모델이나 광범위한 증강에 의존하여 데이터 기반 생성 모델의 훈련을 제한합니다.
3. 워크플로우 격차: 3D 아티스트들은 종종 그루밍 가이드를 사용하여 메쉬로 머리를 모델링하지만, 이러한 메쉬를 시뮬레이션에 필요한 밀집된 스트랜드 수준 표현으로 변환하는 자동화 도구가 부족합니다.

방법론: GeomHair

저자들은 색상 없는 3D 스캔 기하학으로부터 직접 헤어 스트랜드를 재구성하는 최초의 방법인 GeomHair를 제안합니다. 이 접근법은 방향 추출과 스트랜드 기반 재구성이라는 두 가지 주요 단계로 운영됩니다.

1. 방향 추출

색상 정보의 부재를 극복하기 위해 GeomHair 는 두 가지 보완적인 방향 신호를 결합합니다:

• 3D 기하학적 단서 (크레스 라인): 이 방법은 메쉬 기하학으로부터 직접 중요한 표면 특징을 추출합니다. 메쉬 정점에서 국소 3 차 다항식 피팅을 사용하여 주 곡률이 극단에 도달하는 "크레스 라인 (crest lines)"을 식별합니다. 이러한 선들은 헤어의 특징인 날카로운 굽힘과 곡선을 포착하여 텍스처나 조명과 무관한 견고한 3D 방향장을 제공합니다.
• 2D 신경 단서 (TEED): 이 방법은 전방 점광을 사용하여 표면 세부 사항을 강조하기 위해 색상 없는 스캔을 여러 시점에서 렌더링합니다. 그런 다음 이 회색조 렌더링에 TEED(작고 효율적인 엣지 검출) 라는 신경 방향 감지기를 적용합니다. 결과적으로 생성된 2D 엣지 맵은 골격화되고, 그래프 표현으로 변환된 후 3D 공간으로 다시 들어 올려 방향장을 형성합니다.
• 융합: 이 두 신호는 스트랜드 성장을 안내하는 포괄적인 방향장을 만들기 위해 결합되며, 3D 기하학의 구조적 일관성과 2D 엣지 검사의 세밀한 디테일 사이의 균형을 맞춥니다.

2. 스트랜드 기반 재구성

재구성 과정은 헤어 스트랜드를 나타내는 3D 폴리라인을 생성하기 위해 잠재 기하학 텍스처를 최적화합니다. 이 최적화는 다항 손실 함수에 의해 안내됩니다:

• 방향 손실 ($L_{orient}$): 생성된 스트랜드가 융합된 3D+2D 방향장과 정렬되도록 보장합니다.
• 볼륨 손실 ($L_{volume}$): 입력 헤어 메쉬에서 훈련된 부호 없는 거리 함수 (UDF) 근사기를 활용합니다. 이는 스트랜드를 표면 볼륨으로 제한하여 실제 세계 스캔에서 흔히 발생하는 비수밀 (non-watertight) 메쉬를 수용합니다.
• 커버리지 손실 ($L_{chamfer}$): 일방향 챔퍼 거리는 가시적인 두피 표면의 균일한 커버리지를 보장합니다.
• 확산 사전 ($L_{prior}$): 사실성과 구조적 타당성을 향상시키기 위해, 이 방법은 조건부 확산 사전 (HAAR 모델 기반) 을 통합합니다. 이 사전은 입력 스캔의 렌더링된 명암을 분석하는 비전 - 언어 모델 (VQA) 이 생성한 텍스트 임베딩에 조건부로 설정됩니다. 사전은 잠재 표현을 정제하기 위해 2 단계 노이즈 스케줄 (Karras 이산화) 을 통해 적용됩니다.

최종 목적 함수는 이러한 기하학적 제약과 확산 기반 정규화를 결합하여 고충실도 스트랜드 재구성을 생성합니다.

주요 기여

1. GeomHair 방법: RGB 데이터에 대한 의존성을 제거하고 색상 없는 3D 스캔으로부터 직접 헤어 스트랜드를 재구성할 수 있는 최초의 프레임워크.
2. Strands400 데이터셋: 400 명의 피험자로 구성된 공개적으로 이용 가능한 최대 규모의 실제 세계 스트랜드 데이터셋 생성. 이 데이터셋은 고품질 스캔 (NPHM 및 새로운 컬렉션) 에서 선별되어 생성형 헤어 모델 훈련을 위한 데이터 병목 현상을 해결합니다.
3. 실용적 워크플로우 통합: 디자이너 메쉬 에셋 (예: Houdini 또는 3ds Max 에서의 것) 과 생성된 메쉬 (텍스트 - 투 - 메쉬 또는 이미지 - 투 - 메쉬 파이프라인에서 생성된 것) 를 밀집된 스트랜드 표현으로 변환하는 데 있어 이 방법의 유용성 입증.
4. 우수한 방향 감지: 색상 정보가 없거나 어려운 조명 조건과 같은 시나리오에서 전통적인 가보르 필터보다 3D 크레스 라인과 신경 2D 엣지 감지 (TEED) 를 결합하는 것이 더 뛰어난 성능을 발휘한다는 검증.

결과 및 평가

• 정성적 성능: 제거 실험 (Ablation studies) 은 3D 및 2D 방향 신호의 결합이 가장 일관되고 세부적인 스트랜드를 생성함을 확인합니다. 어느 한 구성 요소라도 제거하면 결과가 저하됩니다 (3D 만으로는 과도하게 매끄러운 스트랜드가 생성되고, 2D 만으로는 노이즈가 많고 일관성 없는 구조가 생성됨).
• 최첨단 방법과의 비교: RGB 감독에만 의존하는 방법 (예: Gaussian Haircut) 이나 장면별 최적화 없이 생성된 베이스라인 (HAAR) 과 비교할 때, GeomHair 는 사실적인 스트랜드 구조를 유지하면서 입력 기하학에 대한 더 높은 충실도를 달성합니다.
• 데이터셋 검증: GPT-4V 를 사용한 지각 평가에 따르면, Strands400 데이터셋에서 생성된 헤어 스타일이 기존 합성 데이터셋 (Perm) 에서 생성된 것보다 74.4% 의 경우에서 선호되었습니다.
• 하류 활용성: Strands400 에서 HAAR 생성 모델을 재훈련하면 원본 합성 데이터로 훈련하는 것보다 특정 헤어 스타일 (예: 포니테일, 웨이브 질감) 의 더 사실적인 생성이 이루어집니다.

중요성 및 주장

이 논문은 GeomHair 가 기존 3D 스캔 컬렉션과 디자이너 에셋으로부터 확장 가능한 데이터셋 생성을 가능하게 한다고 주장합니다. 이는 색상 데이터의 부재로 인해 스트랜드 수준 재구성에 사용할 수 없었던 자료들입니다. 기하학만으로 스트랜드를 추출할 수 있게 함으로써, 이 방법은 다음과 같은 것을 촉진합니다:

• 이미지 - 투 - 스트랜드 및 텍스트 - 투 - 스트랜드와 같은 작업용 데이터 기반 생성 모델 훈련을 위한 기초 자원인 Strands400의 생성.
• CG 아티스트가 메쉬 기반 헤어 에셋을 시뮬레이션 준비 스트랜드 표현으로 변환할 수 있는 실용적인 파이프라인.
• 중간 메쉬 생성을 통해 단순한 입력 모달리티 (텍스트 또는 이미지) 로부터 순수한 기하학적 처리만으로 헤어 스트랜드를 생성할 수 있는 능력.

저자들은 한계를 인정하며, 이 방법은 매우 짧은 헤어 스타일 (충분하지 않은 곡률 세부 사항) 과 매우 곱슬거리는 헤어 (스캔에서 고주파 세부 사항이 손실되어 방향 추정에 노이즈가 발생함) 에서는 어려움을 겪는다고 지적합니다. 그러나 이 작업은 기하학 우선 헤어 재구성을 위한 새로운 패러다임을 확립합니다.