기술 요약: RegHead

문제 정의

애니메이션이 가능한 3D 비인간형(non-humanoid) 헤드 아바타의 생성은 AR, 소셜 미디어, 게임 분야에서 매우 중요하지만, 아직 연구가 미진한 상태입니다. 실용적인 애니메이션 인터페이스를 위해서는 시맨틱 블렌드셰이프(semantic blendshapes), 즉 다양한 정체성(identity) 간에 정점 대응 관계(vertex correspondence)를 공유하는 해석 가능한 표현 어휘가 필요합니다. 이를 통해 런타임 시 새로운 대응 문제를 해결할 필요 없이 저차원 제어 및 교차 정체성 리타겟팅이 가능해집니다.

그러나 이러한 블렌드셰이프 세트를 비인간형 헤드에 구축하는 데에는 세 가지 주요 병목 현상이 존재합니다:

1. 부족한 감독 데이터(Scarce Supervision): 현재의 이미지/비디오 생성 모델은 서로 다른 비인간형 정체성에 대해 동일한 사전 정의된 표현(예: "찡그림")을 일관되게 생성하는 데 어려움을 겪으며, 이로 인해 일관된 시맨틱 레이블을 가진 대규모 2D 관측치를 얻기 어렵습니다.
2. 대응 관계의 부재(Lack of Correspondence): 현대의 3D/4D 생성 방식은 고품질의 표현 특화 표면을 생성하지만, 일반적으로 표현 간의 정점 대응 관계가 결여되어 있어 직접적인 블렌드셰이프 기반으로 사용하기 어렵습니다. 최적화 기반의 비강체 등록(non-rigid registration)을 통해 대응 관계를 복구하는 것은 계산 비용이 많이 들고 확장하기 어렵습니다.
3. 국소적 변형(Localized Deformations): 비인간형 얼굴 표현은 종종 매우 국소적이고 종 특이적인 변형(예: 특정 턱 관절 움직임이나 눈꺼풀 움직임)을 포함하며, 이는 일반적인 글로벌 변형 모델로는 제대로 포착되지 않습니다.

기존 방법들은 무거운 최적화 파이프라인에 의존하거나(느림), 3DMM과 같은 파라미터 기반 사전 지식에 의존합니다(이는 기하학적 구조가 인간의 해부학적 구조에서 크게 벗어날 경우 실패함).

방법론

RegHead는 등록되지 않은 표현 메시를 단 한 번의 패스로 대응되는 시맨틱 블렌드셰이프 기반으로 변환하는 피드포워드(feed-forward) 프레임워크를 제안합니다. 이 파이프라인은 세 가지 주요 단계로 구성됩니다:

1. 대규모 데이터셋 구축

일관된 시맨틱 레이블의 부족 문제를 해결하기 위해, 저자들은 고품질의 아티스트 리깅된 비인간형 에셋 라이브러리를 사용하여 고정된 표현 어휘 $\mathcal{E}$를 정의합니다. 이 모델은 중립 참조 상태에서 타겟 표현으로의 제어된 편집을 수행하도록 이 라이브러리의 페어링된 렌더링 데이터로 파인튜닝되었습니다. 이 모델은 텍스트-투-이미지 생성에 적용되어 어휘를 약 20,000개의 비인간형 정체성으로 확장합니다. 생성된 이미지로부터 이미지 조건부 3D/4D 생성 파이프라인을 사용하여 표현 특화 3D 표면을 재구성하며, 결과물인 로우 메시 $\{\tilde{M}_t\}$는 시맨틱 측면에서는 일관되지만 정점 대응 관계는 결여되어 있습니다.

2. 조밀한 확률적 앵커 모션 표현 (Dense Stochastic Anchor Motion Representation)

사전 정의된 스켈레톤이나 템플릿 없이 다양한 토폴로지를 처리하기 위해, RegHead는 조밀한 확률적 앵커(dense stochastic anchor) 표현을 도입합니다:

• 확률적 앵커(Stochastic Anchors): 고정된 앵커 좌표를 최적화하는 대신, 모델은 매 훈련 반복마다 중립 메시 상에서 변형 앵커 $\mathcal{A}$ 세트를 재샘플링합니다. 이는 모델이 앵커 레이아웃에 불변하는 예측을 학습하도록 유도합니다.
• 쿼리 포인트(Query Points): 중립 형상 위에 더 조밀한 쿼리 포인트 $\mathcal{Q}$ 세트를 샘플링합니다.
• 복셀 토큰(Voxel Tokens): 표현 메시를 복셀화하여 멀티 뷰 언프로젝션 기반의 복셀 토큰 $\mathcal{V}_t$를 생성하며, 여기에는 8채널 잠재 코드와 언프로젝션된 시맨틱 세그멘테이션 마스크(예: 눈)가 포함됩니다.
• 전파(Propagation): 모델은 정점당 유사 변환(similarity transform) $\mathcal{T}_t$를 예측합니다. 이는 가장 가까운 앵커까지의 역 마할라노비스 거리(inverse Mahalanobis distances)를 기반으로 계산된 프리컴퓨티드 스키닝 가중치를 사용하여 선형 블렌드 스키닝(LBS)을 통해 조밀한 쿼리 포인트로 전파됩니다. 이를 통해 효율적이면서도 표현력이 풍부한 희소-투-조밀(sparse-to-dense) 변형이 가능해집니다.

3. 피드포워드 등록 모델 (Feed-Forward Registration Model)

핵의 혁신은 중립 메시에서 각 타겟 표현으로의 변형을 예측하는 코스-투-파인(coarse-to-fine) 대응 인식 매칭 네트워크입니다:

• 글로벌 매처(Global Matcher): 크로스 어텐션을 사용하여 글로벌 복셀 토큰으로부터 장거리 컨텍스트를 앵커 토큰으로 집계합니다. 이는 앵커를 적절한 "베이슨(basin)"으로 가져오기 위한 거친 변형을 예측하여, 큰 범위의 움직임(예: 턱 관절 움직임)을 처리합니다.
• 구조적 로컬 매처(Structured Local Matcher): 거칠게 워핑된 각 앵커에 대해, 모델은 단순한 kNN 대신 복셀 토큰으로부터 구조화된 멀티 반경 스텐실 이웃(multi-radius stencil neighborhood)을 수집합니다. 로컬 크로스 어텐션을 사용하여 앵커 토큰을 정교화하고 잔차 변환(residual transform)을 예측합니다. 이 단계는 미세하고 국소적인 얼굴 변화를 포착하도록 설계되었습니다.
• 훈련(Training): 모델은 정답 정점 대응 관계 없이 훈련됩니다. 모델은 미분 가능한 렌더링 손실(예측된 점의 RGB 및 세그멘테이션과 타겟 점의 비교)과 거친 앵커 위치에 대한 보조 샴퍼 거리(Chamfer distance) 손실을 사용하여 기하학적 일관성을 보장합니다.

4. 실시간 리타겟팅

응용을 위해, 작은 MLP가 인간 얼굴 트래킹 계수(표준 3DMM 피팅으로부터 추출)를 비인간형 블렌드셰이프 어휘의 가중치로 매핑합니다. 이를 통해 매 프레임 최적화 없이 인간의 퍼포먼스를 비인간형 캐릭터로 실시간 리타겟팅할 수 있습니다.

주요 기여

1. 데이터셋: 고정된 시맨틱 표현 어휘를 가진 대규모 비인간형 헤드 데이터셋(~20k 정체성)을 구축하여, 블렌드셰이프 생성을 위한 확장 가능한 연구를 가능하게 했습니다.
2. 모션 표현: 사전 정의된 뼈, 스켈레톤 또는 공유 템플릿에 의존하지 않고, 국소적인 비인간형 얼굴 변형을 처리할 수 있는 토폴로지 불가지론적(topology-agnostic) 표현인 조밀한 확률적 앵커를 도입했습니다.
3. 피드포워드 등록: 정답 대응 관계나 변형 필드 없이도 단 한 번의 패스로 등록되지 않은 메시를 대응되는 블렌드셰이프로 변환하는 새로운 등록 모델을 제시했습니다.
4. 성능: 최적화 기반 베이스라인 모델들에 비해 높은 충실도와 현저히 빠른 추론 속도(수십 배 이상)를 입증하여 실시간 리타겟팅을 가능하게 했습니다.

실험 결과

저자들은 RegHead를 ActionMesh(피드포워드), V2M4(최적화 기반), T2Bs(최적화 기반 정렬)와 비교 평가했습니다.

• 정량적 지표: RegHead는 렌더링된 외관(PSNR: 23.84, SSIM: 0.9078, LPIPS: 0.0551)과 가시적 기하 구조(Chamfer Distance: 0.00358, Silhouette IoU: 0.9865) 모두에서 모든 베이스라인보다 우수한 성능을 달 나타냈습니다.
• 속도: RegHead는 정체성당 약 5초가 소요되는 반면, 최적화 기반 방법(V2M4, T2Bs)은 약 100초에서 1800초가 소요됩니다.
• 정성적 분석: RegHead는 글로벌 구조를 유지하면서도 미세하고 공간적으로 국소화된 표현 변화(예: 눈꺼귀 닫힘)를 더 잘 포착합니다. 베이스라인들은 종종 국소적 움직임을 과소평가하거나 미세한 영역에서 아티팩트를 보입니다.
• 절제 연구(Ablation Studies):
  • 확률적 앵커를 제거하면(고정 앵커 사용) 성능이 저하되어, 레이아웃 불변성의 이점을 확인했습니다.
  • 앵커 밀도를 줄이면 충실도가 크게 낮아져, 미세한 디테일을 위한 조밀한 앵커의 필요성을 증명했습니다.
  • 로컬 매칭 단계를 제거하면 성능이 크게 저하되어, 이것이 미세한 표현 변형의 주요 동력임을 검증했습니다.
  • 구조화된 스텐실 이웃을 사용하는 것이 표준 kNN 이웃보다 우수한 성능을 보였습니다.

의의 및 주장

본 논문은 RegHead가 비인간형 헤드를 위해 시맨틱적으로 일관되고 대응되는 자산을 확장 가능한 피드포워드 방식으로 생성하는 핵심 과제를 해결한다고 주장합니다. 템플릿 기반의 해부학적 제약과 무거운 최적화를 피함으로써, 이 프레임워크는 실시간 제어와 교차 정체성 리타겟팅을 지원하는 고충실도 애니메이션 가능 아바타 생성을 가능하게 합니다. 저자들은 이 방법이 기존의 관절 운동(articulated motion) 또는 전체 객체 생성 방법이 놓친 부분인, 종 특이적인 미세 변형을 구현하도록 특별히 설계되었음을 강조합니다.

한계점: 저자들은 Reg-Head가 일반적인 헤드 구조와 크게 다른 해부학적 구조(예: 얼굴 영역이 모호한 곤충형 또는 롱테일 종)를 가진 정체성에 대해서는 과소적합(underfit)될 수 있음을 인정합니다. 또한, 최종 블렌드셰이프는 상위 단계의 등록되지 않은 메시에 존재하는 아티팩트의 영향을 받을 수 있습니다.