1. 문제 정의 (Problem Statement)

최근 가우시안 스플래팅 (Gaussian Splatting, GS) 기술은 실시간 렌더링이 가능한 사실적인 3D 헤드 아바타 재구성을 가능하게 하여, 영화 효과, 화상 회의, 가상 현실 등 다양한 분야에서 혁신을 일으켰습니다. 그러나 기존 가우시안 기반 아바타는 다음과 같은 근본적인 한계를 가지고 있습니다:

• 편집성의 부재: 전통적인 삼각형 메시 (Triangle Mesh) 기반의 텍스처 매핑 방식과 달리, 각 가우시안 프라미티브가 독립적인 색상을 가지므로 국소적인 외형 수정 (예: 문신 추가, 피부 결 제거, 눈썹 모양 변경 등) 이 매우 어렵습니다.
• 연속성 부족: 가우시안들을 UV 공간에 단순히 투영하면 불연속적인 텍스처가 생성되어, 아티스트가 직관적으로 편집하거나 고주파수 디테일을 유지하기 어렵습니다.
• 기존 방법의 한계: 메시 기반 역 렌더링 방법은 토폴로지 유연성이 부족하고, 기존 가우시안 아바타 (예: HRAvatar) 는 재조명 (Relighting) 은 가능하지만 텍스처 편집 기능은 제공하지 않습니다.

이 논문은 단일 모노큘러 비디오로부터 재구성된 아바타가 실시간 렌더링, 재조명, 애니메이션이 가능하면서도 텍스처 매핑을 통한 직관적인 편집이 동시에 이루어질 수 있는 방법을 제안합니다.

2. 방법론 (Methodology)

GTAvatar 은 FLAME 기반의 3DMM(3D Morphable Model) 과 2D 가우시안 스플래팅 (2DGS) 을 결합하여, 가우시안 프라미티브를 UV 공간에 연속적으로 매핑하는 새로운 프레임워크를 제시합니다.

2.1. 핵심 아키텍처

1. FLAME 기반 바인딩: 가우시안 스플랫 (Splat) 들을 FLAME 메시의 삼각형 면에 바인딩합니다. 각 가우시안은 삼각형의 바리센트릭 좌표, 삼각형에 대한 상대 회전, 변위, 스케일, 불투명도를 학습합니다.
2. 효율적인 UV 매핑 (Key Contribution):
   • 기존 3DGS 는 화면 공간 (Screen Space) 에서 작동하지만, GTAvatar 은 2DGS 의 특성 (국소 접평면 정의) 을 활용합니다.
   • 광선 - 스플랫 교차점 (Ray-splat intersection) 을 메시 삼각형 평면에 직교 투영하여, 해당 삼각형의 UV 좌표로 변환합니다.
   • 수학적 최적화: 이 변환 과정을 복잡한 계산 없이 단일 행렬 곱셈으로 수행하여 렌더링 속도를 유지합니다.
3. PBR(Physically Based Rendering) 재현:
   • 가우시안의 색상 대신 학습 가능한 텍스처 맵 (알베도, 거칠기, 반사도) 에서 값을 샘플링합니다.
   • 노말 맵 (Normal Map): 스플랫의 기하학적 노말에 텍스처에서 추출한 노말 변위를 추가하여 미세한 표면 디테일을 표현합니다.
   • 셰이딩: Cook-Torrance BRDF 와 Split-sum 근사를 사용하여 실시간 물리 기반 조명 (Environment Map) 을 적용합니다.

2.2. 학습 과정 및 정규화

• 입력: 단일 모노큘러 RGB 비디오.
• 최적화 대상: 2D 가우시안 파라미터, FLAME 파라미터 (표정/자세), 텍스처 맵 (알베도, 노말, 재질), 환경 조명.
• 손실 함수 (Loss Functions):
  • 이미지 재구성 손실: L1, SSIM, 마스크 손실.
  • 물리적 분해 손실: 확산 기반 알베도 사전 지식, 텍스처 평활화 (TV Loss), 노말 정규화.
  • UV 매핑 정규화 (중요):
    • UV 왜곡 손실 (UV Distortion Loss): 하나의 픽셀에 기여하는 여러 스플랫들이 UV 공간에서 동일한 위치로 수렴하도록 강제하여 텍스처의 흐림 (Ghosting) 을 방지합니다.
    • UV 마스크 손실: 유효하지 않은 UV 영역 (UV 섬 사이의 간격) 에서의 샘플링을 방지합니다.
    • 통계적 알베도 손실: FLAME 의 PCA 알베도 사전 지식을 활용하여 물리적 분해를 돕고 아티팩트를 줄입니다.

3. 주요 기여 (Key Contributions)

1. 연속적이고 편집 가능한 텍스처 맵: 가우시안 스플래팅과 UV 텍스처 매핑을 성공적으로 결합하여, 아바타의 재질과 기하학을 UV 공간에서 직관적으로 편집할 수 있게 했습니다.
2. 고효율 UV 매핑 기법: 광선 - 스플랫 교차점의 UV 좌표를 계산하기 위해 단일 행렬 곱셈을 사용하는 경량화 기법을 제안하여, 수만 개의 교차점이 발생하는 렌더링 중에도 실시간 성능을 유지했습니다.
3. 물리 기반 재조명 및 편집: 재조명 (Relighting) 과 텍스처 편집을 동시에 지원하며, PBR 재질 속성 (알베도, 거칠기, 노말) 을 분리하여 제어할 수 있습니다.
4. UV 정규화 전략: 가우시안 스플래팅의 불연속성을 해결하고 고품질 편집 가능한 텍스처를 생성하기 위한 UV 왜곡 손실 및 통계적 정규화 기법을 도입했습니다.

4. 실험 결과 (Results)

• 재구성 및 재조명 성능: INSTA 및 HDTF 데이터셋에서 기존 최첨단 방법 (HRAvatar, FLARE 등) 과 비교하여 PSNR, SSIM, LPIPS 지표에서 SOTA(State-of-the-Art) 성능을 달성했습니다. 특히 HRAvatar 과 유사하거나 더 높은 화질을 더 적은 가우시안 개수로 달성했습니다.
• 편집성:
  • 별 모양 스티커 추가, 헤어/치아/눈 색상 변경, 피부 결 제거, 메이크업 추가 등 다양한 텍스처 편집이 가능함을 시연했습니다.
  • 편집된 아바타가 다양한 조명 환경과 표정 변화에서도 일관된 품질을 유지함을 확인했습니다.
• 효율성:
  • 텍스처 맵을 사용하여 고주파수 디테일을 표현함으로써, 동일한 화질을 달성하기 위해 필요한 가우시안 개수를 크게 줄였습니다.
  • RTX A5000 GPU 에서 정적 기하학 기준 170 FPS, 동적 기하학 기준 80 FPS 의 실시간 렌더링 속도를 달성했습니다.
• 비교 분석: FATE(ZWL*25) 와 같은 기존 텍스처 기반 가우시안 방법보다 더 선명하고 디테일한 렌더링 결과를 보여주었습니다.

5. 의의 및 결론 (Significance & Conclusion)

GTAvatar 은 가우시안 스플래팅의 높은 재구성 정확도와 전통적인 메시 기반 모델의 직관적인 편집성을 결합한 획기적인 접근법입니다.

• 실용적 가치: 영화 VFX, 게임, 가상 제작 분야에서 아티스트가 아바타의 외형을 텍스처 맵을 통해 자유롭게 수정하면서도 물리 기반 조명 (재조명) 을 적용할 수 있는 새로운 가능성을 열었습니다.
• 기술적 혁신: 단일 비디오로부터 고해상도, 편집 가능, 재조명 가능한 아바타를 생성하는 파이프라인을 완성하여, 복잡한 2 단계 학습 과정이나 신경망 베이킹 (Neural Baking) 없이도 고품질 결과를 제공합니다.
• 한계 및 향후 과제: 현재는 무한원 조명 (Environment Map) 만 지원하며 점광원이나 간접 조명, 그림자 표현에는 한계가 있습니다. 향후 레이 트레이싱 통합 및 안티앨리어싱 기법 도입을 통해 더욱 발전될 것으로 기대됩니다.

요약하자면, GTAvatar 은 "가우시안 스플래팅의 실시간성과 메시 기반 텍스처 매핑의 편집 가능성을 모두 잡은" 차세대 디지털 휴먼 표현 기술입니다.