OMG-Avatar: One-shot Multi-LOD Gaussian Head Avatar

1. 문제 정의 (Problem Statement)

단일 이미지에서 애니메이션 가능한 3D 헤드 아바타를 재구성하는 것은 컴퓨터 비전 및 그래픽스 분야에서 중요한 과제입니다. 그러나 기존 방법들은 다음과 같은 한계를 가지고 있습니다:

• 계산 효율성 부족: GAN 기반 또는 확산 모델 (Diffusion) 기반의 2D 방법은 고품질 이미지를 생성하지만, 실시간 응용 (예: 화상 회의) 에 필요한 계산 자원이 너무 많이 소요됩니다.
• 3D 일관성 및 제어의 어려움: 2D 기반 방법은 큰 자세 변화나 시점 변화에서 다중 뷰 일관성을 유지하기 어렵습니다.
• 3D Gaussian Splatting 의 한계: 최근 3D Gaussian Splatting 을 활용한 방법들 (GAGAvatar, LAM 등) 은 렌더링 속도가 빠르지만, 여전히 다음과 같은 문제가 있습니다:
  • 과도한 계산 비용: 고해상도 메시 전체에 대해 교차 주의 (Cross-attention) 를 수행하거나 불필요한 가우스 점 (Gaussian points) 을 많이 사용하여 비효율적입니다.
  • 하드웨어 호환성 부재: 다양한 하드웨어 성능과 추론 속도 요구사항에 맞춰 동적으로 복잡도를 조절할 수 있는 메커니즘이 부족합니다.
  • 신체 부위 표현 부족: 기존 3DMM(3D Morphable Models) 은 어깨와 같은 비헤드 영역을 모델링하지 못해 아바타가 불완전하게 생성됩니다.

2. 방법론 (Methodology)

저자들은 OMG-Avatar를 제안하여 단일 이미지로부터 0.2 초 내에 애니메이션 가능한 3D Gaussian 헤드 아바타를 생성하고, 런타임에서 동적인 Multi-LOD(Level-of-Detail) 렌더링을 지원합니다. 주요 기술적 구성 요소는 다음과 같습니다.

가. 계층적 전역 - 국소 특징 추출 (Hierarchical Global-Local Feature Extraction)

• 초기 추출: DINOv2 를 사용하여 입력 이미지에서 국소 특징 (Local features) 과 신원 특징 (Identity features) 을 추출합니다.
• 전역 특징 (Global): FLAME 모델의 정점 (5,023 개) 에 위치 인코딩을 부여하여 Transformer 의 Cross-attention 을 통해 전역 특징을 추출합니다. 이는 고해상도 메시 전체에 대한 계산 비용을 줄이기 위해 초기 저해상도 단계에서만 수행됩니다.
• 국소 특징 (Local): 추출된 3D 헤드 메시를 이미지 평면에 투영하여 국소 특징을 샘플링합니다.
• Coarse-to-Fine 전략: 학습 과정에서 메시와 특징을 점진적으로 세분화 (Subdivision) 합니다. 고해상도 메시 (최대 79,936 정점) 에 대한 특징은 저해상도 단계의 특징을 세분화하여 효율적으로 얻습니다.

나. 가시성 인지 특징 융합 (Occlusion-Aware Feature Fusion, OAFF)

• 깊이 버퍼 (Depth Buffer) 활용: 3D 메시를 래스터화할 때 가시성 마스크를 생성합니다.
• 융합 로직:
  • 가시 정점: 국소 특징 (고주파수 디테일) 과 전역 특징을 결합합니다.
  • 가려진 정점 (Occluded): 2D 이미지에서 정보가 없으므로 전역 특징 (고수준 시맨틱 정보) 만을 사용하여 합리적인 표현을 추론합니다.
• 이를 통해 가려진 영역의 불일치를 방지하고 아바타의 완성도를 높입니다.

다. 다중 영역 모델링 및 통합 (Multi-region Modeling)

• 어깨 영역 추가: FLAME 모델은 어깨가 없으므로, 입력 이미지의 분할 마스크를 활용하여 어깨 영역을 별도로 모델링합니다.
• 통합: 머리 (Head) 와 어깨 (Shoulder) 의 Gaussian 파라미터를 각각 예측한 후 결합하여 전체 상체 아바타를 완성합니다.

라. 재연성 (Reenactment) 및 렌더링

• 동적 애니메이션: 구동 영상 (Driving video) 에서 표정과 자세 파라미터를 추출하여 FLAME 정점을 업데이트합니다.
• 효율성: Gaussian 의 위치 성분만 업데이트하면 되므로 실시간 렌더링이 가능합니다.
• Neural Refiner: 초기 스플래팅 (Splatting) 결과에 UNet 기반의 신경망 리파이너를 적용하여 치아, 주름 등 미세한 디테일을 보정합니다.

3. 주요 기여 (Key Contributions)

1. 초고속 One-shot Multi-LOD 생성: 단일 이미지로부터 0.2 초 내에 애니메이션 가능한 Gaussian 헤드 아바타를 생성하며, 런타임에서 하드웨어 성능에 따라 LOD(세분화 수준) 를 동적으로 조절할 수 있습니다.
2. 효율적인 Coarse-to-Fine 학습 전략: 고해상도 메시 전체에 대한 비싼 Cross-attention 대신, 저해상도 단계에서 전역 특징을 추출하고 세분화를 통해 고해상도로 확장하는 방식을 도입하여 계산 비용을 획기적으로 줄였습니다.
3. 가시성 인지 융합 및 다중 영역 모델링: 깊이 버퍼 기반의 특징 융합으로 가려진 영역의 품질을 보장하고, 어깨 영역을 별도로 모델링하여 아바타의 완성도를 높였습니다.
4. 실시간 성능 달성: NVIDIA A100 에서 85 FPS, RTX 4090 에서 126 FPS 의 추론 속도를 달성하여 실시간 응용에 적합함을 입증했습니다.

4. 실험 결과 (Results)

• 정성적 평가 (Qualitative): VFHQ 및 HDTF 데이터셋에서 기존 SOTA 방법들 (GAGAvatar, LAM, Real3DPortrait 등) 보다 더 선명한 디테일, 더 자연스러운 어깨 표현, 그리고 큰 자세 변화에서도 일관된 결과를 보여줍니다. 특히 LAM(80K 가우스) 보다 적은 수의 가우스 (29K) 로도 동등하거나 더 나은 화질을 달성했습니다.
• 정량적 평가 (Quantitative):
  • 재구성 정확도: PSNR, SSIM, LPIPS 지표에서 모든 LOD 수준 (Sub #0, #1, #2) 에서 SOTA 를 기록했습니다.
  • 재연성 (Reenactment): 신원 보존 (CSIM), 표정 전이 (AED), 자세 전이 (APD) 정확도에서 가장 높은 성능을 보였습니다.
  • 효율성: 기존 신경 렌더링 기반 방법들보다 훨씬 빠른 추론 속도를 기록했습니다. (LAM 은 280 FPS 이지만 신경 리파이너 없이, OMG-Avatar 는 신경 리파이너 포함 85~126 FPS).

5. 의의 및 결론 (Significance)

OMG-Avatar 는 실시간성, 고품질, 그리고 다양한 하드웨어 호환성이라는 세 가지 핵심 요구사항을 동시에 충족하는 획기적인 프레임워크를 제시합니다.

• 기술적 의의: 고비용이던 3D Gaussian 생성 과정을 'Coarse-to-Fine' 및 'One-shot' 방식으로 최적화하여, 메타버스, 가상 회의, 게임 등 다양한 분야에서 즉시 적용 가능한 3D 아바타 기술의 장벽을 낮췄습니다.
• 실용적 가치: 단일 이미지로 빠르게 아바타를 생성하고, 사용자의 기기 성능에 따라 렌더링 품질을 조절할 수 있어 모바일 기기부터 고성능 서버까지 광범위한 배포가 가능합니다.
• 한계 및 향후 과제: FLAME 모델의 한계로 인해 혀 운동이나 머리카락 변형 등 미세한 표정 표현에는 제약이 있으며, 단안 영상 학습으로 인해 60 도 이상의 큰 시점 변화에서는 아티팩트가 발생할 수 있습니다. 향후 다중 뷰 데이터 학습을 통해 이를 개선할 계획입니다.