SEGA: Drivable 3D Gaussian Head Avatar from a Single Image

이 논문은 단일 이미지로부터 일반화 성능과 3D 일관성을 보장하면서도 실시간 구동이 가능한 고품질 3D Gaussian 헤드 아바타를 생성하는 새로운 방법인 SEGA 를 제안합니다.

핵심

📸 1. 문제: "한 장의 사진으로 3D 를 만들 수 있을까?"

보통 3D 캐릭터를 만들려면 여러 각도에서 찍은 사진이나 비디오가 필요합니다. 마치 인형 공장에서 인형을 만들 때 앞, 뒤, 옆면을 모두 보고 조립하듯 말이죠. 하지만 우리는 보통 스마트폰으로 한 장의 사진만 찍습니다. 이 한 장의 사진만으로는 숨겨진 뒷모습이나 입 모양의 움직임을 알 수 없어, 3D 로 만들면 얼굴이 뭉개지거나 이상하게 변하는 문제가 있었습니다.

🏗️ 2. SEGA 의 핵심 아이디어: "두 명의 전문가 팀"

SEGA 는 이 문제를 해결하기 위해 두 명의 전문가 팀을 꾸려서 일을 나누어 합니다. 마치 건축 프로젝트에서 '고정된 기둥'을 짓는 팀과 '움직이는 문과 창'을 만드는 팀으로 나눈 것과 같습니다.

🧱 팀 1: 정적 (Static) 팀 - "변하지 않는 얼굴"

• 역할: 이 팀은 이마, 두피, 목처럼 표정이 바뀌어도 거의 움직이지 않는 부위를 담당합니다.
• 비유: 마치 건물의 기둥과 벽을 짓는 일입니다. 한 번만 잘 지어두면 영원히 변하지 않죠.
• 기술적 특징: 이 팀은 거대한 AI(대규모 재구성 모델) 를 이용해 사진 속 사람의 '고유한 얼굴 특징 (얼굴 생김새)'을 완벽하게 기억해 냅니다. 이 부분은 미리 계산해 두기 때문에, 나중에 아바타가 움직일 때 매우 빠르고 가볍게 처리할 수 있습니다.

🎭 팀 2: 동적 (Dynamic) 팀 - "표정 변화의 마법사"

• 역할: 이 팀은 입, 눈, 볼처럼 표정이 바뀔 때 움직이는 부위를 담당합니다.
• 비유: 마치 건물의 문과 창문을 다스리는 일입니다. 사람이 웃으면 입이 올라가고, 깜짝 놀라면 눈이 커지죠. 이 팀은 그 미세한 움직임을 실시간으로 따라갑니다.
• 기술적 특징: 이 팀은 가벼운 AI 를 사용해 표정만 빠르게 분석하고, 입술이나 눈썹의 움직임을 정교하게 구현합니다. 덕분에 아바타가 웃거나 화낼 때 매우 자연스럽습니다.

🎨 3. 두 팀의 합작: "완벽한 조화"

이 두 팀이 만든 결과물을 하나로 합칩니다.

• 정적 팀이 만든 '변하지 않는 얼굴 뼈대' 위에,
• 동적 팀이 만든 '표정 변화'를 입혀서,
• 마치 실제 사람처럼 360 도 돌아다니며 웃고, 말하고, 깜빡일 수 있는 아바타가 완성됩니다.

🧩 4. 왜 이 기술이 특별한가요? (2D 와 3D 의 결혼)

기존 기술들은 두 가지 중 하나만 잘했습니다.

1. 2D 사진만 많이 본 경우: 얼굴 생김새는 비슷하게 만들지만, 3D 로 돌려보면 얼굴이 뭉개지거나 뒤쪽이 비현실적입니다. (2D 사진은 많지만 3D 공간감은 부족함)
2. 3D 데이터만 많이 본 경우: 3D 구조는 완벽하지만, 다양한 얼굴 생김새를 못 만들어서 모든 사람이 비슷해 보입니다. (3D 구조는 좋지만 얼굴 다양성은 부족함)

SEGA 는 이 두 가지를 결혼시켰습니다.

• 2D 사진의 다양성: 인터넷에 떠도는 수많은 얼굴 사진 (2D) 을 공부해서 누구든 닮게 만듭니다.
• 3D 데이터의 정확성: 3D 스캔 데이터를 공부해서 360 도 돌려도 얼굴이 뭉개지지 않게 만듭니다.

⚡ 5. 결과: "실시간으로 움직이는 실사 아바타"

이 기술을 사용하면:

1. 한 장의 사진만 올리면 됩니다.
2. 몇 분 안에 고해상도 3D 아바타가 만들어집니다.
3. 그 아바타는 실시간으로 표정을 바꾸고, 360 도 회전하며, 다른 사람의 표정까지 따라 할 수 있습니다 (예: 내가 웃으면 아바타도 웃음).

💡 요약

SEGA 는 **"한 장의 사진으로, 건물의 기둥 (정적) 과 문 (동적) 을 나누어 짓는 두 팀의 협력"**을 통해, 어떤 각도에서 봐도 자연스럽고, 표정이 살아있는 실사 3D 아바타를 만들어내는 혁신적인 기술입니다.

이 기술은 향후 가상 현실 (VR) 회의, 디지털 엔터테인먼트, 원격 화상 통화 등에서 우리 모두에게 더 생생하고 현실적인 디지털 친구를 만들어 줄 것입니다.

기술 요약

1. 문제 정의 (Problem)

가상 현실 (VR), 텔레프레즌스, 디지털 엔터테인먼트 분야에서 **단일 이미지 (Single Image)**로부터 사실적인 3D 헤드 아바타를 생성하는 것은 중요한 과제입니다. 기존 3D 가우시안 스플래팅 (3DGS) 기반 방법들은 고품질의 렌더링을 제공하지만, 대부분 비디오 시퀀스나 보정된 다중 뷰 (Multi-view) 입력을 필요로 하여 일반 사용자의 접근성이 낮습니다.
단일 이미지 기반 생성을 시도하는 기존 방법들은 다음과 같은 한계가 있습니다:

• 2D 기반 방법: 다양한 신원 (Identity) 에 대한 일반화 능력은 뛰어나지만, 새로운 시점 (Novel View) 에서 3D 일관성이 떨어집니다.
• 3D 기반 방법: 기하학적 일관성은 좋으나, 학습 데이터의 신원 다양성이 부족하여 보지 못한 대상 (Unseen Identity) 에 대한 일반화가 어렵습니다.
• 핵심 과제: 2D 의 풍부한 신원 다양성과 3D 의 기하학적 일관성을 단일 프레임워크 내에서 동시에 만족시키는 것.

2. 방법론 (Methodology)

저자들은 SEGA라는 새로운 프레임워크를 제안하며, 이는 **계층적 정적 - 동적 분해 (Hierarchical Static-Dynamic Decomposition)**와 2D 비전 사전 지식과 3D 데이터의 통합이라는 두 가지 핵심 통찰에 기반합니다.

A. 전체 파이프라인

입력된 단일 이미지 $I$를 기반으로 세 단계로 구성됩니다:

1. 정적 브랜치 (Static Branch): 신원 보존과 새로운 시점 일반화를 담당.
2. 동적 브랜치 (Dynamic Branch): 표정 변화에 따른 실시간 애니메이션을 담당.
3. 블렌딩 단계 (Blending Stage): 두 브랜치의 결과를 융합하고 개인별 미세 조정 (Fine-tuning) 을 수행.

B. 정적 브랜치 (Static Branch)

• 목적: 이마, 두피 등 표정에 영향을 받지 않는 경직된 (Rigid) 영역을 처리하여 신원 정보를 보존하고 시점 일반화를 달성합니다.
• 구조:
  • DINOv2 백본: 대규모 2D 이미지 데이터로 사전 학습된 DINOv2 를 사용하여 강력한 신원 특징을 추출합니다.
  • LRM (Large Reconstruction Model): 추출된 2D 특징을 UV 공간으로 매핑하여 FLAME 메쉬의 표준 토폴로지에 대한 위치 오프셋 (Position Offset) 및 가우시안 속성 (색상, 불투명도, 회전, 크기) 을 예측합니다.
  • 특징: 이 브랜치는 표현에 무관하므로 전처리 단계에서 한 번만 계산하여 캐싱할 수 있어 실시간 성능을 보장합니다.

C. 동적 브랜치 (Dynamic Branch)

• 목적: 입, 눈, 볼 등 표정에 따라 변형되는 영역을 처리하여 고충실도 실시간 애니메이션을 구현합니다.
• 구조:
  • VQ-VAE 인코더: 대규모 2D 얼굴 데이터로 사전 학습된 VQ-VAE 를 사용하여 이산적인 (Discrete) **신원 코드 ($z_c$)**를 추출합니다. 이는 다양한 신원에 대한 강력한 일반화를 가능하게 합니다.
  • Displacement VAE: 표정 잠재 벡터 ($z$) 를 학습하여 FLAME 메쉬의 변위 맵 (Displacement Map) 을 예측합니다.
  • 동적 디코더: $z_c$와 $z$를 입력받아 표정에 의존적인 가우시안 속성을 실시간으로 회귀 (Regression) 합니다.

D. 블렌딩 및 렌더링

• 블렌딩: 정적 영역과 동적 영역의 결과를 미리 정의된 마스크를 사용하여 부드럽게 융합합니다. 경계선에서는 가중치 마스크를 통해 시각적 이음새 (Seam) 를 제거합니다.
• 렌더링: FLAME 메쉬의 삼각형 면 단위가 아닌, **정규화된 UV 그리드 (Regular UV Grid)**를 기반으로 가우시안을 샘플링합니다. 이는 FLAME 메쉬의 비균일한 삼각형 분포 (눈, 입 주변은 밀집, 이마 등은 희소) 로 인한 밀도 불균형을 해결하고 전체 얼굴 표면을 균일하게 커버하여 렌더링 품질을 높입니다.
• 개인화 (Person-Specific Finetuning): 생성된 아바타의 충실도를 높이기 위해 입력 이미지에 대해 단 한 번의 미세 조정 (약 2 분 소요) 을 수행합니다.

3. 주요 기여 (Key Contributions)

1. SEGA 제안: 단일 이미지로부터 360 도 자유 시점 렌더링이 가능한 고품질 3D 가우시안 헤드 아바타 생성 방법 제시.
2. 계층적 정적 - 동적 분해: 경직된 영역 (정적) 과 변형 가능한 영역 (동적) 을 분리하여 신원 보존과 실시간 표정 애니메이션을 동시에 최적화.
3. 2D/3D 사전 지식 융합: DINOv2, VQ-VAE 와 같은 대규모 2D 비전 사전 지식과 다중 뷰 3D 데이터, 변위 VAE 를 결합하여 신원 다양성과 기하학적 일관성을 모두 확보.
4. 실시간 성능 및 고품질: 360 도 렌더링과 실시간 구동 (50ms/frame) 을 달성하며, 기존 SOTA 방법들보다 일반화 능력, 신원 보존, 표정 사실성이 우수함.

4. 실험 결과 (Results)

• 데이터셋: NeRSemble 및 자체 수집 데이터셋을 사용하여 훈련 및 평가 수행.
• 성능 비교:
  • 자신 재연 (Self Reenactment): PSNR(24.49), SSIM(0.818), LPIPS(0.252) 등 모든 지표에서 GPAvatar, VOODOO3D, Portrait4D, GAGAvatar, LAM 등 기존 SOTA 방법들을 상회.
  • 타인 재연 (Cross-Identity Reenactment): 다른 사람의 표정을 자신에게 적용하는 작업에서도 CSIM(신원 유사도), AKD(키포인트 거리), AED(표정 거리) 에서 최상의 성능 기록.
  • 시각적 품질: 새로운 시점 (Novel View) 에서도 치아, 눈 등 세부 사항의 기하학적 일관성이 뛰어나며, 어색한 왜곡이나 아티팩트가 없음.
• 사용자 연구: 60 명의 참가자를 대상으로 한 평가에서 신원 보존, 표정 일치도, 전반적 시각적 품질 모든 항목에서 78.7% 의 선호도를 기록하여 압도적인 우위를 입증.
• 애블레이션 (Ablation Study): 정적/동적 브랜치 분리, 2D 사전 지식, 손실 함수 (Perceptual Loss), 개인화 미세 조정 등 각 구성 요소가 최종 성능에 필수적임을 확인.

5. 의의 및 결론 (Significance)

SEGA 는 단일 이미지라는 제한된 입력으로부터 360 도 자유 시점 렌더링이 가능하고, 실시간으로 구동되는 고품질 3D 아바타를 생성하는 데 있어 획기적인 진전을 이루었습니다.

• 실용성: 복잡한 다중 뷰 촬영 장비 없이 스마트폰 사진 한 장으로도 고품질 아바타를 생성 가능하여 VR/AR, 텔레프레즌스, 디지털 엔터테인먼트 분야에 즉시 적용 가능한 솔루션을 제공합니다.
• 기술적 혁신: 2D 의 풍부한 데이터와 3D 의 기하학적 정확성을 효과적으로 결합하는 새로운 패러다임을 제시하며, 단일 이미지 기반 3D 생성의 한계를 극복했습니다.
• 향후 과제: 안경 착용자 처리 및 비강직성 헤어 (머리카락) 움직임 모델링은 현재 제한 사항이나, 향후 데이터 다양성 확보와 전용 모듈 개발을 통해 해결할 계획입니다.

이 연구는 단일 이미지 기반 3D 아바타 생성 분야에서 새로운 기준 (SOTA) 을 설정하며, 실제 응용 분야에서의 상용화 가능성을 크게 높였습니다.