💻 computer science

Multi-view Consistent 3D Gaussian Head Avatars 'without' Multi-view Generation

본 논문은 다중 뷰 데이터셋, 3 차원 감독, 또는 중간 뷰 합성이 필요 없이 무작위로 샘플링된 2 차원 이미지로부터 직접 고품질의 다중 뷰 일관성을 갖춘 3 차원 가우스 헤드 아바타를 생성하는 새로운 단일 샷 상태 공간 모델인 MVCHead 를 소개합니다.

원저자: Aviral Chharia, Fernando De la Torre

게시일 2026-05-26

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Aviral Chharia, Fernando De la Torre

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

가상 회의나 비디오 게임을 위해 사실적인 3D 디지털 머리를 만들고 싶다고 상상해 보세요. 보통 이런 머리를 만드는 것은 눈가리개를 하고 조각상을 조각하려는 시도와 같거나, 수십 대의 카메라가 한 사람의 모든 각도를 동시에 촬영하는 거대하고 비싼 스튜디오가 필요합니다.

이 논문은 MVCHead라는 새로운 방법을 소개하며 게임의 판을 바꿉니다. 이 방법은 컴퓨터가 고가의 카메라나 3D 스캔, 혹은 중간 과정을 돕기 위한 가짜 '중간' 이미지를 생성할 필요 없이 단순히 무작위 2D 사진(일반적인 사진 앨범과 같은) 만을 사용하여 이러한 3D 머리를 구축하는 법을 학습할 수 있게 합니다.

다음은 이를 간단한 비유로 풀어낸 작동 원리입니다:

1. 문제: "정체성 표류 (Identity Drift)"

컴퓨터가 2D 사진만으로 3D 머리를 구축하려 할 때 종종 혼란을 겪습니다. 생성된 머리를 정면에서 보면 훌륭해 보이지만, 옆으로 회전하면 코가 이동하거나 머리카락 모양이 변하거나 귀가 사라질 수 있습니다. 이를 '표류 (drift)'라고 합니다. 컴퓨터는 일관된 하나의 3D 객체를 만드는 대신, 각 각도마다 다른 얼굴을 그리고 있는 셈입니다.

2. 해결책: "스마트 조각가 (MVCHead)"

저자들은 평평한 사진만 보더라도 전체 3D 형태를 '볼' 수 있는 마스터 조각가처럼 행동하는 새로운 유형의 AI 모델을 개발했습니다.

중개자 부재: 이전 방법들은 먼저 가짜 측면 뷰 사진을 생성한 뒤 이를 바탕으로 3D 모델을 구축하려 했습니다. MVCHead 는 이 단계를 완전히 생략합니다. "사진이 있다"는 사실에서 바로 "여기 3D 머리가 있다"는 결과로 직행합니다.
"계층적 (Hierarchical)" 접근: 집을 짓는다고 상상해 보세요. 개별 벽돌을 하나씩 놓는 것부터 시작하지 않습니다. 먼저 대략적인 틀을 세우고, 그다음 벽을 추가한 뒤, 창문을 설치하고, 마지막으로 손잡이 같은 세부 사항을 마무리합니다. MVCHead 는 3D '구름'(가우스라고 함) 으로 이와 같은 작업을 수행합니다. 거칠고 흐릿한 형태로 시작하여 주름, 머리카락 가닥, 피부 잡티와 같은 더 미세한 세부 사항을 층층이 추가하며 점진적으로 정제해 나갑니다.

3. 결정적 요소: "양방향 스캔 (Bi-Directional Scan)"

이 논문은 HiBiSS라는 교묘한 트릭을 소개합니다.

비유: 책을 읽는다고 상상해 보세요. 왼쪽에서 오른쪽으로만 읽으면 페이지 하단이 상단과 어떻게 연결되는지 놓칠 수 있습니다.
혁신: 저자들은 머리가 회전할 때 특징들이 주로 수평(좌/우) 또는 수직(상/하) 으로 이동한다는 점을 깨달았습니다. 따라서 데이터를 한 방향만으로 스캔하는 대신, 이 모델은 네 방향(왼쪽에서 오른쪽, 오른쪽에서 왼쪽, 위에서 아래, 아래에서 위) 으로 데이터를 스캔합니다.
효과: 머리가 회전할 때 왼쪽 귀가 이동한다고 모델이 결정하면, 오른쪽 귀와 얼굴 나머지 부분이 일관성을 유지하기 위해 어떻게 이동해야 하는지 즉시 알 수 있게 됩니다. 이는 전체 얼굴을 3D 공간에서 '붙여' 놓는 역할을 합니다.

4. "심판관": 다중 뷰 비평가 (Multi-view Critic)

사람이 직접 보지 않아도 3D 머리가 실제로 일관성이 있는지 컴퓨터가 어떻게 알 수 있을까요?

비유: 경기의 심판을 상상해 보세요. 모델이 3D 머리를 생성하면, '심판관'( SE(3) Multi-view Critic이라고 함) 이 그 머리의 정면, 측면, 상단에서 사진을 찍습니다.
규칙: 심판관은 다음과 같이 확인합니다: "이 세 장의 사진이 동일한 3D 객체에서 나온 것처럼 보이는가?"
보상: 세 장의 사진이 완벽하게 일치하면 (코가 세 장 모두에서 올바른 위치에 있음), 모델은 "잘했다"는 점수를 받습니다. 만약 한 뷰에서 코가 이동하거나 귀가 사라지면 모델은 패널티를 받습니다. 시간이 지남에 따라 모델은 심판관의 테스트를 매번 통과하는 머리를 만들도록 학습합니다.

5. 결과: 고품질과 일관성

이 논문은 이 방법이 다음을 산출한다고 주장합니다:

초현실적 사실감: 피부 모공, 머리카락 가닥, 입술 윤곽과 같은 미세한 세부 사항을 포착하여 머리가 놀라울 정도로 사실적으로 보입니다.
완벽한 일관성: 머리를 회전할 때 특징들이 제자리에 고정됩니다. 질감 (피부, 머리카락) 과 형태 (기하학) 가 서로 떨어지지 않습니다.
효율성: 다른 방법들이 요구하는 고가의 다중 카메라 설정 없이도 이 모든 것을 수행합니다.

6. 새로운 도서관: FaceGS-10K

다른 연구자들을 돕기 위해 저자들은 FaceGS-10K라는 새로운 데이터셋을 공개했습니다. 이는 10,000 개의 준비된 3D 디지털 머리를 보유한 도서관과 같습니다. 사진 더미나 복잡한 메쉬 파일에 불과한 다른 데이터셋과 달리, 이들은 누구나 즉시 자신의 프로젝트에 사용할 수 있는 '렌더링 준비 완료 (ready-to-render)' 3D 객체입니다.

요약하자면: MVCHead 는 지능적인 다방향 스캔 기술과 3D 형태가 모든 각도에서 일관성을 유지하도록 컴퓨터를 강요하는 '심판관' 시스템을 통해 단순한 2D 사진으로부터 일관성 있고 고품질의 3D 머리를 구축하는 법을 학습하는 새로운 AI 입니다.

기술 요약: 다중 뷰 일관성 3D 가우스 헤드 아바타 (MVCHead)

1. 문제 정의

고충실도 3D 가우스 헤드 아바타 생성은 AR/VR, 원격 현존, 디지털 인간 애플리케이션에 필수적입니다. 그러나 기존 방법들은 데이터 요구 사항과 확장성 측면에서 상당한 한계에 직면해 있습니다:

다중 뷰 최적화: 조밀한 스튜디오 캡처에 의존하는 방법들 (예: NeRSemble, RenderMe-360) 은 높은 품질을 달성하지만, 비싼 하드웨어와 대상별 최적화로 인해 확장성이 부족합니다.
다중 뷰 확산: 단일 이미지에서 중간 뷰 (예: 측면 뷰) 를 합성하여 3D 재구성을 수행하는 접근법은 "정체성 드리프트 (identity drift)"로 고통받습니다. 픽셀 정렬된 교차 뷰 손실은 종단 간 (end-to-end) 으로 최적화되지 않아 머리카락, 귀 윤곽, 명암에서 불일치를 초래합니다. 또한, 조밀한 중간 뷰를 생성하는 것은 규모 측면에서 계산적으로 불가능합니다.
피드포워드 생성기: 종단 간 미분 가능한 반면, 기존 피드포워드 모델들은 명시적인 다중 뷰 감독이나 3D 정답 데이터가 없는 경우, 특히 모델이 2D 이미지만을 관찰하는 "최소 자원 환경"에서 다중 뷰 일관성 (MVC) 을 강제하는 데 어려움을 겪습니다.

이 연구가 해결하는 핵심 과제는 중간 뷰를 생성하지 않고 3D 정답 데이터에 의존하지도 않는 단일 샷 종단 간 미분 가능 모델을 사용하여 대규모 실시간 다중 뷰 일관성 3D 가우스 헤드 아바타 합성을 달성하는 것입니다.

2. 방법론: MVCHead

저자들은 조건부 없는 3D 가우스 헤드 생성에 특화된 새로운 상태 공간 모델 (SSM) 인 MVCHead를 제안합니다. 이 아키텍처는 대규모 얼굴 코퍼스에서 샘플링된 2D 이미지로만 감독받는 최소 자원 환경에서 작동합니다.

2.1. 핵심 아키텍처: 계층적 상태 공간 (HiSS) 블록

MVCHead 는 잠재 코드 $z$ 를 입력받아 단일 순전파 (forward pass) 를 통해 일련의 이방성 3D 가우스를 출력합니다. 생성 과정은 $L$ 개의 HiSS 블록 계층으로 조직화됩니다:

앵커 기반 정제: 가우스는 거친 수준에서 세밀한 수준으로 점진적으로 정제됩니다. 세밀한 수준의 가우스는 더 거친 수준의 "앵커"로부터의 오프셋으로 매개변수화됩니다. 이는 새로운 원시 요소가 확립된 기하학에 부합하도록 하여 임의의 드리프트를 방지합니다.
분리된 조건부: 외관은 매핑된 잠재 $w$ 를 사용하는 AdaIN 계층을 통해 조건부화되어 외관과 기하학을 분리합니다. 주목할 점은 카메라 포즈가 모델이 뷰별 2D 휴리스틱으로 붕괴되는 것을 방지하기 위해 HiSS 블록 내에서 조건부화되지 않는다는 것입니다.
듀얼 믹서 설계: 각 블록은 글로벌 시맨틱을 위한 자기 어텐션 메커니즘과 로컬 그리드 정렬 일관성을 위한 상태 공간 블록을 사용합니다.

2.2. 계층적 양방향 상태 스캔 (HiBiSS)

주요 혁신은 Mamba 의 표준 단방향 스캔을 수정한 것입니다. 저자들은 3D 헤드에서의 다중 뷰 불일치 (드리프트) 가 강하게 축 정렬되어 있음을 관찰했습니다:

요 (Yaw) 변화는 주로 수평 이동 (실루엣, 귀, 턱선) 을 유발합니다.
피치 (Pitch) 변화는 주로 수직 이동 (코, 볼, 턱의 명암) 을 유발합니다.

이를 해결하기 위해 HiBiSS는 표준 스캔을 네 가지 보완적인 2D 스캔 (왼쪽에서 오른쪽, 오른쪽에서 왼쪽, 위에서 아래, 아래에서 위) 으로 대체합니다. 이는 상태 전파를 불일치 드리프트의 주축과 정렬시키는 양방향 순환 경로를 생성하여 토큰 그리드 전반에 걸쳐 그리드 정렬 일관성을 강제합니다.

2.3. SE(3) 다중 뷰 비평가

실제 다중 뷰 쌍 없이 MVC 를 강제하기 위해 저자들은 SE(3) 다중 뷰 비평가( $E_\psi$ )를 도입합니다.

메커니즘: 비평가 는 다양한 표준 포즈 $\{ T_k \}$ 에서 생성된 아바타로부터 렌더링된 이미지 집합 $\{ \hat{I}_k \}$ 을 입력받아 스칼라 일관성 점수를 출력합니다.
학습 전략: 비평가는 "양성 집합"(동일한 생성 아바타의 여러 뷰) 과 "음성 집합"(서로 다른 아바타의 뷰) 을 구분하는 이진 집합 분류기로 훈련됩니다. 이는 실루엣 일관성, 명암 연속성과 같은 미묘한 기하학적 및 질감 단서를 학습하여 교차 뷰 픽셀 정렬을 보상합니다.
기하학적 변환 어텐션 (GTA): 비평가는 카메라 내부 파라미터 및 자르기에 불변이고 상대적 뷰 배치에만 의존하도록 (SE(3) 등변성) 하기 위해 GTA 를 활용합니다.
최적화: 생성기는 비평가의 점수를 최대화하도록 훈련되며, 이는 설계에 의해 MVC 를 유도하는 미분 가능 보상으로 비평가를 효과적으로 사용합니다.

2.4. 학습 목적 함수

총 손실은 다음을 결합합니다:

$L_{mvc}$ : SE(3) 다중 뷰 비평가 점수의 음의 로그 (교차 뷰 일관성 장려).
$L_{adv}$ : R1 기울기 페널티가 있는 카메라 조건부 적대적 손실 (질감 사실성 보장).
정규화 ( $L_{knn}, L_{ctr}$ ): 구조적 안정성을 유지하기 위한 가우스 간격 및 중심 드리프트에 대한 제약.

3. 주요 기여

MVCHead 아키텍처: 중간 뷰 생성이나 3D 감독 없이 최소 자원 환경에서 조건부 없는 합성이 가능한 3D 가우스 헤드 생성용 최초의 상태 공간 모델.
HiBiSS 스캔: 다중 뷰 드리프트의 주축 (요는 수평, 피치는 수직) 과 순환을 정렬시키는 새로운 스캔 메커니즘으로, 일관성을 크게 향상시킴.
SE(3) 다중 뷰 비평가: 일관된 3D 구성과 불일치하는 구성을 구분하여 MVC 를 강제하는 학습된 일관성 보상으로, 쌍을 이룬 다중 뷰 데이터가 필요 없음.
FaceGS-10K 데이터셋: 학습 및 벤치마킹을 위한 첫 번째 대규모 준비 완료 3D 가우스 헤드 자산 데이터셋 (10K 개 인종, 각 240K 개 가우스) 공개.
최고 수준의 성능 (SOTA): 이전 방법들에 비해 우수한 질감/기하학적 일관성과 함께 최고 수준의 지각적 품질 달성.

4. 결과 및 평가

저자들은 FFHQ 및 FFHQ-C 데이터셋에서 MVCHead 를 GSGAN, GGHead, CGSGAN 과 같은 SOTA 방법들과 비교 평가했습니다.

지각적 사실성: MVCHead 는 다양한 뷰포인트에서 높은 시각적 충실도를 나타내는 가장 낮은 FID(FFHQ 기준 4.39, FFHQ-C 기준 3.94) 및 FID3D 점수를 달성했습니다.
다중 뷰 일관성 (MVC):
- 질감 일관성: 교차 뷰 cPSNR, cSSIM, cLPIPS 를 통해 측정된 결과, MVCHead 는 미세한 세부 사항 (주름, 머리카락, 입술 윤곽) 에서 우수한 안정성을 보였습니다.
- 기하학적 일관성: 알려진 포즈 없이 이미지 쌍 간의 일관성을 측정하는 MEt3R 지표를 사용하여, MVCHead 는 CGSGAN(0.2814) 보다 낮은 오차 (0.2620) 를 달성하여 큰 포즈 변화 하에서 더 강력한 기하학적 일관성을 나타냈습니다.
- 형태 일관성: 이 모델은 이전 방법들과 비교 가능한 형태 일관성 (체임퍼 거리) 을 유지하면서도 질감 및 기하학적 일관성 측면에서 이를 크게 능가했습니다.
절대 실험 (Ablation Studies): HiBiSS 스캔 또는 SE(3) 비평가를 제거하면 FID 및 MEt3R 모두에서 성능이 크게 저하되어 이러한 구성 요소의 필요성이 확인되었습니다.

5. 중요성 및 주장

이 논문은 MVCHead가 고비용 스튜디오 캡처, 3D 정답 데이터, 또는 계산적으로 무거운 중간 뷰 합성 없이도 고충실도 다중 뷰 일관성 자산을 생성할 수 있음을 입증함으로써 3D 헤드 아바타 생성의 패러다임 전환을 의미한다고 주장합니다.

확장성: 대상별 최적화 및 중간 뷰 생성을 피함으로써 대규모 데이터셋으로 확장 가능함.
설계 주도 일관성: 중간 뷰 생성은 확장성에 역효과를 낳으며, MVC 는 아키텍처 설계 (HiBiSS) 와 학습된 일관성 보상 (SE(3) 비평가) 을 통해 유도될 수 있다는 점을 강조.
자원 효율성: 이 접근법은 "최소 자원 환경"에서 작동하여 조밀한 캡처 장비를 갖춘 스튜디오가 없어도 고품질 3D 아바타 생성을 가능하게 함.

저자들은 현재 모델이 전면 및 측면 뷰 (전체 360°가 아님) 로 훈련되었으며 기하학적 사전 지식에 전적으로 2D 감독에 의존한다는 한계를 지적합니다. 그러나 FaceGS-10K의 공개와 입증된 SOTA 성능은 조건부 없는 3D 가우스 헤드 생성에 대한 새로운 기준을 확립합니다.