💻 computer science

FiCA: Feed-forward instant Gaussian Codec Avatars from a Single Portrait Image

FiCA는 비전 파운데이션 모델, 확산 기반 메쉬 재구성 네트워크, 그리고 정교화 모듈을 결합하여 단일 인물 사진으로부터 실시간 구동 가능한 사실적인 3D 가우시안 아바타를 생성하며, 개인별 테스트 시점 최적화의 필요성을 제거하는 피드포워드 파이프라인입니다.

원저자: Kim Youwang, Zhengyu Yang, Liuhao Ge, Yu Rong, Timur Bagautdinov, Su Zhaoen, Nir Sopher, Jovan Popović, Teng Deng, Tae-Hyun Oh, Chen Cao

게시일 2026-06-24

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Kim Youwang, Zhengyu Yang, Liuhao Ge, Yu Rong, Timur Bagautdinov, Su Zhaoen, Nir Sopher, Jovan Popović, Teng Deng, Tae-Hyun Oh, Chen Cao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 가진 단 한 장의 평범한 셀카 사진이 있다고 상상해 보세요. 이제 이 평상한 2D 사진을 가져가서, 당신이 웃거나 찡그리거나 고개를 돌리는 모습을 실시간으로 구현할 수 있는 살아 숨 쉬는 3D 버전의 머리로 즉시 만들어내는 마법 같은 기계를 상상해 보세요. 그것이 바로 FiCA가 하는 일입니다.

다음은 논문이 이 기술을 간단한 개념과 비유를 통해 설명하는 방식입니다.

거대한 문제: "한 장의 사진"이라는 퍼즐

사실적인 3D 인간의 머리를 만드는 데는 보통 수십 대의 카메라, 값비싼 조명, 그리고 몇 시간의 스캐닝 작업이 필요한 거대한 스튜디오가 필요합니다. 이는 마치 집의 정면 사진 한 장만 보고 그 집 전체의 3D 모델을 만들려는 것과 같습니다. 뒷면, 내부, 그리고 옆면에 대한 정보가 모두 누락되어 있기 때문입니다.

기존의 방법들은 누락된 부분을 찾아내기 위해 오랜 시간이 걸리는 "추측 게임(최적화)"을 사용하거나, 당신이 움직이는 모습을 먼저 영상으로 녹화해야 했습니다. FiCA는 이 긴 기다림과 영상 녹화 과정을 건너뛰고자 합니다. FiCA는 단 한 장의 사진에서 약 5초 만에 3D 아바타를 만드는 것을 목표로 합니다.

FiCA의 해결책: 3단계 조립 라인

저자들은 "피드 포워드(feed-forward)" 시스템을 구축했습니다. 이는 제품이 재평가되는 과정 없이 세 개의 뚜렷한 스테이션을 통과하는 공장의 조립 라인과 같습니다.

스테이션 1: "탐정" (비전 파운데이션 모델)

먼저, 시스템은 당신의 사진 한 장을 보고 초능력을 가진 탐정처럼 행동합니다. 시스템은 이미 학습된 "비전 파운데이션 모델(인간의 얼굴이 어떻게 생겼는지 이미 학습한 AI)"을 사용하여 단서를 추출합니다.

하는 일: 단순히 픽셀을 보는 것이 아니라, 피부 질감, 코의 모양, 심지어 눈의 위치까지 추측합니다. 설령 얼굴의 일부가 가려져 있거나 그림자에 가려져 있더라도 말이죠.
비유: 이것은 마치 화가가 흐릿한 스케치를 보고 머릿속으로 누락된 선들을 채워 넣어 전체 그림을 그려내는 것과 같습니다.

스테이션 2: "몽상가" (확산 모델/Diffusion Model)

이것이 핵심적인 마법입니다. 시스템은 스테이션 1에서 얻은 "단서"를 **확산 모델(Diffusion Model)**에 입력합니다.

하는 일: 확산 모델은 노이즈(static)로 가득 찬 캔버스에서 시작하여 천천히 선명한 이미지를 그려나가는 화가와 같습니다. 여기서 AI는 빈 노이즈 상태의 3D 메쉬로부터 시작하여, 사진에는 보이지 않는 부분(입 안쪽이나 머리 뒷부분 등)을 포함한 당신의 얼굴 전체의 질감과 형태를 "꿈꾸듯" 만들어냅니다.
비유: 조각가에게 얼굴 사진 한 장과 찰흙 한 봉지를 준다고 상상해 보세요. 조각가는 얼굴이 어떻게 생겼는지에 대한 지식을 활용하여, 카메라를 향한 면뿐만 아니라 머리 전체를 조각해 냅니다.

스테이션 3: "다듬기" (피드 포워드 정교화/Feed-Forward Refinement)

때때로 "몽상가"가 전반적인 형태는 잘 잡아냈지만, 피부색의 미세한 차이나 특정 주름 같은 아주 작은 디테일은 놓칠 때가 있습니다.

하는 일: 정교화 네트워크는 원본 사진과 새로 생성된 3D 모델을 나란히 놓고 비교합니다. 이 네트워크는 사진 편집기처럼 작동하여, 3D 모델을 조정해 사진 속 인물과 똑같이 보이도록 만듭니다.
비유: 이것은 옷이 몸에 잘 맞긴 하지만 완벽한 핏을 위해 몇 번의 바느질이 더 필요한 양복점을 생각하면 됩니다. 결정적으로, 이 과정은 즉각적으로 일어납니다. 시스템은 몇 시간 동안 "생각"하거나 "최적화"하기 위해 멈추지 않습니다.

최종 결과물: "3D 가우시안(3D Gaussian)" 아바타

3D 메쉬가 완벽해지면, 시스템은 이를 3D 가우시안 아바타로 변환합니다.

그게 무엇인가요? 얼굴을 고체 삼각형(비디오 게임 캐릭터처럼)으로 만드는 대신, 수백만 개의 작고 흐릿하며 색이 있는 점(가우시안)들로 얼굴을 구축합니다.
왜 멋진가요? 이 점들은 매우 효율적입니다. 덕분에 아바타는 사실적인 외형을 유지하면서도, 가장 중요한 기능인 **구동 가능성(drivable)**을 갖게 됩니다. 새로운 표정(웃음이나 윙크 등)을 입력하면, 이 점들이 즉각적으로 재배치되어 실시간으로 그 표정을 보여줍니다.

논문의 주장 (그리고 하지 않는 것)

속도: 아바타를 생성하는 데 약 5초가 소요됩니다.
입력: 오직 단 한 장의 인물 사진만 필요합니다. 영상도, 3D 스캐너도 필요 없습니다.
품질: 논문은 이 아바타가 동일한 작업을 수행하려는 최근의 다른 방법들보다 더 사실적이며 정체성(identity)을 더 잘 보존한다고 주장합니다.
"미세 조정(Fine-Tuning)" 없음: 초기 스캔 후 당신의 특정 얼굴을 "학습"하기 위해 시간을 보내야 했던 기존 방식과 달리, FiCA는 이 모든 것을 한 번에 처리합니다.

논문이 주장하지 않는 것:
이 논문은 이 기술이 전신 아바타에도 작동한다고 주장하지 않으며(머리에만 국한됨), 극단적인 조명이나 모션 블러(움직임에 의한 번짐)에서도 완벽하게 작동한다고 주장하지 않습니다(이것들이 현재의 한계점임을 인정함). 또한, 이 기술이 의료 도구나 진단 장치라고 주장하지 않으며, 순수하게 디지털 엔터테인먼트 아바타를 만들기 위한 것입니다.

요약하자면, FiCA는 단 한 장의 셀카를 고품질의 애니메이션 3D 캐릭터로 바꾸어 주는 빠르고 클릭 한 번이면 되는 공장입니다. 이를 통해 보통 요구되는 길고, 비싸고, 복잡한 단계들을 건너뜁니다.

기술 요약: FiCA - 피드포워드 인스턴트 가우시안 코덱 아바타 (Feed-forward Instant Gaussian Codec Avatars)

문제 정의

단일 인물 초상화 이미지로부터 사진처럼 사실적이고 조종 가능한(drivable) 3D 휴먼 아바타를 생성하는 것은 3D 기하학 및 외형을 추론하는 데 필요한 시각적 정보의 부족으로 인해 매우 난해한(ill-posed) 문제입니다. 기존 솔루션들은 데이터의 풍부함과 계산 부하 사이에서 트레이드오프를 겪고 있습니다:

고충실도(High-fidelity) 방식: 밀집된 다중 뷰 캡처 시스템과 오프라인 최적화에 의존하며, 이는 시간과 자원이 많이 소모됩니다.
최근의 단일 이미지 방식: 범용적인 사전 지식(prior)을 특정 정체성(identity)에 맞추기 위해 번거로운 테스트 타임 최적화(예: GAN 인버전 또는 미세 조정)가 필요한 경우가 많아 접근성과 속도를 제한합니다.
현재의 피드포워드 방식: 시각적 아티팩트가 발생하거나, 정체성 보존 능력이 부족하거나, 아바타 애니메이션 시 표현력이 제한되는 경우가 많습니다.

본 연구의 목표는 별도의 개인별 테스트 타임 최-적화 없이, 단 하나의 캐주얼한 인물 초상화 이미지로부터 몇 초 만에 실제와 같은 실시간 조종 가능 아바타를 생성하는 시스템을 개발하는 것입니다.

방법론: FiCA 파이프라인

FiCA(Feed-forward Instant Gaussian Codec Avatar)는 단일 인물 초상화 이미지를 실시간 애니메이션이 가능한 일련의 3D 가우시안(3D Gaussians)으로 변환하는 모듈형 피드포워드 파이프라인입니다. 이 과정은 세 가지 주요 단계로 구성됩니다.

1. 비전 파운데이션 모델을 통한 컨디셔닝 (Conditioning via Vision Foundation Models)

단일 이미지의 정보 부족 문제를 해결하기 위해, 본 시스템은 풍부한 특징을 추출하는 인간 중심의 비전 파운데이션 모델을 활용합니다.

CLIP 임베딩: 입력 이미지로부터 고수준의 시각적 시맨틱 정보( $f_{CLIP}$ )를 추출합니다.
Sapiens 모델: 미세 조정된 Sapiens 모델은 픽셀당 UV 좌표, 메쉬 정점 좌표, 표면 법선(surface normals)을 예측합니다.
부분 관측 (Partial Observation): 이러한 예측값들은 네 가지 부분 UV 맵(RGB 텍스처, 가시성 마스크, 노멀 맵, 정점 좌표 $UV_{partial}$ )으로 펼쳐집니다. 이는 생성 모델의 컨디셔닝 신호 역할을 합니다.

2. 확산 기반 텍스처 및 기하학 생성 (Diffusion-Based Texture and Geometry Generation)

잠재 확산 모델(DiT 아키텍처 기반)이 부분 관측값으로부터 완전한 UV 텍스처와 기하학 맵을 생성합니다.

입력: 모델은 CLIP 임베딩, 부분 UV 맵, 도메인 스위처(텍스처와 기하학 작업을 구분하기 위함), 확산 타임스텝(diffusion timesteps), 그리고 무작위 노이즈를 입력으로 받습니다.
학습 목표: 모델은 조건부 플로우 매칭(conditional flow matching) 목적 함수를 사용하여 학습되며, 불완전한 부분 관측값으로부터 완전하고 실제적인 3D 메쉬 표현으로의 생성적 매핑을 학습합니다. 인페인팅(inpainting) 모델과 달리, 이 확산 모델은 정체성을 유지하면서도 입 내부와 같이 스스로 가려진 영역(self-occluded regions)을 포함한 완전한 기하학 및 텍스처를 "상상"하도록 학습되었습니다.
출력: 완전한 정규 텍스처 메쉬( $\tilde{T}, \tilde{G}$ )를 출력합니다.

3. 피드포워드 메쉬 정교화 (Feed-forward Mesh Refinement)

테스트 타임 최적화 없이 충실도와 정체성 보존을 높이기 위해 학습된 피드포워드 정교화 네트워크( $R_\phi$ )가 도입됩니다.

메커니즘: 네트워크는 초기 확산 생성 텍스처 및 기하학 정보와 함께, 원본 입력 이미지 및 렌더링된 확산 메쉬(Sapiens ViT를 통해 추출됨)로부터 추출된 조밀한 시각적 특징을 입력으로 받습니다.
아키텍처: 크로스 어텐션(cross-attention) 레이어를 갖춘 U-Net 구조를 통해 네트워크가 이미지 특징을 참조하여 UV 맵을 정교화할 수 있도록 합니다.
손실 함수: 정교화된 메쉬가 입력 이미지와 일치하도록 하면서 가시적인 부분에 대한 과적합을 방지하기 위해 광도 손실(photometric loss), 2D 키포인트 손실, 마스크 손실 및 정규화 항의 가중치 합을 사용하여 학습합니다.
결결과: 피부 톤과 기하학적 디테일이 교정된 정교한 정규 메쉬( $T, G$ )를 생성합니다.

4. 유니버설 프라이어 모델(UPM)을 통한 3D 가우시안 디코딩

마지막 단계는 정교화된 정규 메쉬를 유니버설 프라이어 모델을 통해 실시간 조종 가능한 아바타로 변환합니다.

정체성 인코더 ( $E_{\psi}^{id}$ ): CNN 기반의 하이퍼네트워크가 정교화된 UV 텍스처와 기하학을 정체성 특유의 바이어스 맵( $\Psi_{id}$ )으로 인코딩합니다.
3D 가우시안 디코더 ( $D_{\psi}^{dec}$ ): 이 디코더는 바이어스 맵과 구동 신호(표정 코드, 시점 벡터, 시선 벡터)를 받아 3D 가우시안 세트를 생성합니다.
출력: 임의의 표정으로 실시간 애니메이션이 가능한 3D 가우시안 형태의 "코덱 아바타(Codec Avatar)"를 출력합니다.

핵심 기여 (Key Contributions)

FiCA 시스템: 단일 캐주얼 인물 초상화 이미지로부터 실제와 같은 조종 가능한 가우시안 코덱 아바타를 약 5초 만에 생성하는 완전한 피드포워드 파이프라인을 구축하였으며, 이를 통해 개인별 테스트 타임 최적화의 필요성을 제거했습니다.
아바타 생성을 위한 확산 모델: 부분적인 시각적 관측값(파운데이션 모델로부터 유도됨)으로부터 완전한 3D 메쉬 텍스처 및 기하학을 생성하는 매핑을 학습하여, 스스로 가려진 영역을 효과적으로 처리하는 새로운 확산 모델을 제안했습니다.
피드포워드 정교화 네트워크: 이미지 특징과의 크로스 어텐션을 통해 피부 톤이나 의상 등의 미세한 디테일을 교정함으로써, 반복적인 최적화 비용 없이 아바타의 충실도와 정체성 보존 능력을 향상시키는 학습된 모듈을 도입했습니다.

실험 결과

저자들은 다양한 속성(인종, 성별, 연령, 헤어스타일)을 가진 미학습 정체성에 대해 FiCA를 평가하였으며, 새로운 표정에 대해서도 테스트했습니다.

질적 성능: FiCA는 높은 시각적 충실도를 생성하며, 입력 디테일(예: 문신, 액세서리)을 보존하고 타당한 미관측 영역(예: 입 내부)을 생성합니다. 또한 PanoHead와 비교했을 때 시점 일관성 및 아티팩트 감소(예: 측면 뷰에서의 "유령 얼굴" 현상 없음) 측면에서 우수한 성능을 보였습니다.
양적 성능: 최근의 경쟁 방법들(GPAvatar, VOODOO 3D, Portrait4D, GAGAvatar)과 비교했을 때, FiCA는 우수한 광도 품질(높은 PSNR 및 SSIM)과 현저히 나은 정체성 보존 능력(높은 ID-CSIM 점수)을 달덱했습니다.
- PSNR: FiCA (Mesh)는 24.281을 기록하여 차순위인 GAGAvatar(22.157)를 앞질렀습니다.
- ID-CSIM: FiCA는 0.5867를 기록하여 차순위인 0.4339보다 높은 수치를 보였습니다.
효율성: 파이프라인은 텍스처 메쉬를 약 5초 만에 생성하며, 이는 PanoHead가 대상별 GAN 인버전을 수행하는 데 걸리는 약 80초와 비교됩니다.

의의 및 주장

본 논문은 FiCA가 고충실도 아바타 생성의 대중화를 향한 중요한 진전임을 주장합니다. 인간 중심의 파운데이션 모델과 생성적 확산 및 피드포워드 정교화 전략을 결합함으로써, 본 시스템은 단일 이미지의 제한된 정보와 완전하고 애니메이션 가능한 3D 기하학 사이의 간극을 메웁니다.

저자들은 다음과 같은 점을 강조합니다:

복잡한 캡처 설정과 수 시간의 최적화 프로세스라는 장벽을 제거했습니다.
정적인 재구성 방식과 달리, 임의의 표정에 대해 실시간 애니메이션을 가능하게 합니다.
확산을 통해 적절히 컨디셔닝된 유니버셜 프라이어(universal prior)가 어떻게 사용자별 미세 조정 없이도 다양한 정체성에 일반화될 수 있는지를 입증했습니다.

또한, 본 논문은 입력 이미지의 극단적인 조명이나 모션 블러에 취로할 수 있다는 한계를 언급하며, 조명 정규화, 블러 교정, 안경과 같은 액세서리의 공동 생성에 대한 향후 연구 방향을 제시합니다.