ProgressiveAvatars: Progressive Animatable 3D Gaussian Avatars
이 논문은 XR 및 텔레프레즌스 환경에서 변동하는 네트워크 및 컴퓨팅 자원에 대응하기 위해, 템플릿 메시의 적응적 서브디비전을 기반으로 계층적 3D 가우시안을 점진적으로 확장하여 다양한 대역폭과 리소스 조건에서도 원활한 품질 향상을 가능하게 하는 'ProgressiveAvatars'를 제안합니다.
이 논문은 **'ProgressiveAvatars(프로그레시브 아바타)'**라는 새로운 기술을 소개합니다. 쉽게 말해, **"인터넷이 느려도 바로 얼굴을 보여주고, 데이터가 더 쌓일수록 점점 더 선명해지는 3D 캐릭터"**를 만드는 방법입니다.
이 기술을 이해하기 위해 몇 가지 쉬운 비유를 들어보겠습니다.
1. 문제점: "완전한 그림을 다 받아야만 보일까요?"
기존의 3D 캐릭터 기술은 마치 거대한 고해상도 사진 파일을 보내는 것과 비슷합니다.
상황: 친구에게 아주 정교한 3D 아바타를 보내려는데 파일 크기가 50MB나 됩니다.
문제: 인터넷이 느리면 친구는 파일을 100% 다 받을 때까지 기다려야 합니다. 그전까지는 화면이 검거나, 아예 아무것도 보이지 않습니다. (이걸 '시작 지연'이라고 합니다.)
현실: VR 게임이나 화상 회의처럼 실시간으로 대화해야 할 때는 "기다려, 파일 다 받았어!"라고 말하며 멈추는 건 매우 불편합니다.
2. 해결책: "점진적인 아바타 (ProgressiveAvatars)"
이 논문은 **"먼저 대략적인 윤곽을 보여주고, 시간이 지나면 점점 디테일을 채워주는 방식"**을 제안합니다.
비유 1: 스케치북과 물감
기존 방식: 완성된 유화 한 점을 통째로 보내는 것입니다. 다 보내지기 전엔 아무것도 못 봅니다.
새로운 방식 (이 논문):
초기: 먼저 종이에 얼굴의 **대략적인 윤곽선 (스케치)**만 빠르게 보여줍니다. (데이터 5% 만으로도 바로 보임)
중간: 인터넷이 조금 더 나빠지면, 눈, 코, 입의 색칠을 채워줍니다.
나중: 데이터가 더 쌓이면, 눈썹의 털, 피부의 주름, 옷의 주름 같은 미세한 디테일까지 하나씩 추가됩니다.
핵심: 처음에 본 스케치가 사라지는 게 아니라, 그 위에 계속 새로운 정보가 덧입혀져서 더 선명해지는 것입니다.
비유 2: 지형도 (지도)
기존 방식: 처음부터 1:1000 비율의 아주 상세한 지도를 줍니다. 용량이 커서 다운로드가 느립니다.
새로운 방식:
먼저 전체적인 대륙과 나라의 위치가 적힌 간단한 지도를 줍니다. (어디에 얼굴이 있는지 알 수 있음)
그다음 도시와 주요 도로가 추가됩니다.
마지막으로 작은 골목길과 건물 이름까지 세세하게 채워집니다.
사용자는 처음부터 길을 찾을 수 있고, 데이터가 더 들어오면 지도가 더 정교해집니다.
3. 이 기술의 핵심 비밀: "지능적인 성장"
이 아바타는 무작위로 성장하지 않습니다. 중요한 곳에 집중합니다.
비유: 정원 가꾸기
기존 기술은 정원의 모든 흙을 똑같이 파고 씨를 뿌립니다 (균일한 분할). 하지만 꽃이 피지 않는 풀밭까지 세세하게 파는 건 낭비입니다.
이 기술은 "눈과 입 주변은 꽃이 피어야 하니까 더 자세히 파고, 이마나 목 부분은 그냥 둬도 되겠다"라고 판단합니다.
결과: 같은 양의 데이터로도 눈과 입이 훨씬 선명해지고, 불필요한 곳에 자원을 낭비하지 않습니다.
4. 왜 이것이 중요한가요?
빠른 시작: 인터넷이 느려도 1 초 안에 친구의 얼굴 (대략적인 모습) 을 볼 수 있습니다.
부드러운 발전: 화질이 갑자기 바뀌거나 끊기는 게 아니라, 데이터가 들어올수록 자연스럽게 선명해집니다.
실시간 소통: VR 회의나 게임에서 "기다려"라는 말 없이, 데이터가 도착하는 대로 바로 대화할 수 있습니다.
요약
이 논문은 **"3D 캐릭터를 통째로 보내는 구식 방식"**을 버리고, **"작은 조각부터 시작해 중요도에 따라 점점 더 정교하게 맞춰지는 살아있는 캐릭터"**를 만들었습니다. 마치 라디오 방송처럼, 처음엔 잡음 섞인 목소리로 시작해서 점점 선명한 고음질로 변해가는 것과 같습니다.
이 기술은 앞으로 메타버스, 원격 회의, 디지털 휴먼 등 인터넷 환경이 다양한 곳에서 3D 아바타를 더 자연스럽게 사용할 수 있게 해줄 것입니다.
1. 문제 정의 (Problem)
실시간 XR(확장현실) 및 텔레프레즌스 (Telepresence) 응용 분야에서는 네트워크 대역폭과 컴퓨팅 자원이 자주 변동합니다. 기존의 고정된 고화질 3D 아바타 자산은 전송 시작 시 긴 대기 시간 (Start-up latency) 과 급격한 대역폭 스파이크를 유발하여 몰입감을 해칩니다. 기존의 3D 가우스 스플래팅 (3D Gaussian Splatting, 3DGS) 기반 아바타 방법론들은 다음과 같은 한계가 있습니다:
점진적 전송 부재: 전체 자산이 다운로드되기 전까지는 렌더링이 불가능하거나, 품질이 급격히 떨어집니다.
불연속적인 LOD(상세도 수준): 기존 LOD 기법은 여러 개의 독립적인 자산 버전을 생성하여 저장 공간을 낭비하거나, 품질 전환 시 끊김 (Pop-in) 이 발생합니다.
비효율적인 리소스 할당: 균일한 세분화 (Uniform subdivision) 를 사용하면 중요한 영역 (얼굴 등) 에는 자원이 부족하고, 중요하지 않은 영역에는 자원이 과다하게 할당됩니다.
따라서, 대역폭 변동에 적응할 수 있으며, 최소한의 시작 지연으로 즉시 사용 가능한 아바타를 제공하고, 데이터가 도착함에 따라 품질이 매끄럽게 향상되는 점진적 3D 표현이 필요합니다.
2. 방법론 (Methodology)
저자들은 ProgressiveAvatars를 제안하며, 이는 메시 기반의 계층적 3D 가우스 구조를 통해 점진적인 렌더링과 전송을 가능하게 합니다.
2.1. 메시 기반 계층적 3D 가우스 (Mesh-Anchored Hierarchical 3D Gaussians)
기반 구조: FLAME 모델을 기반으로 한 템플릿 메시를 사용합니다.
암시적 세분화 (Implicit Subdivision): 메시의 각 삼각형 면 (Face) 에서 시작하여, 화면 공간 (Screen-space) 신호에 따라 재귀적으로 자식 노드를 생성하는 계층적 트리 (Forest) 를 구축합니다.
분할은 바리센트릭 좌표 (Barycentric coordinates) 를 사용하여 수행되며, 훈련 과정에서 부드럽게 최적화됩니다.
면 국소 좌표계 (Face-Local Coordinates): 각 3D 가우스는 해당 삼각형 면의 로컬 좌표계에 바인딩됩니다. 이는 표정 변화와 머리 움직임이 발생하더라도 가우스가 메시와 함께 변형되어 아바타가 애니메이션 가능 (Animatable) 하고, 여러 디테일 레벨 간에 일관된 외관을 유지하도록 보장합니다.
2.2. 적응형 성장 및 중요도 순위 (Adaptive Growing & Importance Ranking)
적응형 세분화: 균일한 분할 대신, 화면 공간의 그라디언트 (Gradient) 신호를 분석하여 디테일이 풍부한 영역 (예: 눈, 입, 머리카락) 에만 계층을 추가합니다. 이는 리소스 낭비를 방지하고 모델 정확도를 높입니다.
중요도 순위 (Importance Ranking): 훈련 후 각 면에 할당된 가우스들의 렌더링 기여도 (Opacity 및 Transmittance 기반) 를 계산하여 중요도 점수를 매깁니다.
점진적 전송: 가장 중요한 가우스 (높은 점수) 를 먼저 전송하고, 이후 세부적인 가우스를 순차적으로 추가합니다. 이는 대역폭이 제한된 상황에서도 초기에 사용 가능한 아바타를 제공하고, 추가 데이터가 도착할수록 품질을 매끄럽게 향상시킵니다.
2.3. 학습 및 렌더링 전략
다중 레벨 감독 (Multi-Level Supervision): 모든 레벨 (Coarse to Fine) 을 동시에 감독하여 레벨 간 일관성을 유지하고, 저대역폭 상황에서도 전체적인 머리 형태가 깨지지 않도록 합니다.
점진적 렌더링: 수신 측에서는 도착한 가우스 데이터를 기존 콘텐츠에 추가 (Additive refinement) 하며 렌더링합니다. 기존 콘텐츠를 삭제하거나 교체하지 않으므로 시간적 안정성 (Temporal stability) 이 보장됩니다.
3. 주요 기여 (Key Contributions)
새로운 점진적 아바타 표현 (ProgressiveAvatars): 이산적인 LOD 전환에서 벗어나, 단일 연속 스트리밍 자산으로 패러다임을 전환했습니다. 메시에 고정된 3D 가우스 계층을 통해 적응형 세분화를 구현했습니다.
증분 로딩 및 점진적 렌더링: 데이터가 도착할 때마다 새로운 가우스를 추가하여 coarse 한 아바타를 즉시 생성하고, 품질을 매끄럽게 개선합니다.
적응형 리소스 할당: 균일한 분할이 아닌, 화면 공간 신호 기반의 적응형 세분화를 통해 중요한 영역에 집중하여 효율성을 극대화했습니다.
성능 입증: 제한된 대역폭 (5%) 에서도 사용 가능한 아바타를 생성하며, 전체 데이터 (100%) 에서는 최신 방법론 (SOTA) 과 동등한 품질을 달성했습니다.
4. 실험 결과 (Results)
데이터셋: NeRSemble 데이터셋을 사용하여 다중 뷰 비디오 기반의 재구성 및 애니메이션을 평가했습니다.
정량적 평가:
5% 전송 예산: 약 2.6MB 의 데이터만 전송하여도 PSNR 27.89, SSIM 0.851 의 합리적인 품질을 달성했습니다.
100% 전송 예산: PSNR 31.47, SSIM 0.929 로 GaussianAvatars 와 같은 SOTA 방법론과 동급의 품질을 보여주었습니다.
프레임 속도: RTX 4090 에서 550x802 해상도 기준 260~290 FPS 를 유지하며, 데이터가 증가해도 프레임 속도가 급격히 떨어지지 않았습니다.
정성적 평가:
점진적 품질 향상: 데이터가 도착함에 따라 옷의 단추, 이, 머리카락 등의 미세한 디테일이 점진적으로 선명해졌습니다.
적응형 분할: 균일 분할에 비해 얼굴의 고주파 영역 (수염, 눈 등) 에는 더 많은 분할을, 매끄러운 영역에는 적은 분할을 적용하여 효율성을 입증했습니다.
비교: 기존 GA+LightGaussian(압축) 방식은 이산적인 품질 단계를 가지지만, ProgressiveAvatars 는 연속적인 품질 향상을 제공합니다.
5. 의의 및 결론 (Significance)
이 논문은 실시간 스트리밍 환경에 최적화된 3D 가우스 아바타를 위한 새로운 표준을 제시합니다.
네트워크 적응성: 변동하는 네트워크 환경과 컴퓨팅 제약 조건에서도 끊김 없는 사용자 경험을 제공합니다.
효율성: 불필요한 저장 공간 중복을 제거하고, 중요한 영역에 집중하여 대역폭 효율을 극대화합니다.
확장성: 제안된 메시 기반 계층적 3D 가우스 구조는 디지털 헤드 아바타뿐만 아니라 일반적인 3D 자산 스트리밍 및 4D 볼륨 비디오에도 적용 가능한 범용적인 기술입니다.
결론적으로, ProgressiveAvatars 는 3DGS 기반 디지털 휴먼이 다양한 네트워크 환경의 최종 사용자에게 도달하는 데 있어 필수적인 점진적 스트리밍 능력을 실현했습니다.