기술 요약: STARCaster

문제 정의

본 논문은 단일 이미지와 구동 오디오 신호를 사용하여 고충실도, 정체성 일관성 및 시점 제어가 가능한 토킹 포트레이트(talking portraits)를 생성하는 데 따르는 과제를 다룹니다. 기존 방식들은 다음과 같은 중대한 한계점을 가집니다:

• 2D 확산 모델(2D Diffusion Models): 높은 충실도를 제공하지만, 엄격한 참조 조건부(reference conditioning)에 크게 의존하여 움직임의 다양성이 제한되고, 피사체가 초기 포즈에서 거의 벗어나지 못하는 "복사-붙여넣기(copy-paste)" 효과가 나타납니다.
• 3D 인식 방식(3D-Aware Methods): 명시적인 3D 표현(예: NeRF, Gaussian Splatting, tri-planes)을 사용하는 접근 방식은 일반적으로 다중 뷰 데이터나 피사체별 최적화(테스트 타임 인버전)를 필요로 합니다. 이는 불완전한 재구성, 정체성 드리프트(identity drift), 그리고 광범 l한 튜닝 없이는 미학습된 피사체에 대한 일반화 능력 부족으로 이어집니다.
• 데이터 부족: 다양한 관점을 가진 대규모 4D(시공간) 오디오-비주얼 데이터셋이 부족하여, 음성 기반 애니메이션과 새로운 시점 합성을 동시에 처리할 수 있는 모델을 학습시키는 데 어려움이 있습니다.

저자들은 현재의 솔루션들이 2D 입력을 3D 공간으로 매핑하기 위해 명시적인 3D 사전 지식(prior)에 의존하기 때문에, 비디오 도메인 내에서 직접 시공간적 일관성을 학습하기보다는 2D 입력을 3D 공간으로 매핑하는 데 어려움을 겪고 있으며, 이로 인해 현실적이고 회전 가능한 원샷 토킹 포트레이트를 제작하는 것이 여전히 도전적인 과제라고 주장합니다.

방법론

STARCaster는 명시적인 3D 모델링 없이 음성 기반 포트레이트 애니메이션과 연속적인 시점 합성을 통합하는 **시공간 자기회귀 비디오 확산 모델(Spatio-Temporal AutoRegressive Video Diffusion Model)**입니다. 이 모델은 사전 학습된 정체성 인식 이미지 확산 백본(Arc2Face)을 기반으로 구축되었으며, 몇 가지 핵심적인 구조적 및 학습 혁신을 통해 확장되었습니다.

1. 모델 아키텍처

• 기본 백본: 모델은 정체성 일관성이 있는 얼굴 합성에 특화된 파운데이션 확산 모델인 Arc2Face를 활용합니다. ArcFace 임베딩을 위한 얼굴 인코더 역할을 하도록 CLIP 텍집 인코더를 재목적화하여 강력한 정체성 보존을 보장합니다.
• 시공간 확장: 2D UNet을 $f \times h \times w \times c$ 형태의 4D 잠재 텐서를 처리할 수 있도록 팽창(inflate)시켰습니다. 공간적 어텐션 레이어 뒤에 **시공간 트랜스포머 블록(Temporal Transformer blocks)**을 삽격하여, 공간적 처리는 국소적으로 유지하면서 시간 축을 따라 전역적인 정보 교환이 가능하도록 했습니다.
• 분리된 다중 소스 교차 어텐션(Decoupled Multi-Source Cross-Attention): 여러 조건부 신호 간의 간섭 없이 이를 처리하기 위해 저자들은 병렬 어텐션 스트림을 도입했습니다:
  • 정체성 ($c_{id}$): 전역 정체성 임베딩.
  • 오디오 ($c_a$): wav2vec2를 통해 추출된 프레임별 오디오 임베딩.
  • 카메라 ($c_c$): 벡터로 평탄화된 뷰포인트 파라미터(내부/외부 파라미터).
    이 스트림들은 동일한 쿼리(query)를 공유하지만, 학습 가능한 모달리티별 키(key) 및 값(value) 프로젝션을 사용합니다.
• 참조 네트워크(Reference Network): 동결된 복사본 UNet이 참조 이미지를 인코딩합니다. 특징들은 상호 셀프 어텐션(mutual self-attention)을 통해 디노이징 UNet에 주입되며, 전체 백본을 재학습하지 않고도 참조 특징을 적응시키기 위해 경량 LoRA 모듈에 의해 보강됩니다.

2. 학습 전략

모델은 데이터 부족과 움직임의 다양성을 해결하기 위해 세 단계의 점진적 학습 과정을 거칩니다:

1. 오디오 기반 움직임 학습: 모델은 "in-the-wild" 비디오 데이터셋(VFHQ, CelebV-HQ, HDTF)을 사용하여 오디오를 얼굴 역학(dynamics)으로 매핑하는 법을 배웁니다. 이때 정체성 및 오디오 어텐션 스트림만 활성화됩니다.
2. 자기회귀적 셀프 포싱(Autoregressive Self-Forcing): 모델이 자신의 노이즈 섞인 예측값에 조건화될 때 발생하는 노출 편향(exposure bias)을 극복하기 위해, 저자들은 셀프 포싱(Self-Forcing) 기법을 채택했습니다. 학습 중에 모델은 그라운드 트루스 프레임 대신 이전에 생성된 프레임을 다음 세그먼트의 컨텍스트로 재귀적으로 사용하여, 스스로의 아티팩트를 수정하는 법을 배우고 시간적 일관성을 향상시킵니다.
3. 시간적-공간적 적응(Temporal-to-Spatial Adaptation): 오디오 스트림을 비활성화하고 카메라 브랜치를 활성화합니다. 모델은 3D 생성 모델로부터 렌더링된 합성 다중 뷰 시퀀스를 통해 미세 조정(fine-tuning)됩니다. 이를 통해 모델은 새로운 뷰포인트에 대해 공간적 일관성을 유지하는 법을 배우며, 시점 제어를 비디오 생성 작업으로 효과적으로 재구성합니다.

3. 감독 및 손실 함수

• 립 리딩(Lip-Reading) 감독: 사전 학습된 립 리딩 네트워크를 사용하는 지각 손실(perceptual loss)이 도입되었습니다. 모델의 디노이징 출력은 픽셀 공간으로 디코딩되고, 입 영역이 크롭되어 특징이 추출되며, 드라이빙 오디오와의 정렬을 강제합니다. 이는 "디노이징에 의한 감독(supervision-by-denosing)" 공식을 통해 통합됩니다.
• 확산 손실(Diffusion Loss): 표준 노이즈 예측 손실이 립 리딩 손실과 함께 사용됩니다.

주요 기여

1. 통합 프레임워크: 명시적인 3D 모델링 없이 정체성 임베딩을 활용하여 다양한 애니메이션을 생성할 수 있는, 단일 시공간 자기회귀 확산 모델로서 원샷 오디오 기반 애니메이션과 시점 합성을 모두 처리합니다.
2. 암묵적 3D 인식(Implicit 3D Awareness): 대규모 비디오 기반 공간 사전 지식과 제한된 합성 다중 뷰 데이터를 결합함으로써, 명시적인 3D 재구성과 관련된 피팅 오류 및 아티팩트를 피하면서 우수한 교차 뷰 일관성을 달성할 수 있음을 입증했습니다.
3. 셀프 포싱 학습: 표준 자기회귀 방식의 "복사-붙여기" 효과를 완화하여 더 높은 움직임 다양성과 자연스러운 역동성을 결과로 가져오는 재귀적 학습 체계를 도입했습니다.
4. 립 리딩 통합: 확산 프레임워크에 립 리딩 손실을 성공적으로 통합하여 오디오-비주얼 동기화 정확도를 크게 향상시켰습니다.

결과

논문은 두 가지 주요 작업에 대해 STARCaster를 평가합니다:

오디오 기반 포트레이트 애니메이션

TH-1KH 및 Hallo3 데이터셋을 사용하여 최신 기술(예: AniTalker, EchoMimic, Hallo3, AniPortrait)과 비교 평가했습니다.

• 품질: STARCaster는 가장 낮은 FID(24.89) 및 FVD(185.24) 점수를 기록하며, 50억 개의 파라미터를 가진 DiT 기반의 Hallo3 모델조차 능가했습니다.
• 동기화: 베이스라인 모델들과 비교하여 우수한 립 싱크 성능(LSE-C 및 LSE-D)과 더 큰 머리 움직임 다양성(Pose Std)을 보여줍니다.
• 효율성: 대규모 DiT 모델(5초 클립에 21.4분 소요되는 Hallo3)에 비해 추론 속도가 현저히 빠릅니다(2.2분).
• 정체성 기반 생성: 참조 이미지 없이 정체성 임베딩만을 사용하여 토킹 비디오를 생성할 수 있으며, 경쟁력 있는 움직임 다양성과 립 싱크를 달성합니다.

3D 인식 토킹 포트레이트 생성

NeRSemble 데이터셋(16개의 보정된 뷰포인트)을 통해 평가되었습니다.

• 시점 일관성: STARCaster는 이미지 품질(FID), 시간적 일관성(FVD), 시점 정확도(PSNR, SSIM, LPIPS) 측면에서 3D 인식 베이스라인(GOHA, Portrait4D-v2, Real3DPortrait)을 능가합니다.
• 오디오-비주얼 정렬: 드라이빙 비디오가 아닌 오디오에 조건화되었음에도 불구하고 높은 립 싱크 정확도를 유지합니다.

절제 연구(Ablation Studies)

실험 결과, 립 리딩 손실, 셀프 포싱 전략 또는 점진적 학습 단계를 제거하면 FVD, 립 싱크 지표 및 움직임 다양성에서 측정 가능한 저하가 발생함을 확인했습니다.

의의 및 주장

본 논문은 시점 합성이 불완전한 3D 인버전을 피하면서 효과적으로 조건부 비디오 생성 작업으로 재구성될 수 있음을 보여줌으로써 STARCaster가 얼굴 비디오 생성 분야를 진전시켰다고 주장합니다.

• 일반화: 모델은 작업과 정체성 전반에 걸쳐 효과적으로 일반화되며, 입력 이미지의 제약을 넘어 재맥락화(recontextualization)를 허용하는 정체성 일관적이며 참조가 필요 없는 토킹 포트레이트를 지원합니다.
• 효율성: LoRA와 동결된 백본을 사용하는 경량 UNet 기반 아키텍처를 활용함으로써, 최근의 대규모 DiT 모델보다 훨씬 낮은 계산 오버헤드로 최첨단 성능을 달성합니다.
• 한계에 대한 겸허한 인정: 저자들은 추론 속도가 여전히 실시간 GAN 기반 대안보다는 느리다는 점을 인정합니다. 또한, 이 방법이 포트레이트 수준의 애니메이션에 국한되어 있으며(배경 역학은 모델링되지 않음), 가용한 학습 데이터 분포로 인해 360도 커버리지는 지원되지 않고 정면 및 근접 프로필 뷰만 지원한다는 점을 명시했습니다. 공간 학습을 위한 합성 데이터의 사용은 피부 질감에 약간의 부드러운 효과(smoothing effect)를 유발하며, 이는 아키텍처 자체의 문제가 아닌 도메인 차이에서 기인한 한계라고 언급했습니다.

궁극적으로 STARCaster는 2D 애니메이션과 3D 인식 합성 사이의 간극을 메우는 통합된 정체성 인식 접근 방식을 제시하며, 토킹 포트레이트 생성을 위한 명시적 3D 모델링의 실질적인 대안을 제공합니다.