1. 문제 정의 (Problem)

기존의 얼굴 재연성 (Facial Reenactment) 기술은 **표현력 (Expressiveness)**과 세밀한 제어 가능성 (Fine-grained Controllability) 사이의 트레이드오프에 직면해 있습니다.

• 전체적 (Holistic) 모델: 단일의 결합된 (entangled) 모션 표현을 학습하여 매우 생생하고 표현력 있는 결과를 생성하지만, 구강, 눈, 머리 자세 등 개별 요소를 독립적으로 제어하는 데 한계가 있습니다.
• 제어 중심 모델: 명시적인 기하학적 프록시 (3DMM 등) 나 잠재 공간 분리를 시도하여 제어를 강화하지만, 충실도 (Fidelity) 가 떨어지거나 감정과 물리적 움직임이 완전히 분리되지 않아 (disentanglement) 제어력이 약화되는 문제가 있습니다.
• 핵심 과제: 기존 방법들은 얼굴 움직임을 단일 신호로 취급하여, 소스 이미지의 감정이나 크기가 결과물에 과도하게 영향을 미치거나 (Bias), 개별 부위의 움직임을 정밀하게 조작하기 어렵습니다.

2. 방법론 (Methodology)

저자들은 얼굴 움직임을 단일 신호가 아닌 **계층적 구성 (Hierarchical Composition)**의 관점에서 접근하여 PortraitDirector 프레임워크를 제안했습니다. 이 프레임워크는 크게 계층적 모션 분해 및 구성 (Hierarchical Motion Disentanglement and Composition) 전략과 실시간 스트리밍 최적화로 구성됩니다.

가. 계층적 모션 분해 및 구성 (Hierarchical Motion Disentanglement and Composition)

얼굴 움직임을 **공간 계층 (Spatial Layer)**과 **의미 계층 (Semantic Layer)**으로 분해한 후, 다시 **구성 계층 (Composite Layer)**에서 재결합합니다.

1. 공간 계층 (Spatial Layer): 물리적 움직임을 분리합니다.

   • 전체 머리 자세 (Global Head Pose): 얼굴 표현과 완전히 독립적인 전용 잠재 공간 (Pose Latent) 과 주입 경로 (PoseAdapter) 를 사용하여 분리합니다. MediaPipe 와 HoPoNet 을 활용하여 위치, 크기, 회전 각도를 추출합니다.
   • 국소 얼굴 표정 (Local Expressions): 눈과 입 등 관심 영역 (ROI) 을 미리 잘라내어 (Cropping) 별도의 MotionEncoder 로 인코딩합니다. 이를 통해 움직임의 누출 (Leakage) 을 방지하고 개별 부위의 움직임을 독립적으로 추출합니다.

2. 의미 계층 (Semantic Layer): 전역 감정 (Global Emotion) 을 추출합니다.

   • 비디오 윈도우 내의 모션 잠재 변수에 대해 **시간적 풀링 (Temporal Pooling)**을 적용하여, 고주파수인 국소 움직임은 억제하고 저주파수인 지속적 감정 상태를 추출합니다.

3. 감정 필터링 모듈 (Emotion-Filtering Module, EFM):

   • 문제: 잘라낸 국소 영역 (입, 눈) 에서도 원본 동영상의 감정이 잔류하여 전역 감정 제어력을 약화시킵니다.
   • 해결: 정보 병목 (Information Bottleneck) 원리를 기반으로 한 오토인코더 구조를 도입합니다.
     • 분석 (Analysis): 국소 모션 잠재 변수를 저용량 채널을 통과시켜 감정 정보를 제거하고 '감정 중립 (Emotion-agnostic)'인 기본 움직임만 남깁니다.
     • 합성 (Synthesis): 제거된 기본 움직임에 전역 감정 잠재 변수를 크로스 어텐션 (Cross-Attention) 을 통해 다시 주입하여 최종 표현력을 복원합니다.

4. 구성 계층 (Composite Layer):

   • 감정 중립인 기본 움직임 (눈, 입) 과 전역 감정을 결합합니다.
   • 크로스 어텐션과 셀프 어텐션을 순차적으로 적용하여 감정과 움직임의 상호작용을 모델링하고, 최종적으로 통합된 모션 잠재 변수를 생성합니다.

나. 실시간 스트리밍 생성 (Real-time Streaming Generation)

단일 NVIDIA 5090 GPU 에서 20 FPS, 800ms 지연 시간으로 구동하기 위한 최적화 기법을 적용했습니다.

• 확산 모델 증류 (Diffusion Distillation): Distribution Matching Distillation (DMD) 을 사용하여 샘플링 단계를 20 에서 4 로 줄였습니다.
• ** causal Attention:** 스트리밍 처리를 위해 양방향 어텐션을 단방향 (Causal) 으로 변경하고 슬라이딩 윈도우 마스크를 적용했습니다.
• VAE 가속화: 인퍼런스 지연의 주요 병목인 VAE 디코더를 경량화 (레이어 폭을 1/4 로 축소) 하여 재학습함으로써 4 배의 속도 향상을 달성했습니다.

3. 주요 기여 (Key Contributions)

1. 계층적 분해 및 구성 프레임워크: 자세 (Pose) 와 표현 (Expression), 그리고 국소 움직임과 전역 감정을 구조적으로 분리하고 재결합하는 새로운 아키텍처를 제안하여 고충실도이면서 정밀한 제어가 가능한 재연성을 구현했습니다.
2. 감정 필터링 모듈 (EFM): 정보 병목 원리를 활용하여 얼굴 움직임에서 감정 정보를 효과적으로 분리해냄으로써, 소스 이미지의 감정이 결과물에 미치는 편향 (Bias) 을 해결했습니다.
3. 실시간 성능 달성: 512x512 해상도에서 단일 GPU 기반 20 FPS 스트리밍 및 800ms 지연 시간을 달성하여, 실시간 애플리케이션 (가상 아바타, 인터랙티브 엔터테인먼트 등) 에의 실용성을 입증했습니다.

4. 실험 결과 (Results)

• 정성적 평가 (Qualitative): EDTalk, PDFGC, AniPortrait 등 기존 SOTA 모델들과 비교하여, 개별 얼굴 구성 요소 (입, 눈, 자세, 감정) 에 대한 정밀한 제어력이 뛰어나고, 스케일 변화에 강건하며, 아티팩트가 적음을 보였습니다.
• 정량적 평가 (Quantitative):
  • 재연성 (Reenactment): VFHQ 데이터셋에서 MSE, SSIM, LPIPS, ID-SIM 등 모든 지표에서 경쟁 모델들을 상회하거나 경쟁력 있는 성능을 보였습니다.
  • 제어 정확도: MEAD 데이터셋을 이용한 개별 부위 제어 실험에서, 눈과 입의 움직임 제어 정확도가 기존 방법들보다 월등히 높았습니다.
  • 스케일 강건성: 기존 모델들이 참조 이미지의 스케일에 종속되는 반면, PortraitDirector 는 명시적 자세 분해로 인해 스케일 변화에 강건하게 동작했습니다.

5. 의의 (Significance)

이 논문은 얼굴 재연성 분야에서 단일 결합 신호 모델링의 한계를 넘어, 계층적 구성 (Composition) 패러다임을 제시했다는 점에서 의미가 큽니다.

• 정밀한 제어: 영화 제작, 가상 아바타, 인터랙티브 엔터테인먼트 등에서 사용자가 특정 표정이나 시선, 머리 자세를 독립적으로 조작할 수 있는 가능성을 열었습니다.
• 실시간성: 고해상도 (512x512) 고충실도 재연성을 실시간 (20 FPS) 으로 처리할 수 있게 함으로써, 생방송이나 실시간 통신 환경에서의 적용을 현실화했습니다.
• 감정 분리 기술: 얼굴 움직임과 감정을 분리하는 기술적 돌파구를 마련하여, 더 자연스럽고 의도대로 제어 가능한 애니메이션 생성을 가능하게 했습니다.

요약하자면, PortraitDirector는 복잡한 얼굴 움직임을 구조적으로 분해하고 재결합하는 새로운 접근법을 통해, 기존 기술이 가지지 못했던 고충실도, 정밀 제어, 실시간 성능을 동시에 달성한 획기적인 프레임워크입니다.