기술 요약: FaithfulFaces

문제 정의

신원 유지 텍스트-비디오 (IPT2V) 생성은 참조 얼굴 이미지와 텍스트 프롬프트를 기반으로 다양한 비디오를 생성하면서도 프레임 간 일관된 인간 얼굴 신원을 유지하는 것을 목표로 합니다. 최근 대규모 비디오 기초 모델 (예: HunyuanVideo, CogVideoX, Wan) 의 발전에도 불구하고, 기존 방법들은 복잡한 동적 장면에서 어려움을 겪습니다. 구체적으로, 피사체가 큰 얼굴 자세 변화 (예: 정면에서 측면으로 회전) 를 겪거나 얼굴이 가려지는 경우, 현재 접근 방식들은 심각한 신원 왜곡, 구조적 붕괴, 또는 얼굴 세부 정보 손실을 자주 발생시킵니다. 확인된 핵심 한계는 기존 인코더들이 입력 참조 이미지에서 단일 뷰 자세만 포착하여, 동적 조건 하에서의 견고한 생성에 필요한 전역 얼굴 자세 정보를 표현하지 못한다는 점입니다.

방법론

저자들은 이러한 한계를 해결하기 위해 설계된 자세-충실한 얼굴 신원 유지 학습 프레임워크인 FaithfulFaces를 제안합니다. 이 방법론은 세 가지 주요 구성 요소로 이루어집니다:

1. 자세 공유 신원 정렬기 (Pose-Shared Identity Aligner)

핵심 혁신은 단일 뷰 입력 이미지에서 전역 얼굴 자세 표현을 추출하도록 설계된 특수 인코더 $\phi_{gfp}$입니다.

• 아키텍처: 정렬기는 입력 얼굴 이미지를 시퀀스 임베딩으로 토큰화합니다. 명시적인 자세 단서를 제공하기 위해, 사전 훈련된 자세 추정기 (6DRepNet) 에 의해 회귀된 오일러 각 임베딩 (피치, 요, 롤) 을 얼굴 임베딩에 직접 통합합니다.
• 자세 공유 사전 (Pose-Shared Dictionary): 시스템은 학습 가능한 자세 공유 사전 행렬 $D$를 사용합니다. 결합된 임베딩은 상관관계 계산과 최대 풀링을 통해 이 사전 공간으로 투영되어 사전 가중치를 생성합니다. 이러한 가중치는 정제된 전역 얼굴 자세 표현 ($S_{p1}, S_{p2}$) 을 재구성하는 데 사용됩니다.
• 훈련 목적: 정렬기는 자세 변화 - 신원 불변성 제약을 사용하여 훈련됩니다. 이는 동일한 신원이지만 다른 자세를 가진 얼굴 이미지를 양의 쌍으로, 다른 신원들을 음의 쌍으로 취급하는 대비 학습 패러다임 (InfoNCE 손실) 을 활용합니다. 이는 모델이 다양한 자세를 통일된 신원 공간에 정렬하도록 강제하면서도 자세 변화 전반에 걸쳐 공유된 신원 정보를 극대화합니다.

2. 데이터셋 구축 파이프라인

적합한 훈련 데이터의 부재를 인식하여, 저자들은 상당한 얼굴 자세 다양성을 특징으로 하는 고품질 비디오 데이터셋을 선별하기 위한 특수 파이프라인을 개발했습니다:

• 필터링: 단일 피사체 존재를 보장하고 얼굴이 없는 비디오를 제외하도록 비디오를 필터링합니다.
• 자세 선택: 자세 추정 단계는 비디오 전반에 걸친 오일러 각의 변화를 계산합니다. 총 자세 변화 ($Var$) 가 임계값 120 을 초과하는 비디오 (정면에서 측면과 같은 중요한 전환을 나타냄) 만 유지됩니다.
• 프롬프트 생성: 멀티모달 대형 언어 모델 (MLLM) 을 사용하여 텍스트 프롬프트를 생성하고, 외모, 동작, 배경을 설명하도록 수동으로 정제합니다.
• 결과: 비디오, 텍스트 프롬프트, 잘라낸 얼굴, 오일러 각을 포함하는 51,624 개의 샘플로 구성된 데이터셋.

3. 생성 모델과의 통합

이 프레임워크는 기초 텍스트-비디오 모델 (실험에서는 구체적으로 VACE-14B) 에서 작동합니다. 정제된 전역 얼굴 자세 표현은 텍스트 프롬프트와 원래 참조 이미지와 함께 노이즈가 있는 비디오 생성 과정에 주입됩니다. 시스템은 LoRA(저랭크 적응) 를 사용하여 기초 모델을 미세 조정함으로써, 핵심 사전 훈련된 지식을 변경하지 않고도 새로운 자세-충실한 사전 지식을 활용할 수 있게 합니다.

주요 기여

1. 자세-충실한 학습 패러다임: 이 논문은 전역 얼굴 자세를 명시적으로 모델링함으로써 복잡한 얼굴 역학을 처리하는 기존 IPT2V 방법의 한계를 체계적으로 해결하는 프레임워크인 FaithfulFaces 를 소개합니다.
2. 자세 공유 신원 정렬기: 자세 공유 사전과 자세 변화 - 신원 불변성 제약을 사용하여 단일 뷰 이미지에서 전역 얼굴 자세 표현을 인코딩하고, 명시적인 오일러 각 임베딩으로 강화된 새로운 모듈입니다.
3. 전문 데이터셋 파이프라인: 상당한 얼굴 자세 다양성을 가진 작업 중심 비디오 데이터셋을 구축하여 견고한 모델 훈련을 보장하는 엄격한 데이터 수집 및 처리 파이프라인의 개발입니다.

실험 결과

저자들은 ConsisID, VACE, Kling, Vidu, HunyuanCustom 을 포함한 최첨단 오픈소스 및 상용 방법들에 대해 광범위한 정량적 및 정성적 평가를 수행했습니다.

• 정량적 성능: FaithfulFaces 는 네 가지 지표에서 최첨단 성능을 달성했습니다:
  • 신원 유지: FaceSim-Cur(차기 최상위 모델 대비 0.568 대 0.484) 및 FaceSim-Arc(0.542 대 0.456) 에서 베이스라인을 크게 능가했습니다.
  • 화질: 실제 얼굴 분포에 대한 더 높은 충실도를 나타내는 가장 낮은 FID 점수 (164.24) 를 달성했습니다.
  • 텍스트 정렬: 가장 높은 CLIPScore(33.93) 를 달성했습니다.
• 정성적 성능: 시각적 비교는 FaithfulFaces 가 격렬한 움직임 (예: 복싱 루틴) 과 가림 상황에서도 명확한 얼굴 구조와 일관된 신원 세부 정보를 유지하는 반면, 베이스라인 방법들은 심각한 왜곡이나 신원 붕괴를 보임을 보여주었습니다.
• 절대 실험 (Ablation Studies): 실험은 신원 정렬기와 오일러 각 임베딩 모두 결정적임을 확인했습니다. 정렬기를 제거하면 신원 붕괴가 발생했고, 오일러 임베딩을 제거하면 판별력이 감소했습니다. 연구는 또한 비정면 입력 뷰와 작은 오일러 각 교란에 대한 방법의 견고성도 보여주었습니다.

중요성과 주장

이 논문은 FaithfulFaces 가 큰 자세 변화 하에서의 신원 왜곡이라는 특정 문제를 해결함으로써 IPT2V 에서 중요한 진전을 이루었다고 주장합니다. 단일 뷰 신원 인코딩에서 전역 자세 사전 지식을 활용하는 자세-충실한 접근법으로 전환함으로써, 이 방법은 기초 생성 모델이 우수한 신원 일관성과 구조적 명확성을 가진 비디오를 생성할 수 있게 합니다. 저자들은 그들의 접근 방식이 자세 전반에 걸쳐 신원 정보를 보존하고 이전 작업에서 관찰된 '붕괴'를 방지하는 학습된 전역 표현에 대한 이론적 보장 (상호 정보 한계를 통해) 을 제공한다고 강조합니다. 이 작업은 영화, 광고, 개인화 아바타 응용 분야에서 사실적이고 역동적인 인간 비디오 생성의 중요한 병목 현상을 해결하는 방안으로 제시되며, 딥페이크와 허위 정보에 관한 윤리적 함의도 인정합니다.