기술 요약: THEval – 대화형 헤드 비디오 생성 평가 프레임워크

1. 문제 제기

생성 모델이 고해상도이고 사실적인 대화형 헤드 (TH) 비디오를 생성하는 데 있어 놀라운 진전을 이루었음에도 불구하고, 적절한 평가 지표의 개발은 뒤처져 있습니다. 현재 평가 방법은 제한된 범위의 일반 비디오 품질 지표 (예: FID, FVD, PSNR) 와 립 싱크 점수 (예: SyncNet 의 LSE-C 및 LSE-D) 에 크게 의존합니다. 본 논문은 기존 지표들이 다음과 같은 중대한 한계를 겪고 있다고 주장합니다:

• 인간 지각과의 낮은 상관관계: FID 와 FVD 와 같은 지표는 종종 운동의 질과 시간적 일관성을 포착하지 못하며, SyncNet 기반 지표 (LSE-C/D) 는 인간의 선호도와 상관관계가 낮고, 입 모핑, 조명, 오디오 인코딩과 같은 요인에 대해 불안정한 것으로 나타났습니다.
• 과도한 단순화: 기존 접근 방식은 종종 TH 생성이라는 복잡한 작업을 단일 매개변수로 축소하여 표현력 부족, 얼굴 세부 사항의 아티팩트, 또는 비자연스러운 헤드 동역학과 같은 특정 실패 모드를 구분하지 못합니다.
• 정답 (Ground Truth) 비교의 편향: 생성된 비디오를 정답과 직접 비교하는 지표 (예: LMD-F) 는 오디오 입력에 의해 엄격히 규정되지 않는 헤드 운동과 표정의 자연스러운 변형을 처벌하여 오해의 소지가 있는 평가를 초래합니다.

2. 방법론

이러한 격차를 해결하기 위해 저자들은 인간의 선호도와 밀접하게 일치하도록 설계된 포괄적인 평가 프레임워크인 THEval을 제안합니다. 방법론은 세 가지 핵심 구성 요소로 이루어져 있습니다:

A. THEval 데이터셋

보이지 않는 데이터에 대한 모델의 일반화를 테스트하기 위해 새로운 까다로운 벤치마크 데이터셋이 구축되었습니다.

• 규모: 5,000 개 이상의 비디오 클립 (17 개 모델로 처리 시 85,000 개의 생성된 비디오로 이어짐).
• 다양성: 6 개 언어 (영어, 프랑스어, 중국어, 스페인어, 일본어, 이탈리아어) 에 걸쳐 있는 31 개 공개 YouTube 채널에서 발췌.
• 특징: 고품질 1080p 해상도, 단일 화자, 정면 시점, 평균 13 초 지속 시간. 이 데이터셋은 평가된 모델의 학습 데이터와 명시적으로 중복되지 않도록 구성되었습니다.

B. 8 가지 지표 프레임워크

THEval 은 품질, 자연스러움, 동기화의 세 가지 차원으로 분류된 8 가지 세밀한 지표를 도입합니다.

1. 품질 (지각적 매력)

• 전체 미학: 전체 프레임의 구성, 조명, 색상 조화를 평가하기 위해 TOPIQ 이미지 미학 평가 (IAA) 구성 요소를 사용합니다.
• 얼굴 품질: 전체 얼굴 영역에 TOPIQ 를 통한 이미지 품질 평가 (IQA) 를 적용합니다.
• 입 품질: 사실적인 입 운동 합성의 어려움을 정량화하기 위해 입 영역에 특화하여 MUSIQ 를 통한 IQA 를 적용합니다.

2. 자연스러움 (행동의 사실성)

• 입 운동 동역학: 프레임 간 40 개 입 랜드마크 사이의 쌍별 유클리드 거리의 표준 편차를 계산하여 입 움직임의 변이를 정량화합니다.
• 헤드 운동 동역학: 시간이 지남에 따른 헤드 자세 (피치, 요, 롤) 와 이동의 분산을 측정하여 헤드 움직임이 너무 미미하거나 과장되었는지 평가합니다.
• 눈썹 운동 동역학: 눈썹과 눈 사이의 정규화된 수직 거리의 표준 편차를 계산하여 눈썹 움직임의 변이를 포착합니다.

3. 동기화 (오디오 - 비디오 정렬)

• 무음 입 안정성: 음성 활동 감지 (VAD) 를 사용하여 무음 구간을 식별하고, 말이 없는 동안 입이 안정적으로 유지되도록 입 열림의 중앙 절대 편차 (MAD) 를 측정합니다.
• 립 싱크: 입 열림과 오디오 볼륨 강도 간의 정렬을 평가합니다. 말하기 구간 동안 입 열림과 RMS(평균 제곱근) 오디오 에너지를 정규화한 후, 이러한 신호 간의 평균 절대 차이를 계산합니다.

C. 최종 점수 계산

8 가지 지표는 공식 $s = 1 - \frac{|ModelScore - GTScore|}{GTScore}$를 사용하여 정답 (GT) 참조 점수에 대해 정규화됩니다. 최종 점수는 이러한 정규화된 지표의 가중치 없는 평균으로 계산됩니다. 이 접근 방식은 특정 인간 평가 샘플에 과적합되는 것보다 투명성과 견고성을 우선시합니다.

3. 주요 기여

1. THEval 프레임워크: 3 가지 차원에 걸쳐 8 가지 지표를 포함하는 새로운 평가 프레임워크로, 인간 평가와 $\rho = 0.870$의 스피어만 상관 계수를 달성하여 기존 지표를 크게 능가합니다.
2. 새로운 벤치마크 데이터셋: 진정으로 보이지 않는 데이터에 대한 일반화를 테스트하도록 설계된 5,000 개 이상의 비디오로 구성된 다국어 데이터셋을 공개합니다.
3. 포괄적인 벤치마킹: 17 개의 최첨단 (SOTA) 오디오 기반 및 비디오 기반 모델에 대한 광범위한 평가를 통해 각각의 강점과 약점에 대한 상세한 분석을 제공합니다.
4. 한계 검증: 현재 표준 지표 (FID, FVD, LSE-C, LSE-D) 가 인간 선호도와 약하거나 음의 상관관계를 보임을 보여주는 사용자 연구를 통해, THEval 이 비용이 많이 드는 사용자 연구를 위한 신뢰할 수 있는 대안임을 입증합니다.

4. 실험 결과

저자들은 THEval 데이터셋에서 17 개 모델 (오디오 기반 9 개, 비디오 기반 8 개) 을 평가했습니다.

• 인간과의 상관관계: THEval 최종 점수는 인간 선호도와 강한 상관관계 ($\rho = 0.870$) 를 보였습니다. 반면, 기존 지표는 약하거나 음의 상관관계를 보였습니다 (예: LSE-C: -0.164, LSE-D: -0.269, FVD: 0.289).
• 모델 성능 프로파일:
  • 비디오 기반 모델: 일반적으로 강한 표현력과 동기화를 갖춘 더 균형 잡히고 고품질의 결과를 달성했습니다 (예: Liveportrait, X-Portrait). 그러나 일부 모델은 큰 헤드 운동에서 아티팩트를 보였습니다.
  • 오디오 기반 모델: 더 큰 변이를 보였습니다. 새로운 모델들 (예: Hallo2, EchoMimic) 은 동기화와 품질이 개선되었지만, 많은 모델들이 자연스러운 헤드 운동과 표현력에서 어려움을 겪었습니다. 일부 모델 (예: OmniAvatar) 은 시간적 드리프트와 과장된 입 움직임을 보여 자연스러움 및 안정성 지표에서 낮은 점수를 받았습니다.
• 구체적 발견:
  • 오디오 기반 방법은 종종 자연스러운 헤드 운동이 부족하고 과장된 표정을 생성할 수 있습니다.
  • 비디오 기반 방법은 일반적으로 더 나은 표현력을 제공하지만 복잡한 운동 중 아티팩트 없는 렌더링에 어려움을 겪습니다.
  • 이 프레임워크는 많은 알고리즘이 립 싱크 (높은 LSE-C/D) 에 뛰어남에도 불구하고 표현력과 아티팩트 없는 세부 사항 생성에는 종종 실패한다는 것을 성공적으로 식별했습니다.

5. 중요성 및 주장

본 논문은 대화형 헤드 비디오를 평가하는 기존 지표가 매우 제한적이며 종종 인간 지각과 불일치한다고 주장합니다. THEval 의 중요성은 다음과 같은 능력에 있습니다:

• 신뢰할 수 있는 대안 제공: 지루하고 비용이 많이 드는 사용자 연구를 대체할 수 있는 높은 상관관계 대안을 제공합니다.
• 세밀한 진단 가능: 성능을 품질, 자연스러움, 동기화로 분해함으로써 THEval 은 연구자들이 단일 집계 점수에 의존하는 대신 특정 실패 모드 (예: 나쁜 눈썹 동역학 대 나쁜 립 싱크) 를 식별할 수 있게 합니다.
• 진보 촉진: 사실적이고 표현력이 풍부하며 아티팩트가 없는 대화형 헤드 생성에 남아 있는 과제를 특히 강조함으로써 미래 생성 방법의 개발을 안내하는 필수 벤치마크 역할을 합니다.

저자들은 최첨단 모델이 진전을 이루었지만, 동기화, 표현력, 시각적 충실도 사이의 균형을 맞추는 데 여전히 중요한 과제가 남아 있으며, THEval 이 이러한 영역의 개선을 측정하고 추진하는 데 필요한 도구를 제공한다고 결론지었습니다.