Resumo Técnico: THEval – Framework de Avaliação para Geração de Vídeo de Cabeça Falante

1. Declaração do Problema

Embora os modelos generativos tenham alcançado progresso notável na produção de vídeos de cabeça falante (TH) de alta resolução e realistas, o desenvolvimento de métricas de avaliação adequadas ficou para trás. Os métodos de avaliação atuais dependem fortemente de um conjunto limitado de métricas gerais de qualidade de vídeo (por exemplo, FID, FVD, PSNR) e pontuações de sincronização labial (por exemplo, LSE-C e LSE-D do SyncNet). O artigo argumenta que essas métricas existentes sofrem de limitações significativas:

• Baixa Correlação com a Percepção Humana: Métricas como FID e FVD frequentemente falham em capturar a qualidade do movimento e a coerência temporal, enquanto métricas baseadas no SyncNet (LSE-C/D) demonstraram correlacionar-se mal com preferências humanas e são instáveis em relação a fatores como recorte da boca, iluminação e codificação de áudio.
• Simplificação Excessiva: Abordagens existentes frequentemente reduzem a tarefa complexa da geração de TH a parâmetros únicos, falhando em distinguir entre modos de falha específicos, como falta de expressividade, artefatos em detalhes faciais ou dinâmicas de cabeça não naturais.
• Viés na Comparação com Verdade Terrena: Métricas que comparam diretamente vídeos gerados com a verdade terrena (por exemplo, LMD-F) penalizam variações naturais no movimento e na expressão da cabeça que não são estritamente ditadas pela entrada de áudio, levando a avaliações enganosas.

2. Metodologia

Para abordar essas lacunas, os autores propõem o THEval, um framework de avaliação abrangente projetado para alinhar-se estreitamente com preferências humanas. A metodologia consiste em três componentes principais:

A. O Conjunto de Dados THEval

Um novo conjunto de dados de referência desafiador foi curado para testar a generalização do modelo em dados não vistos.

• Escala: Mais de 5.000 clipes de vídeo (resultando em 85.000 vídeos gerados quando processados por 17 modelos).
• Diversidade: Proveniente de 31 canais públicos do YouTube em seis idiomas (inglês, francês, chinês, espanhol, japonês, italiano).
• Características: Resolução de alta fidelidade 1080p, único falante, visão frontal, com duração média de 13 segundos. O conjunto de dados evita explicitamente sobreposição com dados de treinamento dos modelos avaliados.

B. O Framework de 8 Métricas

O THEval introduz oito métricas de granularidade fina categorizadas em três dimensões: Qualidade, Naturalidade e Sincronização.

1. Qualidade (Apego Perceptivo)

• Estética Global: Utiliza o componente de Avaliação Estética de Imagem (IAA) do TOPIQ para avaliar composição, iluminação e harmonia de cores em todo o quadro.
• Qualidade Facial: Aplica Avaliação de Qualidade de Imagem (IQA) via TOPIQ a toda a região do rosto.
• Qualidade da Boca: Aplica IQA via MUSIQ especificamente à região da boca para quantificar a dificuldade de sintetizar movimento labial realista.

2. Naturalidade (Realismo do Comportamento)

• Dinâmica Labial: Quantifica a variabilidade dos movimentos labiais calculando o desvio padrão das distâncias euclidianas pareadas entre 40 pontos de referência labiais ao longo dos quadros.
• Dinâmica do Movimento da Cabeça: Mede a variância na pose da cabeça (pitch, yaw, roll) e na translação ao longo do tempo para avaliar se os movimentos da cabeça são muito sutis ou exagerados.
• Dinâmica das Sobrancelhas: Captura a variabilidade dos movimentos das sobrancelhas calculando o desvio padrão da distância vertical normalizada entre sobrancelhas e olhos.

3. Sincronização (Alinhamento Áudio-Visual)

• Estabilidade Labial Silenciosa: Usa Detecção de Atividade de Voz (VAD) para identificar segmentos silenciosos e mede o Desvio Absoluto Mediano (MAD) da abertura da boca para garantir que os lábios permaneçam estáveis quando não há fala presente.
• Sincronização Labial: Avalia o alinhamento entre a abertura da boca e a intensidade do volume de áudio. Normaliza a abertura da boca e a energia de áudio de Raiz-Média-Quadrática (RMS), e então calcula a diferença absoluta média entre esses sinais durante segmentos de fala.

C. Cálculo da Pontuação Final

As oito métricas são normalizadas em relação a uma pontuação de referência de Verdade Terrena (GT) usando a fórmula $s = 1 - \frac{|PontuaçãoModelo - PontuaçãoGT|}{PontuaçãoGT}$. A Pontuação Final é computada como a média não ponderada dessas métricas normalizadas. Essa abordagem prioriza transparência e robustez em detrimento de overfitting a uma amostra específica de avaliação humana.

3. Contribuições Principais

1. Framework THEval: Um novo framework de avaliação compreendendo 8 métricas em três dimensões que alcança um coeficiente de correlação de Spearman de $\rho = 0,870$ com classificações humanas, superando significativamente as métricas existentes.
2. Novo Conjunto de Dados de Referência: O lançamento de um conjunto de dados diversificado e multilíngue de mais de 5.000 vídeos projetado para testar a generalização em dados verdadeiramente não vistos.
3. Benchmarking Abrangente: Uma avaliação extensa de 17 modelos de última geração (SOTA) acionados por áudio e por vídeo, fornecendo uma análise detalhada de suas respectivas forças e fraquezas.
4. Validação de Limitações: Um estudo com usuários demonstrando que as métricas padrão atuais (FID, FVD, LSE-C, LSE-D) mostram correlação pobre ou negativa com preferências humanas, enquanto o THEval serve como um proxy confiável para estudos com usuários custosos.

4. Resultados Experimentais

Os autores avaliaram 17 modelos (9 acionados por áudio, 8 acionados por vídeo) no conjunto de dados THEval.

• Correlação com Humanos: A Pontuação Final do THEval mostrou uma forte correlação ($\rho = 0,870$) com a preferência humana. Em contraste, as métricas existentes mostraram correlações fracas ou negativas (por exemplo, LSE-C: -0,164, LSE-D: -0,269, FVD: 0,289).
• Perfis de Desempenho do Modelo:
  • Modelos Acionados por Vídeo: Geralmente alcançaram resultados mais equilibrados e de alta qualidade com forte expressividade e sincronização (por exemplo, Liveportrait, X-Portrait). No entanto, alguns exibiram artefatos em grandes movimentos da cabeça.
  • Modelos Acionados por Áudio: Mostraram maior variância. Embora modelos mais recentes (por exemplo, Hallo2, EchoMimic) tenham melhorado em sincronização e qualidade, muitos lutaram com movimento natural da cabeça e expressividade. Alguns modelos (por exemplo, OmniAvatar) exibiram deriva temporal e movimentos exagerados da boca, levando a pontuações mais baixas nas métricas de Naturalidade e Estabilidade.
• Descobertas Específicas:
  • Métodos acionados por áudio frequentemente carecem de movimento natural da cabeça e podem produzir expressões exageradas.
  • Métodos acionados por vídeo geralmente oferecem melhor expressividade, mas enfrentam desafios com renderização sem artefatos durante movimentos complexos.
  • O framework identificou com sucesso que, embora muitos algoritmos se destaquem na sincronização labial (alto LSE-C/D), eles frequentemente falham em gerar expressividade e detalhes livres de artefatos.

5. Significado e Alegações

O artigo postula que as métricas existentes para avaliar vídeos de cabeça falante são altamente limitadas e frequentemente desalinhadas com a percepção humana. O significado do THEval reside em sua capacidade de:

• Fornecer um Proxy Confiável: Oferecer uma alternativa de alta correlação a estudos com usuários tediosos e caros.
• Permitir Diagnósticos Granulares: Ao decompor o desempenho em qualidade, naturalidade e sincronização, o THEval permite que pesquisadores identifiquem modos de falha específicos (por exemplo, dinâmica pobre de sobrancelhas versus sincronização labial pobre) em vez de depender de uma única pontuação agregada.
• Fomentar Progresso: Servir como um benchmark necessário para orientar o desenvolvimento de futuros métodos generativos, destacando especificamente os desafios remanescentes na produção de cabeças falantes realistas, expressivas e livres de artefatos.

Os autores concluem que, embora os modelos SOTA tenham dado passos adiante, desafios significativos permanecem no equilíbrio entre sincronização, expressividade e fidelidade visual, e o THEval fornece as ferramentas necessárias para medir e impulsionar melhorias nessas áreas.