CogPortrait: Fine-Grained Eye-Region Control in Portrait Animation via Hierarchical Agent Planning

Resumo Técnico: CogPortrait

Declaração do Problema
Os métodos existentes de animação de retratos enfrentam um compromisso significativo entre granularidade de entrada e precisão de movimento, particularmente no que diz respeito à manipulação de alta precisão da região ocular. As abordagens atuais geralmente se enquadram em duas categorias:

1. Métodos orientados a rótulos de alto nível: Estes aceitam entradas simples como rótulos de emoção ou prompts de texto grosseiros. Embora amigáveis ao usuário, operam em um nível semântico macro (por exemplo, "raiva") e falham em capturar dinâmicas oculares sutis e irregulares, como piscadas assimétricas, desvio do olhar ou estados cognitivos como sonolência e pensamento.
2. Métodos orientados a movimento: Estes utilizam sinais precisos como pontos-chave faciais, Unidades de Ação (AUs) ou vídeos de condução. Embora ofereçam maior fidelidade, impõem uma pesada carga de entrada aos usuários, exigindo a construção manual de sinais de movimento. Além disso, frequentemente lutam com padrões irregulares (por exemplo, movimentos de cabeça em grandes ângulos) devido à escassez de dados e sub-representação nos conjuntos de treinamento.

O desafio central abordado por este trabalho é alcançar controle direto e de alta precisão sobre as dinâmicas da região ocular (olhar, pálpebras, piscadas, sobrancelhas) e a pose da cabeça a partir de rótulos semânticos de alto nível, sem exigir entradas de movimento em nível manual.

Metodologia
Os autores propõem o CogPortrait, um framework de duas etapas projetado para compilar rótulos de alto nível em pontos-chave faciais executáveis e, subsequentemente, gerar animações de retratos de alta qualidade.

• Etapa 1: Planejamento Hierárquico de Agentes (Rótulo para Pontos-Chave)
  Em vez de regressar diretamente sinais de movimento a partir de texto (o que frequentemente resulta em trajetórias excessivamente suavizadas), os autores empregam um sistema estruturado de agentes de Modelo de Linguagem Multimodal (MLLM) com cadeia de pensamento (CoT) para decompor rótulos de alto nível em eventos temporais e recuperar protótipos comportamentais.

  • Agente de Planejamento: Decompõe o rótulo-alvo (por exemplo, "esforço cognitivo") e instruções de alta precisão opcionais em uma sequência de eventos estruturados temporalmente, especificando carimbos de tempo, intervalos de quadros e restrições locais.
  • Agente de Composição: Recupera e monta protótipos comportamentais de uma Biblioteca de Protótipos curada. Esta biblioteca contém dados de comportamento facial do mundo real (intensidades de AU, olhar, pose da cabeça) para garantir dinâmicas temporais genuínas. O agente corresponde aos eventos escalonados a esses protótipos, aparando e reescalando-os para caber na duração-alvo.
  • Agente Crítico: Impõe consistência semântica e plausibilidade fisiológica. Valida a sequência contra regras relativas à duração da piscada, intervalos entre piscadas, co-ativação de AUs e coordenação olhar-cabeça. Pode enviar sinais de revisão de volta aos agentes de composição ou planejamento para corrigir inconsistências.
  • Camada de Mapeamento: Projeta as sequências de controle refinadas (AU, olhar, pose da cabeça) em 62 pontos-chave faciais específicos (pálpebras, sobrancelhas, pupilas, íris) usando deformação de malha FLAME e rotação rígida.

• Etapa 2: Geração de Vídeo Baseada em DiT
  Um backbone de transformador de difusão (DiT), baseado no Wan2.2, sintetiza o vídeo final condicionado ao retrato de referência, áudio de condução, prompts de texto e os pontos-chave faciais gerados.

  • Guia Livre de Classificador Dinâmico (CFG): Para abordar deslocamentos de cor globais (comuns com fundos uniformes) e movimentos oculares de alta frequência fracos, os autores introduzem uma estratégia de CFG dinâmica. Isso envolve reponderação temporal (guia mais forte no início da remoção de ruído para corrigir a aparência global, mais fraca depois) e reponderação espacial (um mapa gaussiano que concentra o guia na região ocular enquanto mantém o guia base para o fundo).
  • Refinamento Baseado em KTO: Para lidar com "casos limite" (por exemplo, controle assimétrico de sobrancelhas, degradação de identidade durante giros de cabeça em grandes ângulos) que são sub-representados nos dados de treinamento, o modelo é refinado usando Otimização Kahneman-Tversky (KTO). Isso utiliza amostras desejáveis curadas (reais) e indesejáveis (falhas geradas pelo modelo) para alinhar o modelo com preferências humanas de precisão de controle e consistência de identidade sem exigir dados de preferência emparelhados.

Principais Contribuições

1. Framework CogPortrait: Um pipeline inovador de duas etapas que traduz rótulos semânticos de alto nível em pontos-chave faciais de alta precisão na região ocular por meio de planejamento hierárquico de agentes, recuperação de protótipos e imposição de restrições.
2. Estratégias de Geração Aprimoradas: A introdução de um CFG dinâmico com reponderação consciente da região ocular para equilibrar controlabilidade local e qualidade visual global, e refinamento baseado em KTO para melhorar o desempenho em padrões de movimento de cauda longa e irregulares.
3. Benchmark EMH: Um novo benchmark de avaliação cobrindo seis emoções centrais e seis estados "além da emoção" (por exemplo, esforço cognitivo, sonolência, engajamento social). Introduz duas métricas em nível de AU: AU-F1 (correção de ativação) e AU-Temp (fidelidade da trajetória temporal) para avaliar especificamente o controle de alta precisão da região ocular e do movimento da cabeça.

Resultados
Experimentos extensivos foram conduzidos no conjunto de dados HDTF e no novo benchmark EMH:

• Desempenho no HDTF: O CogPortrait alcançou desempenho state-of-the-art em qualidade visual (FID: 16,68, FVD: 32,90), consistência de identidade (ID-Sim: 0,9214) e sincronização labial. Notavelmente, alcançou o menor Eye-LMD (0,0107), representando uma melhoria relativa de 38% sobre o segundo melhor método, confirmando controle superior da região ocular.
• Desempenho no Benchmark EMH: No benchmark EMH, o pipeline completo (Ours Full) alcançou um AU-F1 de 0,9017 e AU-Temp de 0,7397. Isso superou significativamente as linhas de base orientadas a áudio e a rótulos (por exemplo, Sonic, FLOAT, EDTalk) e foi competitivo com métodos orientados a movimento (HunyuanPortrait), apesar de não usar entradas de movimento verdadeiras.
• Estudos de Ablação:
  • Remover o planejamento baseado em agentes e confiar no mapeamento direto de rótulo para ponto-chave resultou em dinâmicas temporais pobres (AU-Temp caiu para 0,5676).
  • Remover o CFG dinâmico levou a deslocamentos de cor globais e redução na consistência de identidade.
  • Remover o refinamento KTO resultou em taxas de erro mais altas (Eye-LMD 0,0377 vs. 0,0311) e menor consistência de identidade (ID-Sim 0,9089 vs. 0,9394) em casos limite como movimentos assimétricos de sobrancelhas e giros de cabeça em grandes ângulos.

Significado
O artigo afirma que o CogPortrait conecta com sucesso a lacuna entre a intenção semântica de alto nível e a execução de movimento de baixo nível na animação de retratos. Ao alavancar o planejamento hierárquico de agentes e uma biblioteca de protótipos, permite a geração de estados complexos além da emoção (como pensamento e sonolência) que anteriormente eram difíceis de controlar sem sinais de condução manuais. O trabalho demonstra que o controle de alta precisão da região ocular pode ser alcançado diretamente a partir de rótulos de alto nível, mantendo qualidade visual superior e consistência de identidade, expandindo o alcance expressivo da animação de retratos para aplicações em realidade virtual, interação humano-computador e produção cinematográfica.