Resumo Técnico: Loki – Representação sobre Arquitetura para Animação de Retratos Baseada em Difusão

Declaração do Problema

A animação de retratos visa transferir as expressões faciais e a pose da cabeça de um clipe de vídeo de um ator para uma única imagem de referência, preservando a identidade da referência. O desafio prático reside na reencenação entre identidades, onde o ator e a referência são indivíduos diferentes.

Os sistemas atuais baseados em difusão de última geração abordam isso empilhando módulos separados e treinados para identidade, expressão e pose. Esses sistemas normalmente condicionam-se a sinais RGB (ou áudio). O artigo argumenta que o RGB fundamentalmente entrelaça identidade, pose e expressão em cada pixel. Consequentemente, a separação realizada por esses módulos empilhados é estatística e não estrutural, levando a problemas como o vazamento da identidade do ator para a saída e a atenuação de detalhes de expressão de alta granularidade em direção a um prior genérico. Além disso, essas arquiteturas complexas exigem conjuntos de dados de treinamento massivos e contagens significativas de parâmetros.

Metodologia: Loki

Loki propõe uma mudança de paradigma da complexidade arquitetural para a escolha representacional. Em vez de aprender a separar características do RGB, Loki condiciona a espinha dorsal de difusão a um modelo facial paramétrico (FLAME), cujos eixos para identidade, expressão e pose são independentes por construção.

1. O Caminho do Ator (Expressão e Pose)

Loki rasteriza os parâmetros FLAME em um mapa de ator espacial que serve como sinal de condicionamento para expressão e pose da cabeça. Este mapa consiste em dois grupos distintos de canais:

• Codificação Posicional (42 canais): Codifica as coordenadas canônicas do espaço de template dos vértices da malha FLAME usando codificação posicional senoidal. Isso identifica qual ponto do rosto é visível em cada pixel. Crucialmente, como esses valores são derivados do espaço de template, eles são invariantes à identidade; o mesmo ponto anatômico (por exemplo, a ponta do nariz) sempre produz a mesma codificação, independentemente da identidade da pessoa.
• Deformação de Expressão (3 canais): Codifica os vetores de deslocamento 3D ($\Delta x, \Delta y, \Delta z$) dos vértices da malha em relação a uma expressão neutra. Isso captura como o rosto se moveu (por exemplo, cantos da boca esticando, mandíbula caindo). Como a base de expressão do FLAME é ortogonal à sua base de identidade, essas deformações dependem exclusivamente dos coeficientes de expressão, não da identidade ou da pose.

Este mapa de ator é subamostrado por um codificador leve e injetado no UNet de geração. Como o mapa não contém informações de identidade por construção, o modelo não precisa aprender a separar identidade da expressão.

2. O Caminho da Identidade

A identidade é roteada separadamente através das próprias características pré-treinadas da espinha dorsal de difusão. Uma cópia congelada do UNet do Stable Diffusion 2.1 processa a imagem de referência, e suas características de auto-atenção são injetadas no UNet de geração via injeção de chave-valor. Isso aproveita o prior generativo existente da espinha dorsal para manter a identidade sem exigir um adaptador de identidade dedicado e treinado ou uma função de perda específica.

3. Inferência entre Identidades via Substituição Paramétrica

O mecanismo central que permite a reencenação entre identidades sem dados de treinamento específicos é a substituição paramétrica. Durante a inferência, o sistema constrói um mapa de ator usando:

• A forma de identidade ($\vec{\beta}_{ref}$) e a câmera da referência.
• A expressão ($\vec{\psi}_{drv}$) e a pose ($\vec{\theta}_{drv}$) do ator.

Como os canais de codificação posicional são invariantes à identidade e os canais de deformação dependem apenas da expressão, o mapa de ator resultante é estruturalmente idêntico ao que o modelo viu durante o treinamento com a mesma identidade, apenas disposto sobre uma geometria facial diferente. O UNet de geração realiza a mesma passagem direta em que foi treinado, transferindo efetivamente o movimento do ator para a forma da referência.

Contribuições Principais

1. Condicionamento Paramétrico Desentrelaçado: Um framework que elimina a necessidade de módulos treinados separados para expressão, pose e identidade. Ao usar uma representação rasterizada FLAME, a expressão e a pose são entregues via um único sinal espacial, enquanto a identidade é tratada pelo prior da espinha dorsal. Isso reduz os parâmetros de inferência em ~43% em comparação com as principais bases de difusão.
2. Eficiência de Treinamento: O modelo é treinado com 1.496× menos dados de vídeo (aproximadamente 1,7 horas versus milhares de horas para as bases) e alcança capacidades entre identidades puramente através da substituição paramétrica, não exigindo pares de treinamento entre identidades.
3. Novas Métricas de Avaliação: O artigo introduz duas métricas fundamentadas no modelo facial paramétrico para medir diretamente a fidelidade ao ator, abordando a lacuna nas métricas existentes que falham em medir o rastreamento de movimento:
   • Acompanhamento de Pose da Cabeça (HPF): Mede a distância angular geodésica entre as trajetórias de rotação da cabeça do ator e da gerada.
   • Acompanhamento de Expressão (HEF): Mede a diferença pixel a pixel nos mapas de deformação de expressão quando a expressão do ator é substituída na pose e forma do alvo.

Resultados

Avaliado no conjunto de dados HDTF para reencenação entre identidades:

• Fidelidade de Movimento: Loki lidera ou co-lidera nas métricas propostas HPF e HEF. Alcança um HEF de 0,0828 (quanto menor, melhor), superando bases orientadas visualmente como HunyuanPortrait (0,0850) e superando significativamente métodos orientados por áudio (0,11–0,12).
• Desempenho Qualitativo: Loki reproduz grandes rotações de cabeça, aberturas amplas da boca e expressões assimétricas com maior fidelidade do que as bases, que tendem a sub-rotacionar cabeças ou atenuar a amplitude da expressão em direção a um prior moderado.
• Eficiência de Recursos: Loki treina em 10.649 clipes (aproximadamente 1,7 horas) com 1,77B de parâmetros, enquanto as principais bases treinam em mais de 166.000 clipes (até 2.543 horas) com 2,18B–3,11B de parâmetros.
• Estudos de Ablação: Remover a rasterização (usando vetores brutos) ou os canais de codificação posicional degrada significativamente o desempenho entre identidades, confirmando que o viés indutivo espacial e o sistema de coordenadas invariante à identidade são críticos.

Significado e Limitações

O artigo afirma que a complexidade arquitetural dos recentes sistemas de animação de retratos pode ser substituída por uma escolha representacional: condicionar-se a um modelo paramétrico com eixos independentes. Essa abordagem permite que a reencenação entre identidades surja naturalmente como uma substituição de coeficientes, e não como uma capacidade aprendida.

No entanto, os autores são modestos quanto aos limites do sistema:

• Dependência do FLAME: O condicionamento é limitado pela fidelidade dos ajustes FLAME subjacentes. Expressões fora da base do modelo, rostos ocluídos ou falhas de ajuste propagam-se diretamente para o mapa de ator.
• Métricas de Pixel: O sistema classifica-se mais baixo em métricas tradicionais alinhadas a pixels (PSNR, SSIM, LPIPS) em comparação com bases condicionadas a RGB. Os autores atribuem isso ao fato de que as métricas de pixel recompensam sistemas que preservam o enquadramento da verdade fundamental, enquanto o acompanhamento fiel do ator pelo Loki introduz variações de pose e expressão que as métricas de pixel penalizam.
• Trabalho Futuro: Abridir a lacuna nas métricas de pixel sem reintroduzir o entrelaçamento de identidade é identificado como uma direção para pesquisas futuras.