💻 computer science

EverAnimate: Minute-Scale Human Animation via Latent Flow Restoration

EverAnimate é um método eficiente de pós-treinamento que permite animação humana em escala de minutos, combinando propagação latente persistente e correspondência de fluxo restauradora para ancorar a geração em uma memória de contexto latente, eliminando assim o desvio visual e semântico acumulado, ao mesmo tempo que preserva a identidade do personagem e a qualidade do fundo.

Autores originais: Wuyang Li, Yang Gao, Mariam Hassan, Lan Feng, Wentao Pan, Po-Chien Luan, Alexandre Alahi

Publicado 2026-05-15

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Wuyang Li, Yang Gao, Mariam Hassan, Lan Feng, Wentao Pan, Po-Chien Luan, Alexandre Alahi

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando filmar um longa-metragem contínuo de um dançarino executando uma rotina complexa. Você tem uma foto do dançarino (a referência) e um roteiro de seus movimentos (as poses). Seu objetivo é gerar um vídeo que siga o roteiro perfeitamente, mantendo o dançarino com a aparência exata da pessoa na foto, mesmo após 90 segundos de dança.

O artigo EverAnimate aborda um problema específico: quando a IA tenta criar esses vídeos longos, eles tendem a "desviar", assim como uma cópia de uma cópia de uma cópia acaba ficando borrada e irreconhecível.

Veja como o artigo explica o problema e sua solução, usando analogias simples:

O Problema: O "Bug Copiar e Colar"

Os métodos atuais tentam criar vídeos longos costurando juntos clipes curtos (fatias). Imagine que você está copiando um parágrafo de texto, depois copiando essa cópia para fazer o próximo parágrafo, e assim por diante.

O Desvio do Fundo (Baixo Nível): O fundo (como uma parede ou uma árvore) deveria permanecer estático. Mas, como a IA continua re-copiando a imagem para iniciar o próximo clipe, a parede começa a parecer desfocada, as cores mudam e, eventualmente, ela parece uma fotocópia ruim.
O Desvio da Identidade (Alto Nível): O dançarino deveria manter a mesma aparência. Mas, conforme o vídeo fica mais longo, o rosto do dançarino pode mudar lentamente de forma, suas roupas podem mudar de cor ou seu cabelo pode parecer diferente. Eles perdem sua "identidade".

O artigo argumenta que os métodos existentes tentam corrigir isso mostrando à IA a foto original repetidamente (como um "sumidouro" ou âncora), mas isso não é suficiente. A IA ainda fica confusa com o processo de cópia repetida.

A Solução: EverAnimate

Os autores propõem uma nova maneira de gerar esses vídeos que ocorre inteiramente dentro do "cérebro" da IA (seu espaço latente), em vez de re-fotografar o vídeo. Eles usam dois truques principais:

1. A "Mochila Persistente" (Propagação Latente Persistente)

Em vez de pegar a saída do vídeo, transformá-la de volta em uma imagem e, em seguida, alimentar essa imagem de volta na IA para o próximo clipe (o que causa os erros de "copiar e colar"), o EverAnimate mantém uma mochila de memória dentro da IA.

Como funciona: Quando a IA termina uma fatia do vídeo, ela não olha para a imagem final. Em vez disso, ela passa uma "mochila" de dados brutos (códigos latentes) para a próxima fatia.
O que há na mochila?
- Memória de curto prazo: Os últimos segundos de movimento para manter a dança suave.
- Memória de longo prazo: Uma coleção de "cartões de identificação" (imagens multiview) do rosto e das roupas do dançarino para garantir que eles nunca mudem de aparência.
A Analogia: Imagine uma corrida de revezamento. Em vez de o corredor entregar a você uma foto borrada do corredor anterior para copiar, ele entrega a você um chip de dados direto e de alta qualidade que diz exatamente como continuar a corrida sem perder as características do corredor original.

2. A "Bússola de Autocorreção" (Correspondência de Fluxo Restauradora)

Mesmo com uma boa mochila, a IA pode ocasionalmente dar uma guinada errada durante a geração de um único clipe.

O Problema: Se a IA começar a desviar ligeiramente do curso (por exemplo, o braço do dançarino parecer um pouco estranho), os métodos padrão continuam apenas seguindo em frente, piorando o erro.
A Correção: O EverAnimate treina a IA com uma "bússola" especial. Durante o treinamento, a IA recebe intencionalmente um caminho ligeiramente "quebrado" ou distorcido para seguir. Ela aprende a reconhecer que está fora de rota e ativaamente se redireciona para o caminho correto e limpo.
A Analogia: Pense em um caminhante andando na neblina. Um caminhante normal pode se desviar de um penhasco porque não consegue ver o caminho. O EverAnimate é como um caminhante com um GPS que vibra sempre que ele dá um passo fora da trilha, empurrando-o gentilmente de volta para o caminho seguro antes que ele se perca.

Os Resultados

O artigo afirma que, ao usar esses dois métodos (a mochila de memória e a bússola de autocorreção), o EverAnimate pode gerar vídeos que duram minutos (até 90 segundos em seus testes) sem que o fundo fique borrado ou o personagem mude de rosto.

Vídeos curtos (10 segundos): Já é melhor do que os melhores métodos existentes.
Vídeos longos (90 segundos): A melhoria é massiva. O vídeo permanece nítido, o fundo permanece estável e o personagem mantém exatamente a mesma aparência do início ao fim.

Resumo

Em resumo, o EverAnimate impede que a IA faça "cópias de cópias" de um vídeo. Em vez disso, ele mantém uma memória digital de alta qualidade do personagem e da cena, e treina a IA para corrigir seus próprios erros à medida que avança, permitindo animações suaves, de alta qualidade e com duração de minutos que não se desfazem.

Resumo Técnico do EverAnimate: Animação Humana em Escala de Minutos via Restauração de Fluxo Latente

1. Declaração do Problema

O artigo aborda o desafio de gerar vídeos de animação humana guiados por pose de longo horizonte (em escala de minutos), mantendo alta fidelidade visual e identidade de personagem consistente. Os métodos existentes, que normalmente dependem de geração autoregressiva em blocos, sofrem com deriva acumulada ao longo do tempo. Os autores identificam dois tipos distintos de deriva:

Deriva de Qualidade de Baixo Nível: Degradação progressiva de fundos e texturas estáticos causada pela decodificação e recodificação repetidas (ciclos VAE) de quadros de transferência entre blocos.
Deriva Semântica de Alto Nível: Inconsistências na identidade do personagem, aparência facial e detalhes de vestuário, particularmente em regiões que sofrem movimento significativo.

Os autores argumentam que soluções atuais, como sumidouros de atenção (usando um quadro de referência como âncora global) ou reciclagem de erros, são insuficientes. Os sumidouros de atenção atuam como sinais passivos que especificam o que preservar, mas falham em corrigir ativamente desvios de trajetória, enquanto a continuação repetida no espaço de imagem inevitavelmente danifica detalhes visuais em regiões estáticas.

2. Metodologia: EverAnimate

O EverAnimate é um framework eficiente de pós-treinamento projetado para estabilizar a geração de longa duração operando diretamente no espaço latente em vez do espaço de imagem. Ele introduz dois mecanismos complementares:

A. Propagação Latente Persistente (PLP)
Em vez de decodificar o vídeo do bloco anterior, extrair o último quadro e recodificá-lo (o pipeline padrão de transferência), o EverAnimate propaga memória latente diretamente entre os blocos.

Memória de Movimento ( $M_{mot}$ ): Preserva a continuidade temporal de curto prazo propagando as últimas $r$ fatias latentes do bloco anterior.
Memória de Identidade ( $M_{id}$ ): Ancora a identidade multi-visão em todos os blocos. Esta é construída codificando um pequeno conjunto de quadros amostrados do bloco de contexto.
Aumento de Memória: Para prevenir viés espacial, onde o contexto de memória dita inadvertidamente o layout espacial do quadro gerado, os autores aplicam aumentos espaciais suaves (tradução e redimensionamento aleatórios) à memória de identidade durante o treinamento.
Injeção: Essas memórias são concatenadas com latentes alvo guiados por pose para formar a entrada do Transformer de Difusão (DiT), garantindo que o modelo condicione-se a informações semânticas persistentes sem reconstrução destrutiva no espaço de imagem.

B. Casamento de Fluxo Restaurador (RFM)
Para abordar a deriva que ocorre dentro de um bloco, o EverAnimate introduz um objetivo de restauração implícito durante o processo de amostragem.

Conceito: O Casamento de Fluxo (FM) padrão treina o modelo para transportar ruído gaussiano para uma variedade de dados limpa. No entanto, na geração de longo horizonte, o modelo pode encontrar estados perturbados devido a erros acumulados.
Mecanismo: Durante o treinamento, o ponto final alvo é perturbado ( $\tilde{X}_1$ ) para simular deriva. O modelo é então treinado para prever um campo de velocidade que não apenas segue o caminho limpo, mas também corrige ativamente a trajetória do estado perturbado de volta ao ponto final limpo.
Ajuste de Velocidade: A velocidade alvo é ajustada para incluir um termo de restauração: $\tilde{U}_t = U_t + \lambda(t)(X_t - \tilde{X}_t)$ .
Reagendamento: Para evitar instabilidade no treinamento (onde o termo de correção se torna desproporcionalmente grande perto do ponto final limpo), um peso de tempo limitado $\lambda(t)$ (um cronograma em forma de sino) é aplicado. Isso garante que a restauração seja mais forte nas regiões de ruído intermediário onde as perturbações são informativas, evitando a supercorreção nos extremos de alto ou baixo ruído.

Treinamento e Inferência
O framework utiliza ajuste leve LoRA em uma espinha dorsal DiT pré-treinada (Wan-2.2-Animate). O treinamento ocorre em duas etapas: (1) Adaptação de memória para aprender a propagação latente, e (2) Adaptação anti-deriva usando a função de perda de Casamento de Fluxo Restaurador. Durante a inferência, o modelo avança bloco a bloco no espaço latente, reutilizando fatias latentes para o próximo bloco sem decodificar quadros intermediários.

3. Principais Contribuições

Identificação do Problema: Os autores revelam empiricamente que a continuação no espaço de imagem e os sumidouros de atenção são insuficientes para animação em escala de minutos, identificando limitações específicas na forma como os métodos atuais lidam com a degradação de ciclos VAE e a ancoragem semântica.
Princípio do Espaço Latente: Eles derivam um princípio para geração estável de longo horizonte: a memória semântica deve ser propagada autoregressivamente no espaço latente, e a deriva deve ser corrigida por meio de capacidades intrínsecas de restauração.
Framework EverAnimate: Um método de pós-treinamento composto por Propagação Latente Persistente (para continuidade entre blocos) e Casamento de Fluxo Restaurador (para fidelidade dentro do bloco), que requer apenas ajuste leve LoRA.

4. Resultados Experimentais

O método é avaliado em um conjunto de dados combinando Champ, UBC, Seedance e vídeos do YouTube coletados pelos próprios autores, com benchmarks em durações de 10s, 30s, 60s e 90s.

Desempenho Quantitativo: O EverAnimate supera os métodos mais avançados (incluindo Wan-Animate, UniAnimate-DiT e SteadyDancer) em todas as métricas.
- Em 10 segundos, ele melhora o PSNR em 8% e o SSIM em 7% sobre o Wan-Animate, enquanto reduz o LPIPS em 22% e o FID em 11%.
- Em 90 segundos, os ganhos aumentam significativamente: PSNR/SSIM melhoram 15% cada, e LPIPS/FID reduzem 32% e 27%, respectivamente.
- Ele alcança o maior Face-PSNR (F-PSNR), indicando consistência superior de identidade.
Desempenho Qualitativo: Comparações visuais mostram que, enquanto as linhas de base sofrem com degradação de fundo e flickering de identidade ao longo do tempo, o EverAnimate mantém fundos estáveis e identidade de personagem consistente ao longo de sequências de um minuto.
Estudos de Ablação: Remover o Casamento de Fluxo Restaurador (RFM) reduz significativamente a qualidade perceptiva, enquanto remover a Propagação Latente Persistente (PLP) enfraquece a continuidade entre blocos, confirmando a necessidade de ambos os componentes.

5. Significado e Alegações

O artigo afirma que o EverAnimate representa uma mudança da continuação no espaço de imagem para o controle de estado latente para animação de longa duração. Ao desacoplar a propagação da memória semântica do ciclo destrutivo de decodificação/recodificação de imagem e ao equipar o modelo com uma capacidade intrínseca de corrigir desvios de trajetória, o EverAnimate permite a geração de vídeos em escala de minutos que anteriormente eram inatingíveis com alta fidelidade. Os autores posicionam isso como uma solução para a assimetria específica entre treinamento e teste na animação guiada por pose, onde a geração de longo horizonte falha devido a erros acumulados tanto na estrutura de movimento quanto na síntese visual.