🤖 AI

EM-Vid: Training-Free Entity-Centric Memory for Efficient and Consistent Multi-Shot Video Generation

O artigo propõe o EM-Vid, um método sem treinamento que alcança geração de vídeo multi-tiro eficiente e consistente ao utilizar um banco de memória centrado em entidades, condicionamento de tokens esparsos e um mecanismo de injeção de ruído para manter a consistência do sujeito, reduzindo custos computacionais e prevenindo vazamento de informações.

Autores originais: Jente Vandersanden, Matheus Gadelha, Chun-Hao P. Huang, Hyeonho Jeong, Yulia Gryaditskaya

Publicado 2026-05-25

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Jente Vandersanden, Matheus Gadelha, Chun-Hao P. Huang, Hyeonho Jeong, Yulia Gryaditskaya

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é o diretor de um filme com um assistente de IA muito talentoso, mas um pouco esquecido. Seu objetivo é criar uma história longa com muitas cenas diferentes. Você quer que o personagem principal (vamos chamá-lo de "O Pescador") tenha exatamente a mesma aparência em cada tomada, mas também quer que o fundo mude de um cais para um pôr do sol, e que o Pescador use roupas diferentes em cenas distintas.

O problema com as ferramentas atuais de vídeo por IA é que elas são como uma bibliotecária bagunçada. Quando você pede a próxima cena, elas pegam o quadro inteiro do vídeo anterior e o empurram para dentro da história. Isso inclui o Pescador, sim, mas também as nuvens específicas, o lixo no chão e o ângulo exato do sol. Como a IA está olhando para a imagem inteira e bagunçada, ela fica confusa. Ela pode acidentalmente copiar o lixo da primeira cena para a cena do pôr do sol, ou pode se recusar a mudar a camisa do Pescador porque está muito apegada à imagem antiga.

EM-Vid é uma nova maneira de organizar a memória da IA para corrigir isso. Veja como funciona, usando analogias simples:

1. O "Banco de Entidades" (O Arquivo Organizado)

Em vez de salvar quadros inteiros de vídeo (o que seria como salvar um cômodo inteiro com móveis, poeira e luz), o EM-Vid salva peças individuais da história em um arquivo especial chamado Banco de Entidades.

O Jeito Antigo: Você salva uma foto de todo o cais.
O Jeito EM-Vid: Você recorta apenas o Pescador, apenas o Pelicano e apenas o cais de concreto, e os coloca em pastas separadas rotuladas [CH_01], [CH_02] e [SC_01].

Agora, quando você quer criar uma nova cena, você não mostra à IA a foto inteira e bagunçada do cais. Você apenas puxa as pastas específicas de que precisa. Se o roteiro diz: "O Pescador caminha até o Pelicano", a IA olha apenas para as pastas do Pescador e do Pelicano. Ela ignora o resto do cais porque não foi solicitada. Isso mantém a história limpa e previne "vazamentos" (como o lixo ou nuvens erradas aparecendo onde não deveriam).

2. O "Roteiro com Etiquetas de ID" (A Cola do Diretor)

Para fazer esse sistema de arquivos funcionar, o artigo apresenta uma maneira especial de escrever a história. Em vez de apenas escrever "Um homem caminha", você escreve:

"[CH_01] caminha até [CH_02]..."

Aqui, [CH_01] é uma etiqueta de ID única para o Pescador. Isso funciona como uma cola para a IA. Diz à IA exatamente quais pastas puxar do arquivo para aquele momento específico. Isso garante que o Pescador pareça o Pescador, e não um estranho aleatório, e impede que a IA fique confusa com detalhes irrelevantes.

3. A "Injeção de Ruído" (A Borracha e a Ferramenta de Redesenhar)

Às vezes, você quer que o Pescador mude algo pequeno, como trocar sua camisa azul por um moletom roxo.

O Problema: Se a IA vê uma foto do Pescador com uma camisa azul, ela pode teimosamente continuar pintando-o de azul, mesmo que você diga para mudar.
A Solução EM-Vid: O sistema usa um truque de "injeção de ruído". Imagine pegar a parte da pasta do Pescador que mostra sua camisa e borrifá-la com ruído estático (como a neve da TV). Isso "apaga" a memória da camisa azul. Agora, quando a IA olha para a pasta, ela vê o rosto e o corpo do Pescador claramente, mas a área da camisa está borrada. Quando você diz "use um moletom roxo", a IA fica livre para pintar o moletom roxo porque a memória da antiga camisa azul foi embaralhada.

4. Por Que Isso Importa (O Resultado)

Ao usar este método, o artigo afirma que podem:

Economizar Tempo e Dinheiro: Como a IA olha apenas para as "pastas" específicas de que precisa (o Pescador e o Pelicano) em vez de todo o cômodo bagunçado, ela trabalha muito mais rápido e usa menos poder de computador.
Seguir Instruções Melhor: A IA não se distrai com a bagunça do fundo, então segue seu roteiro de história com mais precisão.
Manter Personagens Consistentes: O Pescador tem a mesma aparência em cada tomada, mas o mundo ao seu redor pode mudar exatamente como você descreve.

Em resumo, o EM-Vid impede que a IA tente lembrar do filme inteiro de uma vez. Em vez disso, oferece à IA uma lista inteligente e organizada de "quem" e "o que" está na cena atual, permitindo que ela construa uma história longa e consistente sem ficar confusa ou bagunçada.

Resumo Técnico: EM-Vid

Declaração do Problema

A geração de vídeos multi-tiro visa produzir narrativas visuais coerentes e de longa duração, onde entidades recorrentes (personagens, objetos, cenas) mantêm aparências consistentes através de diversos tiros, aderindo estritamente a prompts de texto específicos de cada tiro. As abordagens existentes enfrentam compromissos significativos:

Geração Conjunta: Gerar todos os tiros simultaneamente garante consistência global, mas é computacionalmente dispendiosa e difícil de escalar.
Geração Autoregressiva: Gerar tiros sequencialmente melhora a eficiência, mas frequentemente sofre de "esquecimento" do conteúdo anterior e acúmulo de erros ao longo de narrativas longas.
Métodos Baseados em Memória: Abordagens recentes utilizam quadros previamente gerados como memória para orientar a geração. No entanto, armazenar quadros completos holísticos emaranha informações persistentes de entidades com o contexto transitório da cena. Isso leva a:
1. Vazamento de Informações Irrelevantes: Artefatos de fundo ou detalhes transitórios de quadros de memória vazam para novas gerações, causando elementos visuais não intencionais.
2. Alto Custo Computacional: Mecanismos de autoatenção operam sobre todos os tokens em quadros densos, incorrendo em complexidade quadrática.
3. Problemas de Adesão ao Prompt: Prompts semanticamente similares podem fazer com que os modelos "copiem e coletem" aparências armazenadas em vez de seguir novas instruções de texto, particularmente para mudanças sutis de atributos.

Metodologia: EM-Vid

O EM-Vid propõe uma representação de memória centrada em entidades e livre de treinamento, bem como um mecanismo de inferência projetado para desvendar informações persistentes de entidades do contexto transitório. Ele opera sobre um modelo de geração de vídeo pré-treinado guiado por quadro de memória (especificamente uma variante do Wan2.2-I2V ajustada com LoRA).

1. Formato de Roteiro de História Estruturado

Para permitir recuperação eficiente, o método requer um roteiro de entrada estruturado onde:

Sujeitos e cenas persistentes recebem identificadores únicos (ex: [CH_01], SC_01).
Cada tiro contém um prompt abstrato (referenciando identificadores) e um prompt natural (descrição completa em texto).
O prompt abstrato serve como uma consulta para recuperar apenas as entradas de memória relevantes para o tiro atual.

2. Banco de Memória Centrado em Entidades

Em vez de armazenar quadros completos, o EM-Vid mantém um banco de entidades contendo patches latentes esparsos associados a entidades específicas.

Inicialização: Para cada entidade, o sistema extrai patches de quadros de memória (ou referências do usuário) que se sobrepõem à região segmentada da entidade (usando SAM3).
Armazenamento: Cada entrada armazena o patch latente VAE, suas coordenadas espaciais, o índice do quadro de origem e descritores de aparência (recursos DINOv2 e similaridade texto-região CLIP).
Condicionamento Esparso: Durante a inferência, o modelo recupera apenas os patches correspondentes às entidades mencionadas no prompt abstrato do tiro atual.

3. Condicionamento de Tokens Esparsos no Tempo de Inferência

Para integrar patches esparsos em um modelo que espera grades densas, o EM-Vid emprega um pipeline específico:

Dispersão: Patches esparsos recuperados são dispersos de volta para suas localizações espaço-temporais originais dentro de um tensor latente completo.
Poda de Tokens: O tensor é particionado em tokens. Apenas tokens correspondentes a patches contendo entidades são retidos; os demais são podados.
Redução de Atenção: A espinha dorsal do transformador (DiT) processa apenas esses tokens relevantes, reduzindo significativamente os custos de autoatenção e a interferência de informações de fundo irrelevantes.
Reconstrução: Tokens esparsos previstos são dispersos de volta para o layout denso e desparticionados para atualizar o estado latente completo para a próxima etapa de difusão.

4. Estratégia de Atualização de Memória

O banco de entidades evolui à medida que novos tiros são gerados:

Seleção de Candidatos: Quadros-chave de novos tiros são extraídos com base em pontuações estéticas.
Filtragem: Novos candidatos são comparados com entradas existentes usando similaridade DINOv2. Candidatos são aceitos se oferecerem novas informações (baixa similaridade) ou forem suficientemente distintos, mas relevantes, enquanto entradas redundantes são rejeitadas.
Gerenciamento de Orçamento: Um orçamento fixo de tokens por entidade é imposto. As entradas são priorizadas com base em uma razão de relevância-custo (similaridade CLIP dividida pela contagem de tokens), garantindo que o banco permaneça compacto enquanto preserva variações semanticamente relevantes.

5. Controle de Aparência de Alta Granularidade via Injeção de Ruído

Para abordar o comportamento de "copiar e colar" onde o modelo ignora mudanças sutis no prompt (ex: mudar a cor de uma camisa), o EM-Vid introduz um mecanismo de injeção de ruído:

Mitigação de Fronteiras: Patches nas fronteiras de entidades frequentemente contêm pixels de fundo. Ruído gaussiano é injetado nessas regiões antes da codificação para prevenir vazamento de fundo.
Modificação de Atributos: Se um prompt especifica uma mudança em um atributo específico (ex: "sapatos pretos" vs. "sapatos marrons"), patches correspondentes a essa região são identificados. Ruído é injetado nesses patches específicos para enfraquecer a dependência do modelo na aparência armazenada, forçando-o a seguir o prompt de texto para essas regiões.

Contribuições Principais

Representação de Memória Indexada por Entidade: Um formato de memória inovador que armazena patches latentes esparsos para entidades individuais, desvendo identidade persistente do contexto transitório para reduzir vazamento de informações e custo computacional.
Condicionamento de Tokens Esparsos Livre de Treinamento: Um mecanismo que permite que modelos de vídeo pré-treinados operem apenas em tokens de memória relevantes para o tiro, mantendo compatibilidade com arquiteturas originais enquanto reduz drasticamente a sobrecarga de autoatenção.
Atualização Progressiva de Memória de Entidade: Uma estratégia de atualização consciente de orçamento que integra novas observações de entidades enquanto poda redundâncias, garantindo consistência de longo prazo sem crescimento ilimitado de memória.
Controle de Aparência Baseado em Ruído: Uma estratégia que usa injeção de ruído para suprimir informações irrelevantes de fronteira e permitir modificações de atributos de alta granularidade, impedindo que o modelo retorne a aparências armazenadas.
Novas Métricas de Avaliação: Introdução de métricas para consistência de sujeito entre tiros (penalizando comportamento de copiar e colar ingênuo) e alinhamento de cena de fundo (medindo o alinhamento entre fundos gerados e descrições de cena roteirizadas).

Resultados

Os autores avaliam o EM-Vid em 20 roteiros de histórias cinematográficas (10 tiros cada) contra baselines incluindo Wan2.2-T2V, FramePack, Phantom e StoryMem.

Adesão ao Prompt: O EM-Vid alcança as maiores pontuações ViCLIP, demonstrando alinhamento superior com prompts de texto em comparação com baselines que sofrem de vazamento de memória.
Consistência do Sujeito: O método mantém forte consistência de sujeito entre tiros (medida por $CSC^*_{DINO/CLIP}$ ), superando baselines autoregressivas que acumulam erros. Ele evita o viés de "copiar e colar" visto em métricas ingênuas.
Consistência de Fundo: O EM-Vid mostra melhoria no alinhamento de cena de fundo ($BG A$), alterando com sucesso fundos quando o roteiro dita, ao contrário do StoryMem, que frequentemente carrega artefatos de fundo.
Eficiência: A abordagem de memória esparsa reduz o uso de tokens de memória em até 88,9% e fornece até 73% de aceleração na inferência em comparação com baselines de memória de quadro completo denso.
Qualidade Visual: Embora modelos T2V vanilla possam pontuar ligeiramente mais alto em métricas estéticas intra-tiro (devido à falta de restrições de longo alcance), o EM-Vid permanece competitivo enquanto oferece coerência narrativa superior.

Significado e Alegações

O artigo afirma que o EM-Vid fornece uma solução escalável e eficaz para geração de vídeo de longa duração e consistente, sem exigir re-treinamento do modelo. Ao mudar da memória de quadro holística para uma representação esparsa centrada em entidades, o método aborda o emaranhamento fundamental de identidade e contexto que aflige as abordagens atuais baseadas em memória.

Os autores enfatizam que sua abordagem:

Desacopla informações persistentes de entidades do contexto transitório da cena.
Reduz a complexidade computacional restringindo a atenção a tokens relevantes.
Permite controle de alta granularidade sobre atributos de entidades através de injeção de ruído, uma capacidade frequentemente ausente em sistemas guiados por memória.
Melhora o equilíbrio entre manter a identidade do sujeito e aderir a prompts de cena dinâmicos.

O trabalho é apresentado como uma modificação prática no tempo de inferência que aproveita modelos pré-treinados existentes, tornando-o acessível e eficiente para gerar narrativas multi-tiro coerentes.