💻 computer science

Keyframe-Anchored Identity Preservation for Sequential-Action Video Generation

Este artigo propõe um framework de pipeline de três estágios livre de treinamento que preserva a identidade do sujeito na geração de vídeos de ações sequenciais ao reescrever prompts para estados terminais, gerar quadros-chave por meio de condicionamento conjunto da identidade de referência e quadros predecessores, e aprimorar segmentos intermediários com orientação de múltiplas referências e busca de ruído orientada pela identidade.

Autores originais: Zhenjie Liu, Binyan Chen, Hao Chen, Tong Pan, Shangfei Wang

Publicado 2026-07-21

📖 8 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Zhenjie Liu, Binyan Chen, Hao Chen, Tong Pan, Shangfei Wang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um diretor tentando filmar um filme com um ator muito especial e teimoso. Esse ator é um personagem digital criado por um programa de computador chamado "modelo de difusão". Pense nesse modelo como um artista mágico e caótico que é incrivelmente bom em pintar imagens baseadas em suas descrições, mas que tem uma memória terrível. Se você pedir para ele desenhar a imagem de um "homem com barba lendo um livro", ele pode desenhar um homem perfeito. Mas se você pedir para o mesmo homem ficar de pé e acenar, o artista pode ficar confuso. A barba pode desaparecer, o rosto pode mudar de forma e o homem pode subitamente parecer uma pessoa completamente diferente. Isso é o problema do "desvio de identidade" (identity drift). No mundo da geração de vídeo por IA, manter um personagem com a aparência exatamente igual enquanto ele se move e muda de ações é como tentar manter um floco de neve sem derreter enquanto você o caminha sobre uma calçada quente.

Agora, imagine que você não quer apenas que o ator faça uma coisa; você quer que ele interprete todo um roteiro. Primeiro, ele lê um livro. Depois, ele olha para o céu. Depois, ele olha de volta para baixo. Fazer isso em um único surto contínuo é um pesadelo para a IA porque, quanto mais longo o vídeo fica, mais a face do personagem tende a "desviar" e mudar. Este artigo aborda um desafio específico onde o objetivo é gerar um vídeo de uma pessoa específica realizando uma sequência de diferentes ações, tudo isso garantindo que a pessoa no vídeo seja exatamente igual à foto de referência com a qual você começou. Os pesquisadores da Universidade de Ciência e Tecnologia de China decidiram que não iam tentar filmar o filme inteiro em uma única tomada. Em vez disso, eles criaram uma maneira inteligente de dividir o filme em cenas gerenciáveis, ancorar o rosto do personagem ao final de cada cena e, em seguida, costurar as peças para que o ator nunca esqueça quem ele é.

O Truque de Mágica de Três Estágios

Os autores propõem um pipeline "livre de treinamento" (training-free), que é uma maneira elegante de dizer que eles não precisaram reensinar a IA a desenhar; eles só precisavam dar instruções melhores e um fluxo de trabalho superior. Eles chamam seu método de "Preservação de Identidade Ancorada em Keyframes" (Keyframe-Anchored Identity Preservation), o que soa complicado, mas é bastante lógico. Pense nisso como construir uma ponte sobre um rio. Em vez de tentar colocar a estrada inteira de uma vez (o que poderia desmoronar), você constrói pilares fortes e sólidos (keyframes/quadros-chave) em pontos específicos e depois preenche a estrada entre eles.

Estágio 1: O Consultor de Roteiro (Polimento de Prompt Sensível à Ação)
Primeiro, a equipe percebeu que as instruções dadas à IA eram muito vagas. Os prompts originais eram como um diretor gritando: "Ok, agora ele lê, depois ele olha para cima!" para um artista que precisa de uma imagem clara do resultado final de cada ação. A IA estava ficando confusa sobre quando parar de ler e como olhar para cima.

Para corrigir isso, os pesquisadores usaram um assistente de IA inteligente (um Grande Modelo de Linguagem - LLM) para reescrever o roteiro. Em vez de descrever a ação de ler, o assistente reescreveu o prompt para descrever o estado do personagem após a leitura. É a diferença entre dizer "O homem está virando a cabeça" e "O homem agora está olhando para a esquerda". Ao focar no "estado terminal" (a pose final) de cada ação, a IA obtém um alvo claro para mirar. Isso garante que, quando a IA gerar o "keyframe" (o ponto de ancoragem), ela saiba exatamente como o personagem deve parecer naquele momento específico.

Estágio 2: A Reação em Cadeia (Geração de Keyframe de Preservação de ID)
Em seguida, vem o desenho real dos pontos de ancoragem. Os pesquisadores não pediram para a IA desenhar o vídeo inteiro de uma vez. Em vez disso, pediram que ela desenhasse uma corrente de imagens estáticas, uma após a outra.

Para desenhar a primeira imagem, eles mostraram à IA a foto de referência (a pessoa original) e o primeiro prompt reescrito.
Para desenhar a segunda imagem, eles mostraram à IA a mesma foto de referência (para manter o rosto igual) E a primeira imagem que acabaram de fazer (para manter a continuidade da posição do corpo).
Eles repetiram isso para cada ação no roteiro.

Este é o processo "em cadeia". Ao alimentar a imagem anterior no próximo passo, a IA sabe como mover o corpo naturalmente sem perder a conexão com o rosto original. É como um jogo de "telefone sem fio" onde você sussurra as instruções, mas, em vez de a mensagem ficar distorcida, você está passando um esboço físico que garante que o próximo artista saiba exatamente onde o anterior parou. Isso separa a "identidade" (o rosto, que permanece o mesmo) da "pose" (o corpo, que muda), resolvendo o problema do desvio.

Estágio 3: A Rede de Segurança (Melhoria de Inferência Sensível à ID)
Finalmente, a IA tem uma série de imagens estáticas (os keyframes), mas precisa preencher o movimento entre elas para criar um vídeo suave. É aqui que a mágica acontece. Os pesquisadores adicionaram dois truques especiais ao processo de geração de vídeo para garantir que o personagem não erre durante o movimento.

Guia de Múltiplas Referências: Imagine que você está tentando desenhar uma imagem enquanto alguém sussurra três coisas no seu ouvido: a descrição de texto, o quadro anterior e a foto original. A IA geralmente ouve o texto e o quadro anterior. Os pesquisadores forçaram a IA a ouvir muito bem a foto original. Eles ajustaram a matemática para que o sinal de "identidade" fosse amplificado, tornando muito mais difícil para a IA alterar acidentalmente o rosto do personagem enquanto move o corpo.
Busca de Ruído (Noise Searching): Quando uma IA gera vídeo, ela começa com uma tela cheia de ruído estático (como a neve da TV) e lentamente o limpa para revelar a imagem. Normalmente, a IA apenas escolhe um pedaço aleatório de "neve" para começar. Os pesquisadores decidiram ser exigentes. Eles geraram vários pedaços diferentes de "neve" e testaram rapidamente para ver qual deles resultaria no melhor rosto. Eles escolheram o vencedor e o usaram como ponto de partida. É como testar diferentes sementes para ver qual delas produz a melhor flor antes de plantar o jardim inteiro.

Os Resultados: Funcionou?

A equipe testou seu método em uma competição chamada IPVG26 (Track 2), onde o objetivo era gerar vídeos de pessoas específicas realizando sequências de ações. Eles não apenas adivinharam; eles mediram os resultados contra outras equipes de elite.

A abordagem deles ficou em terceiro lugar no ranking oficial. Embora não tenham ficado em primeiro lugar, os resultados foram impressionantes, especialmente nas áreas que mais importavam: manter o rosto da pessoa reconhecível (Preservação de Identidade) e garantir que as ações ocorressem no tempo certo (Alinhamento Temporal).

Ao testarem seu sistema, descobriram que o "Guia de Múltiplas Referências" foi o grande motor do sucesso. Quando removeram esse recurso, a pontuação para manter a consistência da identidade caiu significativamente (de 0,4055 para 0,3520). Isso provou que dizer explicitamente à IA para focar na foto de referência foi a chave para impedir o desvio do rosto. A "Busca de Ruído" também ajudou, mas foi um impulso menor.

O artigo também comparou dois "backbones" (motores de vídeo subjacentes) diferentes. Eles descobriram que um modelo chamado LTX-2.3 teve um desempenho melhor do que outro chamado Wan2.1-VACE em quase todas as métricas. O modelo LTX-2.3 alcançou uma pontuação geral de 0,4971, comparado a 0,4818 do outro modelo.

O Que Isso Significa

O artigo não afirma que resolveu o problema da geração de vídeo por IA para sempre. Não diz que o personagem nunca mudará ou que o método funciona perfeitamente para todos os cenários possíveis. Em vez disso, sugere que dividir uma tarefa complexa de vídeo em etapas menores e ancoradas é uma maneira muito eficaz de lidar com ela.

Ao tratar o vídeo como uma corrente de "estados terminais" (o fim de cada ação) em vez de um fluxo contínuo, os pesquisadores conseguiram manter a identidade do personagem intacta, mesmo quando as ações eram complexas e sequenciais. Eles mostraram que nem sempre é necessário treinar a IA do zero; às vezes, você só precisa dar a ela um mapa melhor, uma âncora mais forte e um pouco de ajuda extra ao escolher por onde começar. Para qualquer pessoa tentando criar histórias digitais com personagens consistentes, essa abordagem "ancorada em keyframes" oferece uma maneira confiável e livre de treinamento para manter o ator no papel, não importa quantos cenários ele tenha que interpretar.

Resumo Técnico: Ancoragem de Keyframes para Preservação de Identidade em Geração de Vídeo com Ações Sequenciais

Definição do Problema

O artigo aborda o desafio da Geração de Vídeo de Texto-para-Vídeo com Preservação de Identidade (IPVG) no contexto do IPVG26 Challenge Track 2. Diferente das tarefas tradicionais de IPVG que dependem de um único prompt holístico, este cenário exige a geração de um vídeo baseado em:

Uma imagem de identidade de referência ( $I_{ref}$ ).
Uma descrição global da cena ( $P_{global}$ ).
Uma sequência estruturada temporalmente de legendas de ação com marcações de tempo $\{(s_i, e_i, c_i)\}_{i=1}^N$ , onde cada $c_i$ descreve uma subação específica com tempos de início e fim.

A dificuldade central reside em manter a reconhecibilidade do sujeito (identidade) enquanto ele executa uma sequência roteirizada de ações distintas. Geradores de vídeo de ponta a ponta padrão frequentemente sofrem de deriva de aparência (appearance drift) à medida que o movimento se acumula e as ações descritas mudam, fazendo com que o sujeito perca a semelhança ao longo de uma sequência de múltiplas ações.

Metodologia

Os autores propõem um pipeline de três estágios livre de treinamento (training-free) que decompõe a tarefa de geração de vídeo em uma cadeia de keyframes (quadros-chave) que preservam a identidade, evitando os compromissos espaço-temporais da otimização conjunta.

1. Polimento de Prompt Consciente de Ação (Action-Aware Prompt Polishment)

As entradas textuais brutas (descrição global e legendas temporais) são frequentemente narrativas e carecem da precisão espacial necessária para modelos de geração de imagem.

Processo: Um LLM multimodal, especificamente o Qwen3.6-27B, reescreve as entradas.
Primeiro Quadro: O prompt global é reescrito em um prompt ( $\hat{P}_{global}$ ) que ancora os atributos de identidade do sujeito (formato do rosto, tom de pele, etc.) e estabelece a cena, garantindo um momento inicial plausível.
Estados Terminais: Cada legenda temporal $c_i$ é reescrita em um prompt de quadro final ( $\hat{c}_i$ ). Crucialmente, esses prompts descrevem o estado terminal da ação (pose final, posição das mãos, olhar) em vez da progressão do movimento. Isso fornece restrições espaciais inequívocas para a subsequente geração de keyframes.

2. Geração de Keyframes em Cadeia com Preservação de ID

Em vez de gerar o vídeo completo de uma só vez, o sistema gera uma sequência de keyframes $\{K_0, K_1, \dots, K_N\}$ , onde cada $K_i$ representa o estado terminal do $i$ -ésimo segmento de ação.

Condicionamento em Cadeia:
- $K_0$ é gerado condicionado a $I_{ref}$ e $\hat{P}_{global}$ .
- Os keyframes subsequentes $K_i$ $K_{i}$ são gerados condicionados a três entradas:
  1. $I_{ref}$ : Fornece características de identidade invariantes no tempo.
  2. $K_{i-1}$ : Fornece o estado visual precedente (pose, orientação, layout da cena) para garantir a continuidade temporal.
  3. $\hat{c}_i$ : Especifica o estado terminal alvo para a ação atual.
Mecanismo: Este design desacopla a aparência invariante no tempo (de $I_{ref}$ ) da pose variante no tempo (de $K_{i-1}$ ), permitindo que o modelo modifique apenas os aspectos descritos no novo prompt enquanto herda o restante.

3. Melhoria de Inferência Consciente de ID (ID-Aware Inference Enhancement)

Uma vez estabelecidos os keyframes, os segmentos de vídeo entre eles são sintetizados usando um modelo de vídeo baseado em difusão (especificamente o LTX-2.3 em modo de interpolação de keyframe). Duas melhorias livres de treinamento são aplicadas durante a inferência:

Guia de Múltiplas Referências (Multi-Reference Guidance): Estende o Classifier-Free Guidance (CFG) padrão adicionando termos de guia específicos. A trajetória de amostragem é guiada por:
- $\Delta_{cfg}$ : Alinhamento de texto padrão.
- $\Delta_{stg}$ : Guia espaço-temporal (via perturbação de atenção) para coerência temporal.
- $\Delta_{mod}$ : Guia de modalidade que amplifica explicitamente a influência das condições visuais (keyframes de fronteira) para reforçar a consistência da identidade.
Busca de Ruído Orientada pela Identidade (Identity-Driven Noise Searching): Trata o ruído de difusão inicial $z_T$ como uma variável de otimização em vez de uma amostra aleatória. Para cada segmento, $K$ tensores de ruído candidatos são amostrados, e uma breve desnoising (denoising) de antecipação (lookahead) é realizada. O candidato que produz a maior recompensa (similaridade de cosseno entre o embedding facial do primeiro quadro decodificado e $I_{ref}$ ) é selecionado para a desnoising completa.
Alocação de Comprimento Variável: Segmentos são alocados com contagens de frames proporcionais à sua duração, arredondadas para satisfazer as restrições do VAE ( $8k+1$ ).

Principais Contribuições

Módulo de Polimento de Prompt Consciente de Ação: Um método para reescrever legendas globais e temporais em prompts de imagem de estado terminal, fornecendo alvos espaciais claros para a síntese de keyframes.
Geração de Keyframes em Cadeia com Preservação de ID: Uma estratégia de geração que condiciona cada keyframe tanto na identidade de referência quanto no keyframe precedente, separando efetivamente a identidade da pose para manter a reconhecibilidade e a continuidade do movimento.
Melhoria de Inferência Consciente de ID: Um estágio livre de treinamento que integra guia de múltiplas referências e busca de ruído orientada pela identidade para reforçar a fidelidade da identidade durante a amostragem.
Decomposição Ancorada em Keyframes: Uma mudança de paradigma da geração ponta a ponta para a interpolação entre endpoints ancorados pela identidade, abordando os desafios específicos de tarefas de ação sequencial.

Resultados

O método proposto foi avaliado no conjunto de teste do IPVG26 Track 2 (200 amostras do dataset ReactID).

Desempenho no Leaderboard: O método classificou-se em 3º lugar no leaderboard oficial (Pontuação: 2.9375), atrás de USTC-CMI e WislabGDUT.
Comparação de Backbone: Os autores compararam o LTX-2.3 (modo de interpolação de keyframe) contra o Wan2.1-VACE (modo de primeiro/último frame). O LTX-2.3 superou o Wan2.1-VACE em todas as métricas, particularmente em preservação de identidade e alinhamento, levando à sua seleção como o backbone final.
Estudos de Ablação:
- A remoção do Guia de Múltiplas Referências causou a queda mais significativa na pontuação de identidade (de 0.4055 para 0.3520), confirmando-o como o principal motor da consistência do sujeito.
- A remoção da Busca de Ruído (Noise Searching) resultou em um declínio moderado, mas consistente, nas pontuações de identidade e gerais.
- Ambas as melhorias elevaram as métricas de identidade sem afetar significativamente a suavidade do movimento ou a qualidade da imagem.

Significância e Alegações

O artigo afirma que a decomposição ancorada em keyframes é uma solução eficaz para o desafio específico da preservação de identidade em ações sequenciais. Ao desacoplar o layout de identidade invariante no tempo do movimento temporal, o método evita a deriva de aparência comum em geradores ponta a ponta. Os autores enfatizam que sua abordagem é livre de treinamento (training-free), não exigindo ajuste fino (fine-tuning) de modelos prontos, mas alcança um desempenho competitivo em um benchmark desafiador. Os resultados sugerem que separar explicitamente a geração de estados terminais (keyframes) da interpolação de movimento, combinada com o reforço de identidade em tempo de inferência, é uma estratégia viável para a síntese de vídeo controlável e de múltiplas ações.