Identity-Preserving Text-to-Video Generation via Agentic Enhancement and Semantic Repair
O artigo propõe o Agentic Enhancement and Semantic Repair (AESR), um framework leve que combina um módulo de aprimoramento de prompt agêntico e um módulo de reparo semântico visual impulsionado por VLM para superar o desvio de identidade e falhas de seguimento de instrução em modelos de texto-para-vídeo de código fechado, alcançando o primeiro lugar no ACM MM 2026 Identity-Preserving Video Generation Challenge.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
No mundo em rápida evolução da inteligência artificial, surgiu um desafio específico: ensinar as máquinas a criar imagens em movimento que não apenas sigam uma história escrita, mas que também mantenham uma pessoa específica com a aparência exata de si mesma ao longo de todo o clipe. Imagine pedir a um computador para gerar um vídeo de um amigo caminhando por um mercado movimentado, depois parando para comprar uma flor, tudo isso garantindo que o rosto no vídeo permaneça inconfundivelmente o do seu amigo. Embora as ferramentas modernas já possam produzir movimentos e iluminação surpreendentemente realistas, elas frequentemente lutam com essa consistência. O personagem pode começar como seu amigo, mas transformar-se lentamente em outra pessoa, ou o computador pode simplesmente esquecer de incluir a flor que você pediu, especialmente quando as instruções se tornam complexas. Este é um obstáculo significativo porque os geradores de vídeo mais poderosos disponíveis hoje são "caixas pretas" — sistemas fechados onde os mecanismos internos estão ocultos, tornando impossível para os pesquisadores simplesmente ajustar o código para corrigir esses erros.
Uma equipe de pesquisadores da Universidade de Pequim desenvolveu uma nova abordagem para resolver este problema sem precisar abrir a caixa preta. Em vez de tentar mudar o próprio gerador de vídeo, eles construíram um assistente inteligente que trabalha em torno dele. Este sistema, que chamam de AESR, atua como um diretor e editor altamente qualificados que preparam as instruções antes de filmar e corrigem erros após a primeira tomada. Os pesquisadores descobriram que, ao refinar cuidadosamente os comandos de texto fornecidos ao computador e, em seguida, usar referências visuais para corrigir erros específicos no vídeo gerado, eles poderiam melhorar significativamente os resultados. Em uma grande competição internacional para esta tecnologia, o sistema deles classificou-se em primeiro lugar, provando que este método de guiar e reparar o resultado é uma maneira prática e poderosa de criar vídeos onde a identidade do sujeito permanece fiel à vida real.
O cerne de sua solução reside em dois estágios distintos que ocorrem antes e depois da criação do vídeo. Primeiro, a equipe percebeu que a maneira como um humano escreve um comando importa imensamente, mas diferentes geradores de vídeo preferem estilos diferentes de escrita. Para lidar com isso, eles criaram um "livro de regras" digital que aprende com a experiência. Este livro de regras começa com as instruções oficiais fornecidas pelos criadores do gerador de vídeo, que dizem ao sistema como ele gosta de receber comandos. No entanto, os pesquisadores foram além, adicionando uma camada de aprendizado de exemplos do mundo real. Eles estabeleceram um ciclo automatizado onde o sistema gera um vídeo, verifica erros e, em seguida, atualiza seu livro de regras com o que aprendeu. Se o sistema notar que o gerador de vídeo frequentemente esquece de incluir um tipo específico de movimento ou falha em descrever um objeto claramente, o livro de regras registra essa falha e a correção para a próxima vez. Com o tempo, esta coleção de conhecimento cresce, permitindo que o sistema elabore instruções melhores para cenas complexas, como uma pessoa interagindo com múltiplos objetos ou realizando uma sequência de ações.
Mesmo com melhores instruções, a primeira versão de um vídeo ainda pode conter pequenos erros que o texto sozinho não consegue corrigir. Um computador pode entender as palavras "uma mulher olhando para a câmera", mas o vídeo resultante pode mostrá-la olhando para o lado, ou pode perder um detalhe crucial, como um chapéu específico que ela deveria estar usando. Para abordar isso, os pesquisadores introduziram um segundo estágio chamado reparo semântico visual. Nesta fase, um sistema de inteligência artificial separado atua como um crítico, assistindo ao vídeo de rascunho e comparando-o com o pedido original. Quando detecta um problema, como um objeto ausente ou um rosto que derivou ligeiramente, ele não apenas escreve uma nova descrição. Em vez disso, seleciona um quadro específico do vídeo e o edita para mostrar exatamente o que deveria estar lá. Esta imagem editada serve como um alvo visual concreto. O sistema então alimenta esta imagem corrigida, junto com o vídeo original e um novo conjunto de instruções, em uma ferramenta de edição de vídeo. Esta ferramenta usa a imagem editada como um guia para corrigir o segmento específico do vídeo, garantindo que o resultado final corresponda à intenção visual do comando.
Para garantir o melhor resultado possível, os pesquisadores não confiaram em uma única tentativa. Eles geraram múltiplas versões de cada vídeo usando diferentes combinações de suas instruções aprimoradas e técnicas de reparo. Em seguida, utilizaram uma estratégia de seleção para comparar esses candidatos, pesando fatores como o quão bem o vídeo correspondia ao texto, o quão consistente a face permanecia e a suavidade geral do movimento. Ao escolher a melhor versão única deste grupo, eles maximizaram a qualidade do produto final. Ao serem testados contra um conjunto de 200 exemplos desafiadores envolvendo preservação de identidade facial, seu sistema superou os métodos existentes. Os resultados mostraram que sua abordagem conseguiu reduzir erros onde o rosto do sujeito mudava ou onde elementos visuais fundamentais desapareciam. O sucesso da equipe foi confirmado no ACM MM 2026 Identity-Preserving Video Generation Challenge, onde seu sistema, chamado MIPL_Video, conquistou o primeiro lugar na trilha de identidade facial.
Este trabalho demonstra que, mesmo quando as ferramentas mais poderosas estão fechadas para modificação direta, ainda existem maneiras eficazes de guiá-las para obter melhores resultados. Ao combinar um sistema de aprendizado que melhora as instruções com um editor visual que corrige erros específicos, os pesquisadores criaram um fluxo de trabalho que é leve e altamente eficaz. Suas descobertas sugerem que o futuro da geração de vídeo de alta qualidade e preservação de identidade pode não depender da construção de modelos maiores e mais complexos, mas sim do desenvolvimento de maneiras mais inteligentes de interagir com os modelos que já possuímos. A capacidade de manter a semelhança de uma pessoa enquanto se segue histórias dinâmicas e complexas abre novas possibilidades para a narrativa e criação de conteúdo, provando que a preparação cuidadosa e a correção direcionada podem alcançar resultados que a geração bruta sozinha não consegue.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.