💻 computer science

AnyID: Ultra-Fidelity Universal Identity-Preserving Video Generation from Any Visual References

O artigo apresenta o AnyID, um framework de geração de vídeo que preserva a identidade com ultra-fidelidade ao unificar referências heterogêneas em uma arquitetura escalável e adotar um paradigma de geração com referência primária para garantir controle preciso sobre os atributos, superando as limitações dos métodos atuais que dependem de uma única fonte de referência.

Autores originais: Jiahao Wang, Hualian Sheng, Sijia Cai, Yuxiao Yang, Weizhan Zhang, Caixia Yan, Bing Deng, Jieping Ye

Publicado 2026-03-27

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Jiahao Wang, Hualian Sheng, Sijia Cai, Yuxiao Yang, Weizhan Zhang, Caixia Yan, Bing Deng, Jieping Ye

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você quer criar um filme curto com o seu melhor amigo como o protagonista. Você tem algumas fotos dele, um vídeo antigo de uma festa e talvez um retrato pintado. O desafio é fazer o computador gerar um novo vídeo onde ele age, fala e se move, mantendo exatamente a cara dele, mas mudando o cenário (de uma sala de aula para uma nave espacial) ou a roupa (de um terno para um traje de astronauta).

Até hoje, as ferramentas de IA faziam isso de um jeito meio "cegado". Elas pegavam uma única foto, tentavam adivinhar como seria o rosto da pessoa em 3D e como ela se mexeria, e muitas vezes o resultado ficava estranho: o nariz mudava de lugar, a expressão parecia de outra pessoa ou a roupa não combinava. Era como tentar desenhar um elefante olhando apenas para uma foto de uma orelha; você não consegue ver o todo.

O AnyID é a nova solução apresentada neste trabalho que resolve esse problema de forma brilhante. Vamos entender como ele funciona usando algumas analogias simples:

1. O "Detetive de Identidade" (Referências Múltiplas)

Em vez de pedir apenas uma foto, o AnyID diz: "Me dê tudo o que você tem!". Ele aceita uma mistura de fotos, vídeos e retratos.

A Analogia: Imagine que você está tentando reconstruir um quebra-cabeça de um rosto. Se você tiver apenas uma peça (uma foto), é impossível saber como é o resto. O AnyID pega várias peças (várias fotos de ângulos diferentes e vídeos) e as junta. Isso permite que a IA entenda a "estrutura 3D" do rosto da pessoa e como ela se move, em vez de apenas chutar. É como ter um modelo 3D completo em vez de um desenho plano.

2. O "Ancoragem" e o "Comando de Mudança" (Prompt Diferencial)

Aqui está a parte mais inteligente. Como você diz para a IA o que mudar sem estragar o que deve ficar igual?

A Analogia: Pense na Referência Principal (uma foto escolhida como base) como a "âncora" de um barco. Ela segura o barco no lugar (mantendo o rosto, o cabelo e a roupa originais).
Agora, em vez de escrever um texto gigante descrevendo toda a cena nova (o que confunde a IA), você usa um "Comando Diferencial". É como dizer ao cozinheiro: "Mude apenas o tempero, mantenha o prato igual".
- Exemplo: Se a foto mostra o amigo de camisa azul, você não precisa descrever a camisa nova. Você apenas diz: "Mude a camisa para vermelha e coloque-o na praia". A IA entende que tudo o que não foi mencionado (o rosto, o cabelo) deve permanecer preso à âncora da foto original.

3. O "Treinamento com Críticos Humanos" (Aprendizado por Reforço)

A IA foi treinada com milhões de exemplos, mas para ficar perfeita, ela passou por uma fase final de "escola de chefs".

A Analogia: Imagine que a IA gera dois vídeos. Um grupo de pessoas reais (humanos) olha para os dois e vota: "Qual deles parece mais com a pessoa real?" e "Qual deles mudou exatamente o que foi pedido?".
A IA aprende com esses votos. Se ela errar a textura da pele ou mudar a cor dos olhos sem querer, ela recebe um "chacoalhão" virtual e aprende a não fazer isso de novo. Isso garante que o resultado final não seja apenas tecnicamente correto, mas que pareça real e agradável para os olhos humanos.

Por que isso é incrível?

O AnyID permite que você crie vídeos de alta qualidade onde a identidade da pessoa é preservada com uma fidelidade quase perfeita, mesmo que ela esteja fazendo coisas que nunca fez nas fotos originais (como sorrindo de um jeito diferente ou em um lugar novo).

Resumo da Ópera:
O AnyID é como ter um diretor de cinema de IA que:

Olha para todas as suas fotos e vídeos para entender quem é o ator (não apenas uma foto).
Usa uma foto como âncora para garantir que o ator continue sendo ele mesmo.
Segue instruções curtas de mudança (trocar roupa, cenário) sem bagunçar o resto.
Foi treinado por pessoas reais para garantir que o resultado seja bonito e fiel.

Isso abre portas para histórias pessoais, animações personalizadas e criatividade sem limites, sem que a pessoa pareça um "robô" ou tenha o rosto distorcido.

Resumo Técnico: AnyID

1. O Problema

A geração de vídeos que preservam a identidade de uma pessoa (Identity-Preserving Video Generation) é crucial para aplicações como avatares virtuais e narrativa personalizada. No entanto, os métodos existentes apresentam limitações fundamentais:

Dependência de Referência Única: A maioria dos modelos atuais é otimizada para usar apenas uma única imagem de referência (geralmente um rosto estático). Isso cria um problema mal-posto (ill-posed), pois uma única imagem 2D não consegue capturar a estrutura 3D completa, as dinâmicas de expressão e as características multifacetadas de uma pessoa.
Falta de Flexibilidade: Quando o ângulo facial ou a expressão do vídeo gerado difere da referência única, ocorre um desvio de identidade (identity drift) ou artefatos visuais.
Restrição de Formatos: Os métodos atuais não conseguem integrar facilmente diferentes formatos de entrada (fotos, retratos, vídeos curtos) que os usuários possuem em suas coleções pessoais.

2. Metodologia

O AnyID propõe um framework de geração de vídeo com fidelidade ultra-alta que supera essas limitações através de quatro pilares principais:

A. Arquitetura Omni-Referenciada Escalável (Omni-Referenced Architecture)

Unificação de Entradas Heterogêneas: Em vez de usar codificadores externos especializados (como codificadores de rosto ou CLIP) que criam gargalos, o AnyID utiliza o próprio VAE (Variational Autoencoder) pré-treinado do modelo de difusão para codificar todas as referências visuais.
Mecanismo de Concatenação: As referências (sejam imagens estáticas tratadas como vídeos de 1 frame ou clipes de vídeo) são padronizadas, codificadas em latentes e concatenadas na dimensão temporal.
Manipulação de Timestep: Para diferenciar as referências do vídeo alvo durante o treinamento, as latentes das referências recebem um timestep fixo de $t=0$ (indicando que são livres de ruído), enquanto o vídeo alvo recebe o timestep amostrado $t>0$ . Isso permite que o modelo aprenda a distinguir entre a "identidade de referência" e o "conteúdo a ser gerado".

B. Paradigma de Geração com Referência Primária e Prompt Diferencial

Referência Primária: Um dos inputs é designado como a "âncora canônica" para atributos estáticos (cabelo, roupas, acessórios).
Prompt Diferencial: Em vez de descrever a cena inteira, o usuário (ou um sistema automatizado via VLM/LLM) fornece um prompt que descreve apenas as mudanças em relação à referência primária.
- Exemplo: Se a referência tem cabelo preto e o prompt diz "mude o cabelo para loiro", o modelo mantém tudo o que não foi mencionado (expressão, fundo, roupas) consistente com a referência primária.
Processo: O sistema divide o conteúdo em 7 elementos (tipo de plano, cabelo, roupa, acessório, expressão, ação, fundo), compara a referência com o alvo usando um LLM e remove os elementos idênticos para gerar o prompt diferencial.

C. Aprendizado por Reforço Centrado no Humano (Human-Centric RL)

Para superar as limitações da perda de erro quadrático médio (MSE), que tende a gerar saídas muito suaves e perder detalhes finos, o AnyID utiliza Otimização Direta de Preferência (DPO).
Dataset de Preferência: Foi construído um conjunto de dados onde avaliadores humanos comparam pares de vídeos gerados com base em dois eixos:
1. Fidelidade de Identidade: Qual vídeo preserva melhor a identidade dinâmica da pessoa?
2. Controllabilidade do Prompt: Qual vídeo segue melhor as instruções de mudança sem alterar elementos não solicitados?
O modelo é ajustado (fine-tuning) para maximizar a preferência humana nesses dois aspectos.

D. Pipeline de Dados

Utiliza o dataset PortraitGala para criar um pool de metadados com 100k grupos de identidade e 300k clipes.
Aplica aumento de dados para sintetizar referências em formatos variados (rosto, retrato, vídeo) a partir dos mesmos clipes, simulando cenários do mundo real.

3. Principais Contribuições

Formulação de Tarefa Universal: Introdução de um novo paradigma que aceita múltiplas referências visuais livres (free-form), resolvendo o problema de ambiguidade da referência única.
Arquitetura Unificada: Uso eficiente do VAE existente para injetar representações de identidade, garantindo compatibilidade com diversos formatos de entrada sem codificadores externos pesados.
Controle de Atributos via Prompt Diferencial: Uma nova estratégia de prompting que garante consistência de atributos não solicitados, permitindo edições precisas (ex: mudar apenas o fundo ou a roupa).
Ajuste por Preferência Humana: Aplicação de RL (DPO) focado em fidelidade de identidade e controle de prompt, resultando em saídas que alinham melhor com a percepção humana.

4. Resultados e Avaliação

O AnyID foi avaliado em um benchmark abrangente (IPT2V e IEPT2V) contra modelos de ponta como ConsisID, FantasyID, Phantom e SkyReels-A2.

Fidelidade de Identidade: O AnyID alcançou os melhores resultados nas métricas Holi-Arc (73.22%) e Holi-Cur (67.52%), demonstrando capacidade superior de manter a identidade em diferentes ângulos e expressões, superando os métodos de referência única que sofrem de desvio de identidade.
Controllabilidade: Alcançou pontuações líderes em aderência ao prompt (86.56% para aparência, 60.31% para movimento, 84.79% para fundo), provando que consegue alterar elementos específicos sem "copiar e colar" o fundo ou a roupa da referência.
Qualidade Visual: Superioridade em pontuações de qualidade estática (82.03%) e dinâmica (91.12%).
Estudo com Usuários: Em testes cegos com 20 participantes, o AnyID venceu mais de 70% das comparações em fidelidade de identidade e controle de prompt, e mais de 60% em consistência de elementos e qualidade visual.

5. Significado e Impacto

O AnyID representa um avanço significativo na geração de vídeo generativa:

Viabilidade Prática: Permite que usuários utilizem suas próprias coleções de fotos e vídeos (heterogêneas) para criar avatares consistentes, eliminando a necessidade de fine-tuning laborioso para cada nova pessoa.
Solução para o Problema Mal-Posto: Ao agregar múltiplas visões e dinâmicas, o modelo reconstrói a identidade 3D de forma mais robusta, permitindo gerações de alta fidelidade em cenários complexos.
Aplicações: Abre portas para narrativas personalizadas, avatares adaptativos, educação e entretenimento, onde a consistência do personagem é crítica.
Segurança: O artigo menciona a implementação de salvaguardas (como marca d'água e filtros de moderação) para mitigar riscos de deepfakes maliciosos, alinhando-se com princípios de IA responsável.

Em resumo, o AnyID estabelece um novo estado da arte ao combinar flexibilidade de entrada, controle preciso de atributos e alinhamento com preferências humanas, superando as limitações fundamentais dos métodos anteriores de preservação de identidade.