Stand-In: A Lightweight and Plug-and-Play Identity Control for Video Generation

Título: Stand-In: Um Controle de Identidade Leve e Plug-and-Play para Geração de Vídeo

1. O Problema

A geração de vídeos humanos de alta fidelidade que mantenham a identidade de uma imagem de referência é um desafio significativo na inteligência artificial generativa. As abordagens existentes apresentam limitações críticas:

• Métodos Baseados em Codificadores de Rosto: Utilizam codificadores explícitos para extrair características, mas carecem de flexibilidade e frequentemente falham em capturar detalhes faciais finos essenciais para a qualidade do vídeo.
• Métodos de Treinamento Completo (Full-Parameter Training): Exigem recursos computacionais massivos e grandes conjuntos de dados, além de serem incompatíveis com outras ferramentas de AIGC (como LoRAs de estilo ou controle de pose), pois alteram a arquitetura base do modelo.

O objetivo é criar uma solução que preserve a identidade de forma robusta, seja leve (poucos parâmetros treináveis), utilize poucos dados de treinamento e seja facilmente integrável ("plug-and-play") a diferentes tarefas.

2. Metodologia

O Stand-In propõe um framework leve que injeta informações de identidade em um modelo de geração de vídeo pré-treinado (baseado em DiT - Diffusion Transformer, especificamente o Wan2.1-14B) sem alterar sua arquitetura principal.

Componentes Principais:

• Ramo de Imagem Condicional (Conditional Image Branch):

  • Em vez de usar um codificador de rosto externo, o método utiliza o VAE (Variational Autoencoder) pré-treinado do próprio modelo de geração de vídeo.
  • A imagem de referência é codificada no mesmo espaço latente do vídeo.
  • Os tokens da imagem são concatenados aos tokens do vídeo ao longo da dimensão da sequência e processados juntos pelos blocos DiT.
  • A imagem condicional é tratada como estática (tempo fixo $s_{ref} = 0$), servindo apenas como condição e não sofrendo processo de denoising.

• Atenção Restrita (Restricted Self-Attention - RSA):

  • Para evitar que a imagem de referência seja "contaminada" pelo conteúdo dinâmico do vídeo (o que ocorreria em uma atenção auto-convencional padrão), o método propõe uma atenção restrita.
  • Mecanismo: As matrizes de Query (Q), Key (K) e Value (V) são calculadas independentemente para tokens de imagem e vídeo.
  • Restrição: As consultas (Queries) da imagem não podem atender às chaves (Keys) do vídeo. Isso garante que a identidade permaneça estática.
  • Interação: As consultas do vídeo (Qv) podem atender às chaves e valores tanto do vídeo quanto da imagem ($[K_v, K_i]$ e $[V_v, V_i]$), permitindo que o vídeo "olhe" para a identidade da referência.
  • Otimização: Apenas as projeções QKV dos tokens de imagem são ajustadas via LoRA (Low-Rank Adaptation), mantendo o modelo base congelado.

• Mapeamento de Posição Condicional (Conditional Position Mapping - CPM):

  • Para diferenciar claramente os tokens de imagem e vídeo no espaço de atenção, utiliza-se um 3D Rotary Positional Embedding (RoPE) com coordenadas disjuntas.
  • Tempo: Tokens de imagem recebem um índice temporal fixo (-1), enquanto os do vídeo recebem índices não negativos. Isso reforça a natureza invariante no tempo da identidade.
  • Espaço: Os tokens da imagem são mapeados para um subespaço de coordenadas separado (fora da grade espacial do vídeo). Isso preserva o prior posicional pré-treinado do modelo, evitando distorções espaciais e garantindo estabilidade.

• Cache KV (KV Caching):

  • Como as matrizes K e V da imagem de referência são constantes (já que o timestep é fixo), elas podem ser computadas e armazenadas uma única vez durante a inferência, acelerando significativamente o processo.

3. Principais Contribuições

1. Framework Leve e Plug-and-Play: O Stand-In adiciona apenas ~1% de parâmetros treináveis (aprox. 153M parâmetros em um modelo de 14B) e requer apenas 2.000 pares de dados de treinamento.
2. Arquitetura Integrada: Elimina a necessidade de codificadores de rosto externos, utilizando o VAE nativo do modelo para extração de características, resultando em maior fidelidade e detalhes faciais.
3. Generalização e Versatilidade: Embora treinado apenas com dados de pessoas reais, o método generaliza para "zero-shot" em outros sujeitos (animais, objetos, desenhos animados) e pode ser integrado a outras tarefas sem retreinamento.
4. Mecanismos de Atenção Inovadores: A combinação de Atenção Restrita e Mapeamento de Posição Condicional resolve o conflito entre manter a identidade estática e permitir a geração dinâmica do vídeo.

4. Resultados e Avaliação

O modelo foi avaliado comparado a métodos state-of-the-art (SOTA) como ConsistID, Phantom, HunyuanCustom e VACE.

• Métricas Quantitativas:

  • Semelhança Facial (Face Similarity): O Stand-In alcançou 0.724, superando todos os concorrentes (o segundo melhor, VACE-14B, teve 0.647).
  • Naturalidade (Naturalness): Alcançou 3.922 (escala de 1-5), indicando que a alta fidelidade da identidade não comprometeu a qualidade visual ou a presença de artefatos.
  • Aderência ao Prompt (Prompt Following): Alcançou o 2º lugar geral e o 1º entre métodos de código aberto, demonstrando que a injeção de identidade não prejudica a capacidade de seguir instruções textuais.

• Estudo com Usuários:

  • Em uma avaliação subjetiva com 20 participantes, o Stand-In obteve as maiores médias tanto em semelhança facial (4.10) quanto em qualidade de vídeo (4.08).

• Aplicações Demonstradas:

  • Geração Guiada por Pose: Integração com VACE melhorou a consistência da identidade em vídeos guiados por pose.
  • Estilização de Vídeo: Manutenção da identidade ao aplicar LoRAs de estilo artístico (ex: Ghibli, Redline).
  • Troca de Rosto (Face Swapping): Realização de troca de rosto com alta consistência temporal e qualidade.
  • Sujeitos Não-Humanos: Funcionamento eficaz em objetos (ursos de pelúcia) e personagens de anime sem ajuste fino adicional.

5. Significado e Impacto

O Stand-In representa um avanço significativo na geração de vídeo personalizada. Ao demonstrar que é possível alcançar resultados SOTA com apenas 1% de parâmetros adicionais e um conjunto de dados pequeno, o trabalho desafia a noção de que a alta fidelidade de identidade exige treinamento massivo ou arquiteturas complexas.

Sua natureza "plug-and-play" permite que desenvolvedores e pesquisadores integrem controle de identidade robusto em pipelines existentes de geração de vídeo, facilitando aplicações em cinema, publicidade, jogos e entretenimento, além de democratizar o acesso a tecnologias de personalização de vídeo de alta qualidade.