Resumo Técnico: Argus – Injeção de Mosaico de Identidade de Múltiplas Visões Empilhadas para Geração de Vídeo com Preservação de Sujeito

1. Definição do Problema

O artigo aborda o desafio da geração de vídeo com preservação de sujeito, uma tarefa distinta da síntese padrão de texto-para-vídeo ou imagem-para-vídeo. O objetivo não é meramente gerar movimento realista, mas garantir que o sujeito gerado permaneça a mesma pessoa específica através de variações complexas, incluindo:

• Grandes mudanças de viewpoint (ex: grandes ângulos de yaw).
• Mudanças de expressão facial e micromovimentos.
• Oclusões parciais e variações de escala.
• Conflitos entre prompts de texto, condições do primeiro quadro e referências de identidade.

Os autores argumentam que os métodos existentes sofrem de um "paradigma de referência de ponto". As abordagens atuais tipicamente condicionam a geração em uma única imagem estática ou em alguns quadros via adaptadores ou concatenação de tokens. Isso colapsa a identidade em uma observação única emaranhada com variáveis de incômodo (pose, iluminação, acessórios, fundo). Consequentemente, os modelos ou confiam demais na referência (copiando detalhes indesejados) ou confiam de menos nela (causando deriva de identidade). O artigo postula que a identidade humana no vídeo é uma distribuição, e não um ponto, exigindo exposição a evidências diversas, dinâmicas e randomizadas por ruídos.

2. Metodologia

O Argus é um framework construído sobre o modelo de fundação de vídeo Wan 2.1 (um Diffusion Transformer de 14 bilhões de parâmetros treinado com Flow Matching). Ele introduz três componentes principais para transitar de um correspondência de referência estática para uma memória de identidade dinâmica:

A. Argus Identity Director (AID)

Um front-end de percepção utilizando um LLM Multimodal (MLLM) congelado (Qwen3-VL).

• Função: Ele compila a evidência de identidade mais informativa de um banco de referências (imagens ou vídeos) e resolve conflitos entre o prompt de texto, o primeiro quadro e as referências de identidade.
• Estratégia de Seleção: Em vez de selecionar quadros com maior pontuação, ele otimiza a diversidade através de eixos como viewpoint, expressão, movimento, escala e iluminação, minimizando a redundância e os riscos de incômodo.
• Saída: Produz um conjunto de nove observações de identidade diversas (uma mistura de imagens estáticas e micro-clipes), uma legenda de identidade consciente de conflitos e um vetor descritor de identidade global ($h_D$) que condiciona o DiT junto com os embeddings de texto e do primeiro quadro.

B. Stacked Multi-View Identity Mosaic Injection (SMII)

Este é o mecanismo de injeção central, projetado para integrar a identidade diretamente no espaço de tokens nativo do modelo sem adaptadores externos.

• Construção do Mosaico: As observações de identidade selecionadas são organizadas em um mosaico empilhado de $3 \times 3$. Cada célula pode ser uma imagem estática ou um micro-clipe curto.
• Tensorização Sincronizada com Difusão: Diferente de métodos que injetam tokens de referência limpos, o SMII coloca o mosaico de identidade no mesmo caminho de Flow Matching que o vídeo alvo. O latente de identidade é ruidificado no timestep atual ($\sigma_t$) para corresponder ao nível de ruído do latente do vídeo. Isso garante que o fluxo de identidade se alinhe com o prior de características aprendido pelo patch embedding do Wan.
• Ancoragem Posicional de Tempo Negativo: Os tokens de identidade recebem coordenadas temporais negativas (ex: $-n$ a $-1$), posicionando-os como "histórico pré-vídeo" adjacente ao primeiro quadro ($t=0$). Isso permite que o modelo dê atenção às evidências de identidade sem interpretá-las como conteúdo gerado.
• Memória de Somente Leitura: Uma máscara de atenção de bloco garante que os tokens de identidade atendam apenas a outros tokens de identidade, enquanto os tokens de vídeo podem atender a ambos. Isso evita que a memória de referência seja contaminada pelo conteúdo de vídeo gerado.

C. Estratégias de Treinamento e Orientação

• Treinamento Contrafactual No-Cross-Pair: O Argus não depende de dados pareados caros (vídeo de referência + vídeo alvo do mesmo sujeito). Em vez disso, utiliza referências de mesmo clipe ou mesma identidade com forte aumento contrafactual. Fundos, acessórios, iluminação e cortes são randomizados enquanto a identidade facial estável é preservada. Isso força o modelo a aprender características invariantes de identidade.
• Temporal Identity Annealing (TIA): Um mecanismo de portão (gating) que modula a atenção vídeo-para-identidade com base no tempo de difusão. Ele concentra a leitura de identidade na "fase intermediária estrutural" da denoização, evitando que a injeção de identidade restrinja excessivamente o layout global (início) ou sobre-afie os rostos (fim).
• Adaptive Self-Likeness Guidance (ASLG): Na inferência, este método desacopla a orientação de texto da fidelidade de identidade. Ele constrói um ramo de "modelo fraco" via uma máscara de skip aprendível, permitindo que o sistema interpole entre previsões condicionais e incondicionais especificamente para a identidade, impedindo que o controle de identidade sobrecarregue o prompt de texto.

3. Principais Contribuições

1. Framework Argus: Um sistema de geração de vídeo com preservação de sujeito que muda do condicionamento de referência de ponto para uma memória de identidade dinâmica, aceitando tanto referências de imagem quanto de vídeo.
2. Módulo SMII: Um mecanismo de injeção nativo que representa evidências de múltiplas visões como tokens de memória de somente leitura, de tempo negativo e sincronizados com a difusão, eliminando discrepâncias de distribuição associadas à concatenação de tokens de referência limpos.
3. Paradigma de Treinamento: Uma estratégia de treinamento contrafactual no-cross-pair que alcança robustez através de randomização de incômodos em larga escala, em vez de exigir dados de vídeo pareados do sujeito.
4. Benchmarks e Métricas:
   • HardID-Celeb: Um novo benchmark de figuras públicas projetado para testar a preservação de identidade sob grandes variações de yaw, oclusão do primeiro quadro e rostos pequenos.
   • YawScore & OccScore: Novas métricas que medem especificamente a robustez a grandes mudanças de viewpoint e condições de oclusão do primeiro quadro.

4. Resultados

O Argus atinge o estado da arte em benchmarks gerais e de estresse:

• OpenS2V-Eval Human-Domain: O Argus alcança uma Pontuação Total de 64.38, superando a linha de base mais forte em 4.18 pontos. Também lidera em FaceSim (71.86), NexusScore (51.62) e NaturalScore (79.14).
• HardID-Celeb: O Argus supera significativamente os baselines em cenários de estresse, alcançando um FaceSim de 76.80. Notavelmente, ele melhora o YawScore em 12.60 pontos e o OccScore em 15.10 pontos sobre os baselines mais fortes, demonstrando capacidade superior de recuperar a identidade sob estresse de viewpoint e oclusão.
• Estudos de Ablação: Remover o SMII (substituindo-o por concatenação de tokens ingênua) reduz a Pontuação Total em 10.52 pontos. Substituir o treinamento contrafactual por 2K amostras de cross-pair reduz o score em 5.76 pontos, validando a eficácia da estratégia de treinamento proposta.

5. Significância e Alegações

O artigo afirma que a memória de identidade dinâmica e a supervisão contrafactual auto-supervisionada em larga escala são alternativas altamente eficazes ao condicionamento de referência estática e à supervisão de dados pareados.

Ao redefinir a identidade não como um único ponto estático, mas como uma distribuição compacta e dinâmica acessível via memória de tempo negativo, o Argus resolve o emaranhamento da identidade com variáveis de incômodo. Os autores argumentam que esta abordagem permite que o modelo reconheça sujeitos familiares através de movimentos, mudanças de expressão e oclusões de forma mais eficaz do que métodos que dependem de similaridade facial frontal ou adaptadores de quadro único. O lançamento do HardID-Celeb e das métricas associadas visa fornecer uma avaliação mais fiel da preservação de identidade em cenários desafiadores do mundo real.