💻 computer science

Vorch-IR: Long-Form Unified Multimodal Identity Replacement Video Generation

O Vorch-IR é um framework multimodal unificado construído sobre o LTX2 que permite a substituição flexível de identidade de uma ou duas pessoas com edição opcional de fundo em vídeos de longa duração ao condicionar conjuntamente em vídeos de condução, imagens de referência e instruções textuais, enquanto supera a escassez de dados através de um pipeline de síntese automática e se estende para gerações de minutos através de uma estratégia de inferência de sobreposição temporal.

Autores originais: Yaole Wang, Xiaoyu Chen, Xin Ma, Yang Ding, Gang Yue, Jingjing Chen, Lin Ma, Yaohui Wang

Publicado 2026-08-07

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yaole Wang, Xiaoyu Chen, Xin Ma, Yang Ding, Gang Yue, Jingjing Chen, Lin Ma, Yaohui Wang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está segurando um controle remoto da realidade, mas em vez de mudar o canal, você quer trocar os atores de um filme, mantendo o roteiro, os ângulos de câmera e os passos de dança exatamente iguais. Este é o sonho da "substituição de identidade de vídeo", um tópico quente no mundo da inteligência artificial. Por muito tempo, a IA conseguia gerar novos vídeos do zero, mas editar um já existente era como tentar mudar o rosto de um personagem em um filme live-action sem estragar a iluminação ou o movimento. As tentativas iniciais exigiam que a IA recebesse um mapa detalhado de onde a pessoa estava parada, um desenho de esqueleto de sua pose ou uma máscara para cobrir seu rosto. Era como pedir a um chef para cozinhar uma refeição apenas se você lhe desse uma lista de ingredientes pré-cortados e um diagrama da cozinha. Esses métodos eram rígidos e difíceis de usar. A grande questão que os pesquisadores estão fazendo agora é: Podemos ensinar uma IA a entender uma frase simples como "Troque o dançarino à esquerda por esta foto" e simplesmente entender, sem precisar de um mapa complexo ou de um esqueleto?

Apresentamos o Vorch-IR, um novo sistema de IA que atua como um editor de filmes mágico e superinteligente. Pense nele como um diretor que não precisa de um assistente de direção ou de um coordenador de dublês. Você dá ao Vorch-IR três coisas: o vídeo original (o vídeo "condutor"), algumas fotos das novas pessoas que você deseja inserir (as "referências") e uma nota de texto simples dizendo quem vai para onde. A magia é que as fotos não precisam corresponder à pose ou posição do vídeo. Se o vídeo mostra uma pessoa dançando com os braços levantados, e sua foto mostra ela sentada, o Vorch-IR descobre como fazer a pessoa sentada dançar de qualquer maneira. Ele lida com pessoas individuais, duas pessoas dançando juntas e até a troca do cenário de fundo, tudo com um único modelo.

Os pesquisadores por trás do Vorch-IR construíram este sistema sobre um poderoso gerador de vídeo chamado LTX2. Eles o ensinaram a olhar para o vídeo, as fotos e as instruções de texto ao mesmo tempo. Em vez de usar mapas rígidos, a IA usa um "cérebro visão-linguagem" (um tipo de IA que entende tanto imagens quanto palavras) para entender a conexão. É como se a IA lesse sua nota, olhasse para a foto e dissesse: "Ah, você quer que esta pessoa tome o lugar daquela à esquerda", e então ela usa sua "autoatenção" interna para misturar o novo rosto no corpo em movimento perfeitamente.

Um dos maiores obstáculos neste campo é o dado. Para ensinar uma IA a trocar rostos, você precisa de milhares de exemplos de vídeos de "antes" e "depois". Como esses não existem no mundo real, a equipe construiu um pipeline robótico para criá-los. Eles pegaram vídeos reais, usaram outras ferramentas de IA para trocar os rostos no primeiro quadro e, em seguida, usaram um robô guiado por movimento para fazer o resto do vídeo seguir os novos rostos. Eles então filtraram as tentativas ruins (como quando a IA acidentalmente deu três braços ao dançarino) para criar um conjunto de treinamento perfeito. Isso permitiu que treinassem um único modelo para fazer tudo: trocar uma pessoa, trocar duas pessoas e até mudar o cenário de fundo, tudo sem precisar de ferramentas separadas para cada tarefa.

Mas e quanto a fazer um filme inteiro? A maioria dos geradores de vídeo por IA fica confusa ou borrada após alguns segundos. O Vorch-IR usa um truque inteligente chamado "inferência de sobreposição temporal". Imagine tentar pintar um mural longo. Em vez de pintar um pequeno quadrado, deixá-lo secar e depois pintar o próximo (o que poderia fazer com que as cores parecessem diferentes), o Vorch-IR pinta seções sobrepostas ao mesmo tempo e as mistura de forma contínua. Isso permite que ele gere vídeos de um minuto inteiro sem que os rostos dos personagens derivem ou que o movimento fique estranho, tudo sem precisar gerar o vídeo um clipe por vez.

A equipe testou o Vorch-IR contra outros modelos de ponta. Em comparações diretas, o Vorch-IR sugeriu que era melhor em manter o rosto da nova pessoa exatamente como na foto (preservação de identidade) e em manter o fundo consistente, enquanto ainda se movia suavemente. Em testes humanos, as pessoas preferiram os resultados do Vorch-IR em relação a outros métodos, especialmente quando se tratava de fazer o novo personagem parecer real e fisicamente plausível. O artigo sugere que, embora alguns modelos mais antigos possam ser ligeiramente melhores em coisas específicas, como a correspondência perfeita de pose em cenários muito específicos, o Vorch-IR oferece uma maneira muito mais flexível e unificada de editar vídeos, provando que você não precisa de mapas complexos para obter ótimos resultados. É um passo em direção a um futuro onde editar um vídeo será tão fácil quanto digitar uma frase.

Resumo Técnico: Vorch-IR

Declaração do Problema

A substituição de identidade em vídeo visa transferir as identidades de um ou mais sujeitos para um vídeo de condução (driving video), preservando o movimento original, as expressões e a estrutura temporal. Apesar dos avanços recentes na geração de vídeo baseada em difusão, os métodos existentes enfrentam três limitações primárias:

Controles Estruturais Rígidos: Muitas abordagens dependem de máscaras explícitas, mapas de pose ou alinhamento espacial entre as imagens de referência e o vídeo de condução, complicando a integração em sistemas de edição multimodal generalizados.
Foco em Identidade Única: A maioria dos sistemas é projetada para substituição de alvo único. A substituição de múltiplas pessoas requer controle de identidade independente e associação inequívoca entre múltiplas referências e seus respectivos alvos, o que raramente é abordado.
Escassez de Dados: Dados de treinamento pareados em larga escala para configurações de substituição de múltiplas pessoas e de fundo não estão prontamente disponíveis, dificultando o aprendizado conjunto dessas tarefas.

Metodologia

O Vorch-IR é um framework unificado construído sobre a arquitetura LTX2 que aborda essas limitações por meio de um único modelo capaz de lidar com quatro configurações: substituição de uma pessoa, substituição de duas pessoas e ambas as variantes com substituição de fundo opcional.

1. Condicionamento Multimodal Unificado

O modelo aceita um vídeo de condução ( $D$ ), um conjunto ordenado de imagens de referência ( $R$ ) e uma instrução de edição textual ( $u$ ).

Desacoplamento Espacial: As imagens de referência são tratadas como condições independentes; elas não precisam corresponder à pose, layout ou configuração espacial do vídeo de condução.
Vinculação Baseada em Instrução: Uma instrução textual especifica qual imagem de referência corresponde a qual sujeito ou ao fundo (ex: "A Referência 1 substitui a pessoa à esquerda"). Isso substitui a necessidade de correspondência geométrica ou máscaras.
Arquitetura de Via Dupla:
- Fusão Visual Densa (Auto-Atenção): O vídeo de condução, todas as imagens de referência e o latente alvo ruidoso são concatenados em um fluxo de tokens unificado. A auto-atenção funde esses tokens, preservando o movimento detalhado do vídeo de condução e os detalhes de aparência das referências. Embeddings de Task-ID distinguem o vídeo de origem, os slots de referência e o alvo.
- Vinculação Semântica (Cross-Attention): Um modelo de visão-linguagem (baseado em Gemma) codifica conjuntamente a instrução, os quadros de condução amostrados e as referências. Esse contexto é injetado via cross-attention para vincular cada referência indexada ao seu papel de alvo pretendido definido pelo texto, permitindo o roteamento semântico sem módulos de localização explícitos.

2. Pipeline de Construção Automática de Dados

Para superar a falta de dados de treinamento pareados, os autores desenvolveram um pipeline que sintetiza supervisão para todas as quatro configurações:

Edição: O primeiro quadro de um clipe de origem é editado para substituir identidades (e opcionalmente o fundo) enquanto preserva as localizações dos sujeitos e poses grosseiras.
Propagação: Um modelo de animação de vídeo guiado por movimento propaga essas aparências ao longo das trajetórias de movimento da origem.
Filtragem: Um modelo de visão-linguagem filtra falhas (ex: corpos malformados, incompatibilidade de identidade).
Extração: O primeiro quadro editado é recortado para formar as referências de identidade, e o fundo é extraído para as amostras de substituição de fundo.
Este processo gera tuplas de treinamento alinhadas (vídeo de condução, referências, instrução, vídeo alvo) sem coleta manual.

3. Estratégia de Inferência de Longa Duração

Embora treinado em clipes curtos (até 8 segundos), o Vorch-IR suporta geração de minutos de duração usando uma estratégia de Inferência de Sobreposição Temporal adaptada do Bidirectional Latent Fusion (BLF):

O latente alvo de longa duração é coberto com janelas temporais sobrepostas.
Em cada etapa de denoising, o modelo prevê janelas denoisadas condicionadas aos segmentos de origem correspondentes e referências globais.
As previsões são agregadas via pesos temporais normalizados (cross-fade linear ou de cosseno).
Uma única atualização Euler global é aplicada a toda a sequência latente.
Esta abordagem evita a continuação autorregressiva, reduzindo assim o desvio de identidade (identity drift) e o acúmulo de erros ao longo de longos horizontes.

Principais Contribuições

Formulação Unificada: Um framework unificado que formula a substituição de uma pessoa, duas pessoas e a substituição de fundo como um único problema de geração de vídeo multimodal guiado por instrução.
Interface de Referência Indexada: Uma interface inovadora que desacopla espacialmente as referências do vídeo de condução, utilizando auto-atenção visual densa para transferência de conteúdo e cross-attention baseada em instrução para vinculação semântica.
Pipeline de Dados Escalável: Um pipeline automático que sintetiza supervisão pareada para substituição de múltiplas pessoas e de fundo, eliminando a necessidade de coleta de dados específicos para cada tarefa.
Extensão de Longa Sequência: Uma adaptação de fusão de latente sobreposta que estende modelos de clipes curtos para geração de minutos de duração sem loops de feedback autorregressivos.

Resultados

Os autores avaliaram o Vorch-IR na substituição de uma pessoa (comparando contra Wan-Animate, HunyuanCustom, MoCha e SCAIL-2) e forneceram resultados qualitativos para as configurações de duas pessoas e de fundo.

Métricas Automáticas: No benchmark dos autores, o Vorch-IR alcançou a maior Consistência de Sujeito (0.9096) e Consistência de Fundo (0.9332). Também classificou-se altamente em qualidade de imagem (0.7031) e qualidade estética (0.6396). No benchmark XDance, demonstrou forte generalização, classificando-se em segundo lugar em similaridade DINOv2 e CLIP-I.
Avaliação Humana (GSB): Em comparações pareadas, o Vorch-IR recebeu uma classificação "Bom" superior a "Ruim" em todas as dimensões (movimento, plausibilidade física, identidade, qualidade de vídeo) contra todos os baselines. Sua vantagem mais significativa foi na Consistência de Identidade, onde foi preferido por 65,4% dos avaliadores sobre o HunyuanCustom e 77,0% sobre o Wan-Animate.
Compensações (Trade-offs): Embora o Vorch-IR se destaque na preservação de identidade, alguns baselines especializados mantiveram leves vantagens em métricas específicas como cintilação temporal (flickering) ou correspondência de pose, indicando uma compensação entre forte transferência de identidade e outras qualidades visuais específicas.

Significância

O artigo afirma que o Vorch-IR representa um passo significativo em direção à edição de vídeo flexível e de propósito geral. Ao remover a dependência de referências espacialmente alinhadas, máscaras ou entradas de pose, o modelo simplifica a integração da substituição de identidade em sistemas multimodais mais amplos. A capacidade de lidar com múltiplas identidades e mudanças de fundo dentro de um único modelo guiado por instrução, combinada com um pipeline de dados escalável e capacidade de inferência de longa duração, aborda gargalos críticos na pesquisa atual de geração de vídeo. O trabalho demonstra que uma transferência de identidade de alta fidelidade pode ser alcançada sem sacrificar a coerência do movimento ou exigir controles estruturais complexos.