🤖 AI

Controllable Video Object Insertion via Multi-View Priors

Este artigo propõe um framework de inserção de objetos em vídeo que aproveita priors de objetos multivistas e condicionamento consistente entre vistas para superar limitações em métodos existentes, tais como deriva de identidade e artefatos de borda, alcançando assim qualidade visual superior, consistência de identidade e integração perfeita entre o primeiro plano e o plano de fundo.

Autores originais: Qi Xia, Peishan Cong, Yichen Yao, Ziyi Wang, Yaoqin Ye, Yuexin Ma

Publicado 2026-08-11

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Qi Xia, Peishan Cong, Yichen Yao, Ziyi Wang, Yaoqin Ye, Yuexin Ma

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um diretor em um set de filmagem, mas em vez de construir cenários gigantes, você está trabalhando dentro de uma tela de computador. Você tem um vídeo de uma rua movimentada e quer adicionar um personagem totalmente novo, como um elefante gigante, caminhando pelo meio do tráfego. Este é o mundo da inserção de objetos em vídeo, um ramo da visão computacional onde cientistas ensinam a IA a colar coisas novas em vídeos existentes. A parte difícil é que os vídeos são vivos; a câmera se move, o sol muda, e os objetos giram. Se você apenas colar uma foto plana de um elefante em um vídeo em movimento, parecerá um adesivo que não pertence ao lugar. Pode parecer estranho quando o elefante virar a cabeça, ou pode parecer que ele está flutuando acima do chão em vez de caminhar sobre ele. Para resolver isso, métodos anteriores tentaram usar apenas uma foto do elefante ou uma descrição textual simples, mas isso é como tentar adivinhar como é a parte de trás de uma estátua vendo apenas a frente. O resultado é frequentemente uma bagunça instável e cheia de falhas que muda de forma ou cor conforme o vídeo toca.

Agora, conheça a nova equipe de pesquisadores da Universidade de Tecnologia de Xangai, que decidiu resolver esse "problema do adesivo" com um truque inteligente. Eles perceberam que, para fazer um objeto parecer real em um vídeo em movimento, você precisa saber como ele é de todos os ângulos, não apenas de um. A solução deles é como dar à IA um tour de 360 graus pelo objeto antes mesmo de ela tentar colocá-lo no vídeo. Em vez de mostrar à IA uma única foto plana, eles primeiro transformam essa foto em um modelo 3D e, então, tiram centenas de "instantâneos" dela de diferentes lados. Eles chamam isso de seus Multi-View Priors (Prévios de Múltiplas Visões). Pense nisso como a diferença entre entregar a um pintor uma única foto de um rosto versus dar a ele um modelo vivo que ele possa contornar.

Mas ter todas essas fotos extras não é suficiente; a IA precisa saber qual foto usar no momento exato. Se o elefante no vídeo virar para a esquerda, a IA precisa pegar a foto do "lado esquerdo" de seu banco de memória, não a da "frente". Os pesquisadores construíram um módulo especial chamado View-Consistent Conditioning Module (Módulo de Condicionamento de Visão Consistente) que atua como um bibliotecário superinteligente. Quando a câmera do vídeo se move, esse bibliotecário encontra instantaneamente o ângulo perfeito do elefante para corresponder à cena. Eles também adicionaram um sistema de "verificação de qualidade". Às vezes, transformar uma foto plana em um modelo 3D pode dar errado, criando partes estranhas, borradas ou ausentes. A IA é ensinada a ignorar esses instantâneos ruins e focar apenas nos claros, garantindo que o elefante não se transforme subitamente em um borrão de pixels.

Finalmente, para garantir que o elefante não pareça estar flutuando no ar ou brilhando com uma aura estranha, eles adicionaram um Integration-Aware Consistency Module (Módulo de Consistência de Integração Consciente). Esta parte do sistema atua como um detetive de sensoriamento de profundidade. Ele verifica quão profundo o elefante é em comparação com as árvores e carros no fundo, garantindo que o elefante seja escondido atrás de uma árvore se ele caminhar por trás dela, e que projete a sombra correta. Eles também adicionaram uma regra para garantir que o elefante não oscile ou trema entre os quadros, mantendo seu movimento suave e natural.

Quando testaram esse novo framework, os resultados foram impressionantes. Em seus experimentos, o método deles produziu vídeos que pareciam muito mais realistas do que as tentativas anteriores. Os objetos inseridos mantiveram sua aparência original (consistência de identidade) mesmo quando a câmera girava, e eles se misturaram ao fundo sem parecer um trabalho de recortar e colar. Por exemplo, quando testaram em um conjunto de dados chamado DAVIS, seu método alcançou uma pontuação de 23,22 para clareza de imagem (PSNR) e 0,9026 para similaridade estrutural (SSIM), superando outros métodos de ponta. Eles até mostraram que seu sistema poderia funcionar apenas com uma descrição textual, transformando palavras em um modelo 3D e depois em um vídeo, provando que você nem sempre precisa de uma foto perfeita para começar. Embora o sistema não seja perfeito e ainda dependa da qualidade da conversão 3D inicial, os pesquisadores sugerem que o uso desses "bancos de memória" de múltiplas visões é um grande passo à frente para fazer com que a edição de vídeo pareça mágica, em vez de um quebra-cabeça cheio de falhas.

Resumo Técnico: Inserção de Objetos em Vídeo Controlável via Priores Multiview

Definição do Problema
A inserção de objetos em vídeo visa integrar objetos especificados pelo usuário em cenas dinâmicas existentes, mantendo a coerência visual. Os métodos atuais dependem tipicamente de prompts de texto ou de uma única imagem de referência para definir a aparência do objeto. Essa abordagem cria limitações significativas:

Deriva de Identidade e Distorção: Observações de visão única falham em restringir a aparência do objeto sob mudanças de viewpoint, levando à deriva de identidade, distorção geométrica e artefatos em ângulos não observados.
Falhas de Integração: Muitas abordagens existentes não modelam explicitamente as interações entre o primeiro plano e o plano de fundo. Consequentemente, o movimento da câmera e as mudanças de viewpoint frequentemente resultam em camadas incorretas (ex: objetos aparecendo à frente de elementos de fundo que deveriam ocluir), artefatos de borda e cintilação temporal (flickering).
Geração Subdeterminada: A falta de informações multiview torna difícil preservar a identidade do objeto inserido e garantir relações de oclusão plausíveis em ambientes dinâmicos.

Metodologia
Os autores propõem um framework de inserção de objetos em vídeo que aborda essas limitações incorporando priores multiview derivados de 3D juntamente com módulos especializados de condicionamento e consistência. O framework opera sobre uma sequência de vídeo de origem, uma imagem de referência de primeiro plano, um prompt de texto e sinais de controle espaço-temporais (máscaras ou bounding boxes).

A arquitetura consiste em três componentes primários:

Geração de Referência Multiview:
- Uma imagem de referência 2D é "elevada" para uma malha texturizada 3D usando uma ferramenta de reconstrução 3D pré-treinada (Hunyuan3D 2.0).
- A malha é renderizada em um conjunto de imagens multiview ( $N$ vistas) usando extrínsecos de câmera uniformemente distribuídos. Isso fornece ao modelo generativo informações de aparência e geometria mais ricas de várias perspectivas, em vez de depender de uma única vista estática.
Módulo de Condicionamento de Consistência de Visão:
- Injeção de Referência por Caminho Duplo: Para utilizar efetivamente os dados multiview sem comprometer a estabilidade, o módulo emprega dois camros complementares:
  - Injeção de Latente de Preservação de Identidade (IPLI): Um codificador visual compartilhado processa o vídeo de origem e as renderizações multiview. As representações concatenadas são injetadas diretamente nos blocos DiT de denoising para ancorar a aparência do objeto através dos frames.
  - Banco de Características Multiview (MVFB): As imagens multiview são codificadas em uma base de conhecimento pesquisável de pares chave-valor. Através de cross-attention, o modelo recupera dinamicamente texturas e pistas geométricas relevantes ao viewpoint a partir deste banco, permitindo a geração adaptativa da aparência conforme o objeto rotaciona ou se move.
- Ponderação Sensível à Qualidade: Reconhecendo que a elevação 3D pode produzir reconstruções imperfeitas (ex: geometria ausente, texturas deformadas), o framework implementa um mecanismo de robustez:
  - Aumento de Artefatos Sintetizados: O treinamento retém renderizações naturalmente imperfeitas para expor o modelo a ruídos de reconstrução realistas.
  - Verificação de Consistência Semântica (SCC): Um módulo baseado em CLIP calcula a similaridade de cosseno entre o prompt de texto e cada vista renderizada. Um score de consistência modula a escala de referência ( $\alpha_{ref}$ ) e escala os tokens de características individuais. Isso suprime a influência de vistas semanticamente desalinhadas ou ruidosas enquanto retém evidências confiáveis.
Módulo de Consistência de Integração:
- Fundamentação Geométrica: Duas cabeças auxiliares (Cabeça de Profundidade e Cabeça de Contorno) operam no espaço latente para melhorar o realismo espacial.
  - A Cabeça de Profundidade é supervisionada por mapas de profundidade pseudo-ground-truth para impor a ordem de profundidade correta e relações de oclusão.
  - A Cabeça de Contorno minimiza as discrepâncias de máscara de segmentação para produzir bordas de objetos mais nítidas e reduzir o vazamento de cor (color bleeding).
- Otimização de Consistência Temporal: Uma perda temporal é aplicada durante o fine-tuning usando fluxo óptico de Lucas-Kanade. Isso deforma as previsões decodificadas em direção aos frames subsequentes para minimizar a cintilação inter-frame e garantir a continuidade do movimento.

Principais Contribuições

Framework de Prior Multiview: Uma abordagem novel que eleva referências 2D para representações multiview para melhorar a consistência de aparência e a integração primeiro plano-fundo em cenas dinâmicas.
Condicionamento de Consistência de Visão: Um mecanismo de caminho duplo combinando injeção direta de latente para estabilidade de identidade e um banco de características para recuperação adaptativa de viewpoint, suportado por um sistema de ponderação sensível à qualidade para lidar com reconstruções 3D imperfeitas.
Consistência de Integração: A introdução de supervisão de profundidade e contorno latente, juntamente com restrições temporais, para modelar explicitamente oclusão, afiar bordas e reduzir a cintilação.
Avaliação Abrangente: Validação em múltiplos benchmarks (DAVIS, VIPSeg, MagicBench) demonstrando melhorias em qualidade visual, controlabilidade, preservação de identidade e integração perceptiva.

Resultos Experimentais
O framework foi avaliado contra sete métodos de baseline (incluindo AnyV2V, UniVideo, VACE, MagicMotion, LoRA-Edit e PISCO) no DAVIS 2017, VIPSeg e MagicBench.

Desempenho Quantitativo: O método proposto alcançou resultados de estado da arte em fidelidade de reconstrução (PSNR: 23.22, SSIM: 0.9026) e qualidade perceptiva (menores pontuações LPIPS e FVD). Também superou os baselines em controlabilidade espacial (Mask_IoU e Box_IoU).
Métricas Sem Referência: Em termos de qualidade de vídeo perceptiva, o método alcançou as maiores pontuações de Consistência de Sujeito e Cintilação Temporal, indicando superioridade na preservação de identidade e transições suaves.
Estudos de Ablação: Remover qualquer componente central (Priores multiview, Injeção de caminho duplo, SCC ou Fundamentação Geométrica) resultou em declínios mensuráveis de desempenho, confirmando a necessidade de cada módulo. Por exemplo, remover o Banco de Características Multiview levou à deriva de identidade durante a rotação, enquanto remover o Verificador de Consistência Semântica fez com que o modelo seguisse reconstruções 3D falhas.
Capacidade Dirigida por Texto: Uma variante dirigida por texto (Ours t2i), que sintetiza a imagem de referência a partir de texto antes da elevação 3D, permaneceu competitiva, demonstrando a robustez do pipeline a mudanças de domínio.

Significância e Alegações
O artigo afirma que o framework proposto aborda efetivamente o desafio central de preservar a identidade de um objeto inserido através de diferentes viewpoints, alcançando uma integração perceptualmente plausível em cenas dinâmicas. Ao combinar priores multiview com consistência de integração, o método supera as limitações do condicionamento de visão única, especificamente reduzindo a deriva de identidade, a distorção geométrica e os artefatos de borda. Os autores posicionam este trabalho como um passo significativo para a edição de vídeo realista e controlável para aplicações em pós-produção cinematográfica, criação de conteúdo imersivo AR/VR e simulação de direção autônoma, onde objetos devem permanecer visualmente coerentes com cenas complexas ao longo do tempo. O framework suporta tanto o controle grosseiro por bounding-box quanto o controle refinado por máscara sem exigir a reconstrução de toda a cena.

Mais como este