Resumo Técnico: MiVE (Recursos Visuais-Linguísticos Multiescala para Edição de Vídeo Guiada por Referência)

1. Definição do Problema

O artigo aborda a edição de vídeo guiada por referência, uma tarefa que exige gerar uma sequência de vídeo editada com base em três entradas: um vídeo de origem ($x_{src}$), uma instrução de texto ($x_{text}$) e uma imagem de referência ($x_{ref}$). A imagem de referência é tipicamente o primeiro quadro do vídeo de origem, modificado por meio de um modelo externo de edição de imagens para refletir as alterações desejadas.

O desafio central reside em equilibrar dois objetivos concorrentes:

1. Propagação Fiel: O modelo deve propagar com precisão os atributos visuais e as alterações de aparência especificadas na imagem de referência através de todos os quadros do vídeo.
2. Preservação da Integridade: O modelo deve manter a dinâmica de movimento original, a integridade semântica e o conteúdo não editado do vídeo de origem, mesmo em regiões oclusas na imagem de referência.

Métodos existentes enfrentam limitações na fusão multimodal:

• Codificadores Desacoplados: Abordagens que utilizam codificadores separados para texto (por exemplo, T5) e visão (por exemplo, SigLIP) sofrem com lacunas de modalidade, onde a atenção cruzada em estágios tardios falha em superar a divisão semântica entre instruções e conteúdo visual.
• Codificadores Unificados com Saída de Camada Única: Modelos Visuais-Linguísticos (VLMs) recentes usados como codificadores unificados (por exemplo, Kling O1) geralmente dependem exclusivamente de representações da camada final. Os autores observam que isso descarta detalhes espaciais de alta granularidade essenciais para edição precisa, pois camadas mais profundas codificam semânticas globais, enquanto camadas anteriores capturam estruturas espaciais localizadas.

2. Metodologia: MiVE

Os autores propõem o MiVE, um framework que reaproveita VLMs como extratores de recursos multiescala e os integra em um Transformer de Difusão (DiT) de autoatenção unificado. A arquitetura consiste em três componentes principais:

A. Extração de Contexto Multiescala

Motivados pela observação de que as camadas de VLM codificam informações complementares hierarquicamente, o MiVE extrai recursos de ambas a primeira e a última camadas de um VLM pré-treinado (especificamente Qwen3-VL-8B).

• Insight Diagnóstico: Através de uma análise de atenção cruzada multimodal, os autores demonstram que camadas iniciais de VLM localizam com precisão detalhes espaciais (por exemplo, silhuetas humanas), enquanto camadas finais capturam semânticas holísticas.
• Implementação: Recursos da primeira camada ($\phi_1$) e da última camada ($\phi_L$) são projetados no espaço latente do DiT por meio de adaptadores leves. Esses recursos multinível são concatenados e fundidos para criar tokens condicionais estacionários ($c$) que servem como uma âncora semântica durante todo o processo de remoção de ruído.

B. Codificação Latente Consciente de Referência

Para preservar a integridade estrutural enquanto ancora a geração à aparência de referência, o método codifica entradas visuais (vídeo de origem, vídeo alvo e imagem de referência) em um espaço latente compartilhado usando um VAE pré-treinado.

• Construção de Entrada: Durante o treinamento e a inferência, o modelo constrói uma entrada unificada concatenando duas ramificações temporalmente aumentadas ao longo da dimensão do canal: uma ramificação "alvo ruidosa" e uma ramificação "controle".
• Ancoragem: O latente de referência limpo ($z_{ref}$) é pré-fixado a ambas as ramificações. Isso garante que o modelo mantenha uma âncora de aparência consistente durante todo o processo de difusão, impedindo que o estilo de referência se desvie.

C. Esqueleto de Autoatenção Unificado

Diferentemente de arquiteturas desacopladas que fundem modalidades por meio de ramificações separadas de atenção cruzada, o MiVE processa todos os tokens — contexto condicional ($c$) e tokens latentes visuais ($v$) — dentro de um único manifold de autoatenção unificado.

• Mecanismo: Os tokens condicionais e os tokens visuais são concatenados em uma única sequência $u^{(0)} = [c; v]$.
• Modulação Adaptativa: O modelo emprega normalização de camada adaptativa por token (AdaLN). Tokens "limpos" (contexto e patches de referência) são modulados como totalmente desruidados ($t=0$), atuando como âncoras estáveis, enquanto tokens "ruidosos" (patches de vídeo restantes) são modulados de acordo com o timestep atual.
• Benefício: Este design elimina a incompatibilidade de modalidade inerente a projetos de atenção cruzada, permitindo fusão bidirecional e integração profunda de detalhes espaciais de alta granularidade com contexto semântico global dentro de um espaço compartilhado.

3. Contribuições Principais

1. Extração de Recursos Multiescala: O artigo identifica e aproveita a natureza hierárquica dos VLMs, extraindo recursos complementares de camadas iniciais (espaciais) e tardias (semânticas) para abordar o compromisso entre preservação de detalhes e adesão à instrução.
2. Arquitetura de Autoatenção Unificada: O MiVE introduz uma abordagem de modelagem de tokens unificada que processa tokens condicionais e visuais conjuntamente, evitando as limitações da atenção cruzada assimétrica e facilitando um melhor alinhamento de modalidades.
3. Codificação Latente Consciente de Referência: O método emprega uma estratégia específica de concatenação latente que pré-fixa o quadro de referência a ambas as ramificações ruidosa e de controle, garantindo propagação estável de aparência sem exigir máscaras de segmentação explícitas.

4. Resultados Experimentais

Os autores avaliaram o MiVE em um benchmark curado de 60 vídeos (720p), dividido em um Conjunto Simples (edição localizada) e um Conjunto Complexo (transformações de cena holísticas, movimento rápido, oclusões).

• Desempenho Quantitativo:
  • Avaliação Automatizada: Usando o Gemini-3-Flash em seis dimensões (Adesão à Instrução, Consistência de Conteúdo, Suavidade Temporal, Realismo Físico, Estética Visual, Coerência de Estilo), o MiVE alcançou as pontuações mais altas no Conjunto Complexo em todas as dimensões e ficou em primeiro ou segundo lugar no Conjunto Simples.
  • Preferência Humana: Em um estudo com 30 participantes, o MiVE obteve a maior preferência humana em ambos os conjuntos, superando métodos acadêmicos líderes (VACE, LucyEdit, VideoCof, Wan-Animate) e o sistema comercial Kling O1.
• Estudos de Ablação:
  • Arquitetura: Substituir a autoatenção unificada por codificadores desacoplados ou mecanismos de atenção cruzada resultou em quedas significativas de desempenho, validando a necessidade do manifold unificado.
  • Seleção de Camadas: Usar apenas camadas iniciais ou apenas camadas tardias produziu resultados inferiores em comparação com a abordagem combinada "Primeira + Última", confirmando o benefício da extração multiescala.

5. Significado e Alegações

O artigo afirma que o MiVE representa uma abordagem state-of-the-art para edição de vídeo guiada por referência. Seu significado reside em:

• Superar Lacunas de Modalidade: Ao unificar tokens condicionais e visuais em um manifold de autoatenção, o modelo alcança um raciocínio cruzado mais profundo do que abordagens anteriores desacopladas ou baseadas em atenção cruzada.
• Equilibrando Fidelidade e Semântica: A estratégia de extração multiescala resolve com sucesso a tensão entre preservar detalhes espaciais de alta granularidade (essenciais para identidade e textura) e compreender instruções semânticas globais.
• Aplicabilidade Prática: O método opera sem máscaras de segmentação explícitas, tornando-o adequado para cenários de edição complexos onde obter máscaras precisas é difícil ou impossível.

Os autores posicionam o MiVE como uma solução robusta para aplicações em pós-produção cinematográfica, criação de conteúdo e efeitos visuais, ao mesmo tempo em que reconhecem o potencial de uso indevido (por exemplo, deepfakes) e defendem o uso responsável e mecanismos de detecção.