Memory-V2V: Memory-Augmented Video-to-Video Diffusion for Consistent Multi-Turn Editing

Resumo Técnico: Memory-V2V

1. O Problema: Inconsistência em Edição de Vídeo Multi-turno

Os modelos atuais de edição de vídeo baseados em difusão (Video-to-Video) demonstram desempenho impressionante em edições de turno único (single-turn). No entanto, fluxos de trabalho práticos são inerentemente iterativos (multi-turno), onde os usuários refinam o conteúdo ao longo de várias interações.

O problema central identificado pelos autores é a inconsistência entre turnos (cross-turn consistency). Quando as edições são aplicadas sequencialmente:

• Os modelos existentes tratam cada turno de forma independente.
• Isso causa "deriva" (drift) ou sobrescrita de regiões geradas anteriormente.
• Exemplos citados: Em síntese de nova visão (novel view synthesis), regiões geradas em iterações anteriores tornam-se inconsistentes geométrica e visualmente. Em edição de vídeos longos guiada por texto, a aparência global do objeto editado (ex: uma maçã virando uma laranja) muda visualmente entre segmentos editados separadamente.

2. Metodologia: A Arquitetura Memory-V2V

O Memory-V2V é um framework aumentado por memória que trata edições anteriores não como contexto temporal contínuo, mas como restrições estruturadas externas. O objetivo é permitir a edição iterativa escalável sem o crescimento linear no custo computacional.

A arquitetura baseia-se em três componentes principais:

A. Recuperação Seletiva Baseada em Tarefa (Task-Aware Retrieval)
Em vez de condicionar o modelo em todo o histórico de edições (o que seria computacionalmente proibitivo), o sistema recupera apenas os vídeos anteriores mais relevantes para o turno atual.

• Para Síntese de Nova Visão: Utiliza um algoritmo de recuperação baseado em Campo de Visão (FOV - Field-of-View). Calcula a sobreposição geométrica entre a trajetória da câmera do vídeo alvo e as trajetórias dos vídeos armazenados no cache. A pontuação de relevância combina métricas de overlap (sobreposição) e containment (contenção).
• Para Edição de Vídeo Longo (Guiada por Texto): Utiliza similaridade semântica baseada em características visuais (DINO features) entre os segmentos de vídeo fonte, em vez de depender de instruções de texto ambíguas.

A. Tokenização Dinâmica (Dynamic Tokenization)
Uma vez recuperados os vídeos relevantes, o sistema aplica uma estratégia de alocação de capacidade computacional adaptativa:

• Vídeos altamente relevantes são tokenizados com alta resolução espacial/temporal (preservando detalhes finos).
• Vídeos menos relevantes são tokenizados com compressão agressiva.
• Isso mantém o orçamento de tokens total gerenciável, independentemente do número de iterações.

C. Mesclagem Adaptativa de Tokens (Adaptive Token Merging)
Para lidar com a complexidade quadrática da atenção em modelos DiT (Diffusion Transformers), o método introduz uma etapa de compressão antes da operação de atenção:

• Calcula-se uma pontuação de responsividade (responsiveness) para cada frame, baseada na atenção média que ele recebe das consultas alvo (target queries).
• Tokens de frames com baixa responsividade (que contribuem pouco para a geração atual) são fundidos (merged) em representações compactas usando operadores convolucionais aprendíveis.
• Descoberta Chave: A análise mostra que a responsividade dos tokens se estabiliza nas camadas intermediárias e tardias do transformer. Portanto, a mesclagem é aplicada estrategicamente nesses blocos (ex: blocos 10 e 20 em um modelo de 30 blocos), evitando a perda de informações críticas que ocorreria se feita muito cedo.

3. Contribuições Principais

1. Formulação do Problema: Definiram a edição de vídeo multi-turno como um problema distinto de consistência, onde a memória atua como uma restrição estrutural, diferentemente dos geradores de vídeo longos que assumem continuidade temporal.
2. Framework Memory-V2V: Propuseram um sistema que integra recuperação seletiva e compressão baseada em relevância, permitindo condicionamento em fontes de memória heterogêneas sem crescimento linear de custo.
3. Mecanismos de Recuperação Específicos: Desenvolveram mecanismos de recuperação não temporais e orientados à tarefa (FOV geométrico para visão nova; similaridade semântica para edição por texto).
4. Pipeline de Aumento de Dados: Para treinar a edição de vídeos longos sem dados pareados longos, criaram um pipeline que estende temporalmente apenas os vídeos alvo de pares curtos existentes, permitindo o treinamento de modelos de multi-turno.

4. Resultados Experimentais

O modelo foi avaliado em duas tarefas principais: Síntese de Nova Visão de Vídeo e Edição de Vídeo Longo Guiada por Texto.

• Consistência entre Turnos: O Memory-V2V superou significativamente os baselines (como ReCamMaster e LucyEdit) em métricas de consistência geométrica e visual entre iterações (ex: 1ª vs 3ª iteração). Enquanto os modelos base falhavam em manter a identidade do objeto ou a geometria da cena ao longo das iterações, o Memory-V2V manteve a coerência.
• Qualidade Visual: O modelo manteve a alta qualidade visual e a aderência à câmera/instrução, superando os baselines em métricas como VBench (qualidade de imagem, suavidade de movimento) e consistência de sujeito.
• Eficiência Computacional:
  • A estratégia de recuperação e tokenização dinâmica reduziu os FLOPs e a latência em mais de 90% comparado a uma escalação ingênua da janela de contexto.
  • A mesclagem adaptativa de tokens reduziu o custo computacional adicional em 30%, sem degradação visível na qualidade.

5. Significado e Impacto

O trabalho Memory-V2V representa um avanço crucial para a viabilidade prática de ferramentas de edição de vídeo generativa.

• Viabilidade de Fluxo de Trabalho: Resolve o gargalo da inconsistência que impedia a edição iterativa de alta fidelidade, permitindo que usuários refinem vídeos complexos passo a passo.
• Escalabilidade: Demonstra que é possível manter memória de longo prazo em modelos de difusão sem o custo computacional proibitivo, através de mecanismos inteligentes de seleção e compressão.
• Generalização: A abordagem é aplicável a diferentes modalidades de edição (baseada em câmera e baseada em texto), sugerindo um paradigma unificado para edição de vídeo iterativa.

Limitações: O modelo ainda herda limitações do modelo base de turno único (ex: mudanças extremas de visão) e pode ter dificuldades com vídeos longos contendo múltiplos cortes (shots) com transições bruscas de cena, devido ao treinamento focado em vídeos contínuos de single-shot.

Em suma, o Memory-V2V estabelece um novo estado da arte para edição de vídeo iterativa, equilibrando consistência de longo prazo, qualidade visual e eficiência computacional.