VideoCoF: Unified Video Editing with Temporal Reasoner

Resumo Técnico: VideoCoF

1. O Problema

Os métodos existentes de edição de vídeo enfrentam um dilema fundamental (trade-off):

• Modelos Especialistas: Oferecem alta precisão e localização espacial (usando máscaras fornecidas pelo usuário), mas dependem de entradas específicas para cada tarefa, dificultando a unificação de diferentes tipos de edição.
• Modelos Unificados de Aprendizado em Contexto (In-Context Learning): São livres de máscaras e unificam tarefas, mas carecem de pistas espaciais explícitas. Isso resulta em um mapeamento fraco entre a instrução textual e a região do vídeo a ser editada, levando a localizações imprecisas e falhas em cenários complexos (como múltiplos objetos ou raciocínio espacial).

O objetivo central do trabalho é resolver esse conflito: criar um modelo unificado que mantenha a precisão dos modelos especialistas sem depender de máscaras fornecidas pelo usuário.

2. Metodologia

O VideoCoF (Chain-of-Frames) propõe uma nova abordagem inspirada no raciocínio de "Cadeia de Pensamento" (Chain-of-Thought) de Grandes Modelos de Linguagem (LLMs), adaptada para modelos de difusão de vídeo.

A. Fluxo "Ver → Raciocinar → Editar"
Em vez de gerar o vídeo editado diretamente a partir da instrução e do vídeo original, o modelo é forçado a seguir um processo de três etapas:

1. Ver (See): O modelo recebe o vídeo original.
2. Raciocinar (Reason): O modelo deve primeiro prever um token de raciocínio (um quadro latente) que representa a região de edição. Este quadro atua como uma "máscara de ground truth" aprendida, destacando em tons de cinza a área onde a edição deve ocorrer.
3. Editar (Edit): Com base no quadro de raciocínio, o modelo gera o vídeo final editado.

Essa abordagem transforma a edição de vídeo em um processo encadeado, onde o modelo aprende a identificar onde editar antes de executar a edição.

B. Estrutura de Dados e Treinamento

• Entrada Unificada: O modelo utiliza uma sequência temporal concatenada contendo: tokens do vídeo fonte (limpo), tokens de raciocínio (com ruído) e tokens do vídeo alvo (com ruído).
• Formato de Raciocínio: A pesquisa identificou que um destaque em cinza com transparência progressiva (gradual) é o formato mais eficaz para representar a região de edição, superando máscaras pretas ou vermelhas.
• Dados: O modelo foi treinado com apenas 50.000 pares de vídeo, uma fração mínima comparada aos milhões usados por concorrentes (como o ICVE, que usa ~1M de pré-treinamento + 150k de ajuste fino).

C. Estratégia de Alinhamento RoPE (Rotary Position Embedding)
Para permitir a extrapolação de comprimento (gerar vídeos mais longos do que os vistos no treinamento) e garantir o alinhamento do movimento:

• Otimização de Índices Temporais: O método atribui índices temporais específicos para evitar colisões.
  • Vídeo Fonte: Índices [1, F]
  • Quadro de Raciocínio: Índice 0 (isolado para fornecer orientação espacial sem interferir no tempo).
  • Vídeo Alvo: Índices [1, F] (reiniciados para corresponder à duração do vídeo fonte).
• Isso permite que o modelo generalize para vídeos muito mais longos (até 16x o tamanho de treinamento) sem degradação de qualidade ou desalinhamento de movimento.

3. Principais Contribuições

1. VideoCoF (Chain-of-Frames): O primeiro framework a introduzir raciocínio temporal explícito para edição de vídeo, eliminando a necessidade de máscaras manuais enquanto mantém alta precisão espacial.
2. Formato de Raciocínio Otimizado: Identificação de que quadros de raciocínio em cinza com transparência progressiva são superiores para guiar modelos de difusão de vídeo.
3. Estratégia RoPE para Extrapolação: Uma nova técnica de alinhamento de posições rotativas que permite a geração de vídeos com durações extremas (ex: 141 a 513 quadros) a partir de modelos treinados em sequências curtas (33 quadros).
4. VideoCoF-Bench: A criação de um novo benchmark abrangente focado em edição de vídeo de nível de instância (múltiplos objetos, localização precisa), superando benchmarks anteriores limitados a trocas de objetos genéricos.

4. Resultados

O VideoCoF foi avaliado no VideoCoF-Bench e comparado com state-of-the-art (SOTA) como ICVE, VACE, LucyEdit e outros.

• Desempenho Geral: O VideoCoF alcançou o melhor desempenho em Seguimento de Instrução (+15,14% em relação ao ICVE) e Taxa de Sucesso (+18,6% em relação ao ICVE).
• Eficiência de Dados: Apesar de usar apenas 50k pares de dados (vs. ~1,15M do ICVE), o VideoCoF superou os modelos que utilizam grandes volumes de pré-treinamento.
• Qualidade Visual:
  • Preservação: Mantém regiões não editadas intactas com alta fidelidade.
  • Consistência Temporal: Métricas como CLIP-F e DINO mostram alta consistência estrutural e temporal.
  • Extrapolação de Comprimento: O modelo demonstrou capacidade robusta de editar vídeos com 4x a 16x o comprimento de treinamento sem artefatos de movimento ou borrão.
• Casos de Uso: O modelo demonstrou sucesso em tarefas complexas como remoção de múltiplas instâncias, adição de objetos com interação física, troca de objetos específicos e transferência de estilo local.

5. Significado e Impacto

O trabalho do VideoCoF representa um avanço significativo na unificação da edição de vídeo. Ao introduzir um mecanismo de "raciocínio" intermediário, ele resolve o problema fundamental de mapeamento instrução-região em modelos unificados, permitindo que modelos de difusão de vídeo entendam instruções complexas e espaciais sem a necessidade de intervenções manuais (máscaras).

A eficiência do modelo (alto desempenho com poucos dados) sugere que a arquitetura de "raciocínio antes da geração" é um caminho mais promissor do que o simples aumento de escala de dados. Além disso, a capacidade de extrapolação de comprimento abre novas possibilidades para a edição de vídeos longos e narrativos, algo que era um gargalo para os modelos atuais. O código, pesos e dados estão disponíveis publicamente, facilitando a reprodução e o avanço futuro na área.