Kiwi-Edit: Versatile Video Editing via Instruction and Reference Guidance

O artigo apresenta o Kiwi-Edit, uma nova arquitetura unificada e um pipeline escalável de geração de dados que, ao criar o conjunto de dados RefVIE, supera as limitações atuais na edição de vídeo baseada em instruções, permitindo um controle visual preciso e fiel através da combinação de instruções textuais e referências visuais.

O essencial

Imagine que você tem um vídeo de férias e quer mudar a roupa da pessoa, trocar o fundo por uma praia tropical ou até substituir um cachorro por um robô. Antigamente, fazer isso exigia horas de trabalho manual em softwares complexos. Depois, surgiram as IAs que entendem comandos de texto, como "troque a camisa por uma vermelha". Mas, muitas vezes, a IA não entendia exatamente qual tom de vermelho ou qual estilo de camisa você queria.

É aqui que entra o Kiwi-Edit, um novo projeto de pesquisa que funciona como um "super-ajudante" para edição de vídeo. Vamos explicar como ele funciona usando algumas analogias simples:

1. O Problema: A Limitação do Texto

Pense em tentar descrever um vestido específico para um pintor apenas usando palavras. Você diz "um vestido azul com detalhes dourados". O pintor pode pintar um azul que você não gostou, ou os detalhes dourados podem ficar estranhos. O texto é bom, mas não é perfeito para descrever detalhes visuais complexos.

Muitas IAs de vídeo atuais só "ouvem" o texto. Elas tentam adivinhar o que você quer, mas muitas vezes erram o detalhe.

2. A Solução: O Poder da "Foto de Referência"

O Kiwi-Edit muda a regra do jogo. Em vez de apenas descrever o que você quer, você pode mostrar o que quer.

• Analogia: É como se você fosse a um alfaiate e, em vez de apenas dizer "quero um terno azul", você mostrasse uma foto do terno exato que deseja. O alfaiate (a IA) olha para a foto e sabe exatamente o tecido, o corte e o tom.

No Kiwi-Edit, você dá dois comandos:

1. O Texto: "Troque o fundo por uma floresta."
2. A Foto de Referência: Uma imagem da floresta específica que você quer.

3. O Grande Desafio: Falta de "Alunos"

Para ensinar uma IA a fazer isso, você precisa de milhares de exemplos de "antes e depois" onde alguém já fez a troca usando uma foto de referência. O problema é que esses exemplos eram raros e caros de criar (como ter apenas 10 alunos em uma escola gigante).

4. A Invenção: A "Fábrica de Exemplos" (RefVIE)

A equipe criou um sistema inteligente chamado RefVIE.

• Como funciona: Eles pegaram milhões de vídeos antigos (onde a IA já fazia edições apenas com texto) e usaram outra IA poderosa para "inventar" as fotos de referência que faltavam.
• A Analogia: Imagine que você tem um livro de receitas (os vídeos antigos). O sistema pega uma receita de "bolo de chocolate" e, usando um chef robô, cria uma foto linda e perfeita de como esse bolo deveria parecer, transformando a receita simples em um "kit completo de ensino" com foto e texto.
• Resultado: Eles criaram um banco de dados gigante com quase meio milhão de exemplos perfeitos para treinar a IA.

5. O Cérebro do Sistema: Kiwi-Edit

Com esses dados, eles treinaram o modelo Kiwi-Edit.

• O Arquiteto (MLLM): É como um tradutor que entende o que você diz (texto) e o que você mostra (foto). Ele pega essas duas informações e as mistura.
• O Artista (DiT): É o motor que realmente cria o vídeo. Ele recebe as instruções misturadas do tradutor e começa a desenhar quadro a quadro.
• O Truque Especial: O Kiwi-Edit tem um mecanismo inteligente para não estragar o vídeo original. Ele mantém a estrutura do vídeo (os movimentos das pessoas, a câmera) intacta, mas "pinta" por cima as novas texturas e objetos baseados na foto de referência. É como trocar a roupa de um ator em um filme sem precisar filmar a cena de novo.

6. Por que isso é incrível?

• Precisão: Se você quer uma "gorra preta clássica", a IA não vai inventar uma gorra verde ou moderna. Ela olha para a foto de referência e copia exatamente aquele estilo.
• Versatilidade: Funciona para mudar roupas, adicionar objetos, trocar fundos ou até remover pessoas.
• Acesso: Eles liberaram tudo (dados, código e modelo) para que qualquer pessoa possa usar e melhorar, não apenas grandes empresas.

Resumo da Ópera:
O Kiwi-Edit é como dar à IA um "olho clínico" e um "álbum de recortes". Em vez de apenas ouvir o que você pede, ela olha para o que você mostra e consegue editar vídeos com uma precisão que parecia impossível antes, transformando ideias vagas em resultados visuais perfeitos. É um grande passo para que qualquer pessoa possa editar vídeos como um profissional, apenas com um clique e uma foto de referência.

Resumo técnico

Título: Kiwi-Edit: Edição de Vídeo Versátil via Instrução e Guia de Referência

1. O Problema

A edição de vídeo baseada em instruções (texto) avançou rapidamente, mas enfrenta limitações críticas:

• Ambiguidade da Linguagem Natural: O texto é inerentemente limitado para descrever nuances visuais complexas, como texturas específicas, identidades exatas de objetos ou características estilísticas sutis. Usuários frequentemente desejam editar vídeos usando exemplos visuais (ex: "substitua este carro por este carro esportivo"), mas modelos baseados apenas em texto falham em capturar essa intenção precisa.
• Escassez de Dados: Embora a edição guiada por referência (texto + imagem de referência) seja a solução ideal, o desenvolvimento de tais modelos é travado pela falta de dados de treinamento de alta qualidade. Conjuntos de dados existentes fornecem pares (vídeo fonte, instrução, vídeo alvo), mas raramente incluem a imagem de referência necessária para treinar modelos que entendam o guia visual. Os poucos trabalhos existentes que utilizam esse formato dependem de dados proprietários fechados.

2. Metodologia

O trabalho propõe uma abordagem de três pilares: um pipeline de geração de dados escalável, um novo conjunto de dados e um benchmark, e uma arquitetura unificada de modelo.

A. Pipeline de Geração de Dados Escalável (RefVIE)
Para superar a escassez de dados, os autores criaram um pipeline automatizado para transformar pares de edição de vídeo existentes (texto-vídeo) em quadrupletos de alta fidelidade (Vídeo Fonte, Instrução, Imagem de Referência, Vídeo Alvo):

1. Agregação e Filtragem: Coletaram 3,7 milhões de amostras de conjuntos de dados de código aberto (Ditto, ReCo, OpenVE).
2. Ancoragem e Segmentação: Utilizaram modelos de visão-linguagem (Qwen3-VL) para identificar a região de interesse no vídeo alvo e o modelo SAM3 para gerar máscaras de segmentação precisas.
3. Síntese da Imagem de Referência: Usaram editores de imagem generativos (Qwen-Image-Edit) para sintetizar a imagem de referência.
   • Para mudança de fundo: Removem o objeto e preenchem o fundo para criar uma referência limpa.
   • Para edição local: Extraem o objeto editado e o colocam em um fundo limpo para destacar a nova aparência.
4. Controle de Qualidade: Aplicam filtros rigorosos (pontuação de alinhamento semântico via MLLM e deduplicação via CLIP) para reduzir o conjunto para 477.000 quadrupletos de alta qualidade.

B. Arquitetura do Modelo (Kiwi-Edit)
O Kiwi-Edit é um framework unificado que integra um Modelo de Linguagem Multimodal (MLLM) com um Transformador de Difusão (DiT):

• Condicionamento Semântico (MLLM): Utiliza um MLLM congelado (Qwen2.5-VL) com adaptadores LoRA para processar sequências intercaladas de frames do vídeo fonte, instruções de texto e imagens de referência.
• Mecanismo de Duplo Conector:
  • Query Connector: Projeta tokens de consulta aprendíveis para extrair a intenção da edição.
  • Latent Connector: Extrai características visuais densas da imagem de referência.
• Injeção Híbrida de Latentes (Crucial):
  • Controle Estrutural (Vídeo Fonte): As características do vídeo fonte são adicionadas elemento a elemento ao latente ruidoso, moduladas por um escalar dependente do tempo ($\gamma(t)$). Isso preserva a estrutura espaço-temporal original.
  • Controle de Referência (Imagem): As características da imagem de referência são concatenadas à sequência de entrada do DiT. Isso permite que o modelo "copie" detalhes de textura e estilo diretamente da referência.
• Objetivo de Treinamento: Flow Matching (Minimização do erro quadrático médio entre o campo de velocidade previsto e o verdadeiro).

C. Estratégia de Treinamento Curricular (3 Estágios)
Para garantir convergência estável:

1. Alinhamento MLLM-DiT: Treina apenas os conectores e tokens usando dados de edição de imagem para alinhar os espaços semânticos.
2. Ajuste Fino de Instrução: Treina o DiT desbloqueado usando dados de edição de vídeo baseados apenas em texto (foco em primitivas de edição gerais).
3. Ajuste Fino Guiado por Referência: Introduz o conjunto de dados RefVIE (quadrupletos) para refinar a capacidade de transferência de textura e aderência visual à referência.

3. Principais Contribuições

1. RefVIE Dataset: O primeiro conjunto de dados de código aberto em larga escala (477k amostras) especificamente projetado para edição de vídeo guiada por instrução e referência.
2. RefVIE-Bench: Um benchmark rigoroso com 110 amostras verificadas manualmente para avaliar aderência à referência, conformidade com instruções e consistência temporal.
3. Kiwi-Edit (Modelo): Uma arquitetura unificada que supera o estado da arte (SOTA) em tarefas de edição apenas por instrução e, crucialmente, em tarefas guiadas por referência, sem depender de dados proprietários.

4. Resultados

• Desempenho em Instrução (OpenVE-Bench): O Kiwi-Edit alcançou uma pontuação geral de 3.02, superando todos os modelos de código aberto anteriores (como OpenVE-Edit com 2.50) e superando até mesmo o modelo proprietário Runway Aleph na tarefa de "Mudança de Fundo" (3.84 vs 2.62).
• Desempenho Guiado por Referência (RefVIE-Bench): O modelo treinado com dados de referência alcançou uma pontuação geral de 3.31, superando o Runway Aleph (3.29) e demonstrando alta consistência de identidade (3.98) e similaridade de referência (3.72). Embora o modelo proprietário Kling-O1 tenha pontuações absolutas mais altas, o Kiwi-Edit estabelece um novo patamar para modelos de código aberto.
• Avaliação Qualitativa: O modelo demonstra superioridade na preservação de detalhes finos, consistência temporal e capacidade de seguir instruções complexas que exigem exemplos visuais (ex: adicionar um chapéu específico ou mudar o estilo de fundo mantendo o sujeito).

5. Significância

Este trabalho é fundamental para o campo de edição de vídeo generativa porque:

• Democratiza o Acesso: Remove a dependência de dados proprietários para edição guiada por referência, fornecendo dados e modelos de código aberto.
• Ponte entre Intenção e Realização: Resolve a lacuna entre o que o usuário deseja (frequentemente expresso visualmente) e o que o modelo consegue gerar, permitindo um controle visual preciso que o texto sozinho não consegue oferecer.
• Novo Paradigma de Arquitetura: A estratégia de injeção híbrida (adição para estrutura, concatenação para textura) oferece uma solução técnica robusta para equilibrar a preservação do vídeo original com a transferência de estilo/fornecimento de referência.

Em resumo, o Kiwi-Edit estabelece um novo estado da arte na edição de vídeo controlável, provando que a combinação de dados sintéticos escaláveis e arquiteturas multimodais unificadas pode superar as limitações dos métodos baseados apenas em texto.