💻 computer science

Goku: A Million-Scale Universal Dataset and Benchmark for Instruction-Based Video Editing

Este artigo apresenta o Goku, um conjunto de dados de larga escala de 2 milhões de pares de edição de vídeo alinhados por instrução que abrangem manipulações estruturais e de múltiplas tarefas complexas, juntamente com o modelo Goku-Edit e o benchmark Goku-Bench, para avançar as capacidades de edição de vídeo baseada em instruções para além de simples mudanças de aparência.

Autores originais: Sen Liang, Cong Wang, Zhentao Yu, Fengbin Guan, Zhengguang Zhou, Teng Hu, Youliang Zhang, Yuan Zhou, Xin Li, Qinglin Lu, Zhibo Chen

Publicado 2026-06-30

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Sen Liang, Cong Wang, Zhentao Yu, Fengbin Guan, Zhengguang Zhou, Teng Hu, Youliang Zhang, Yuan Zhou, Xin Li, Qinglin Lu, Zhibo Chen

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um editor de vídeo mágico que pode mudar qualquer coisa em um filme apenas digitando uma frase como: "Faça o cachorro correr mais rápido e torne o céu roxo". Por muito tempo, essas ferramentas mágicas foram como aprendizes desajeitados: elas podiam trocar a cor de uma camisa ou remover um objeto indesejado, mas se você pedisse para mover um personagem pela sala ou mudar o ângulo da câmera, elas ficavam confusas, travavam ou faziam uma bagunça.

O artigo apresenta o Goku, um novo e massivo projeto projetado para treinar esses editores mágicos para se tornarem verdadeiros mestres. Aqui está a divisão do que eles fizeram, explicada de forma simples:

1. O Problema: Os Conjuntos de Dados "Um Truque Só"

Antes disso, os dados de treinamento para esses editores de vídeo de IA eram como uma biblioteca cheia de livros sobre apenas um tópico: mudar a cor de um carro. Se você quisesse aprender a dirigir um carro (mover um objeto) ou mudar o cenário (movimento de câmera), a biblioteca não tinha livros. Os modelos de IA estavam presos porque só sabiam fazer tarefas simples de "pintura por números".

2. A Solução: A Biblioteca "Goku"

Os pesquisadores construíram o Goku, um conjunto de dados massivo contendo 2 milhões de pares de vídeos. Pense nisso como construir uma academia gigante e de alta tecnologia para a IA.

O que há dentro? Diferente das bibliias anteriores, esta contém desafios complexos. Inclui vídeos onde a câmera faz um movimento de pan ao redor, onde uma pessoa se move de um lado para o outro da sala e onde múltiplas mudanças acontecem ao mesmo tempo (ex: "Troque a camisa E adicione um chapéu").
Como eles fizeram isso? Eles não apenas filmaram esses vídeos; eles construíram uma fábrica de robôs para criá-los. Usaram IA avançada para decompor pedidos complexos em etapas pequenas e gerenciáveis. Por exemplo, para fazer um cachorro correr, primeiro ensinaram a IA a fazer um cachorro correr em uma única imagem, e depois como fazer essa imagem se mover suavemente em um vídeo.
O Controle de Qualidade: Para garantir que os vídeos não fossem lixo, eles instalaram um sistema de segurança de "tripla verificação". Cada vídeo foi checado três vezes por uma IA super inteligente (Gemini) para garantir que as instruções fossem seguidas, que o movimento parecesse real e que o vídeo não tivesse falhas. Eles descartaram cerca de 88% das tentativas para manter apenas os melhores 2 milhões.

3. A Nova Ferramenta: Goku-Edit

Com esta nova biblioteca, eles construíram um novo editor de vídeo chamado Goku-Edit.

O Cérebro: Em vez de apenas ler texto, este editor usa um "Modelo de Linguagem Grande Multimodal" (MLLM). Pense nisso como dar ao editor um cérebro que consegue realmente entender a história e as instruções, não apenas combinar palavras-chave.
A Abordagem de Duas Mãos: A maior inovação é que o editor tem duas "mãos" trabalhando juntas:
- Mão A (O Arquiteto): Esta mão desenha um mapa bruto (uma máscara) de onde as mudanças devem acontecer. Ela foca na estrutura e no movimento.
- Mão B (O Pintor): Esta mão foca nos detalhes, cores e texturas.
- Por que isso importa: Ao separar o "onde" do "o quê", o editor não fica confuso. Ele sabe exatamente onde mover o cachorro sem acidentalmente pintar o pelo do cachorro de azul.
O "Spatial CFG": Este é um termo técnico para uma rede de segurança. Garante que, quando o editor faz uma mudança, ele não transborde acidentalmente e estrague o resto do vídeo. Mantém as mudanças precisas e contidas.

4. O Teste: Goku-Bench

Para provar que seu novo editor é o melhor, eles criaram um novo teste chamado Goku-Bench.

Em vez de testes simples, deram à IA 1.000 desafios difíceis, como "Mova a câmera para a esquerda enquanto o gato pula".
Eles usaram 7 novas formas de avaliar os resultados, verificando coisas como "A física fez sentido?" e "A câmera se moveu suavemente?".
O Resultado: O Goku-Edit venceu todos os outros modelos de código aberto, melhorando sua capacidade de seguir instruções em até 8%. Foi particularmente bom em mover objetos e lidar com pedidos complexos de múltiplas etapas onde outros modelos falharam.

Resumo

Em resumo, o artigo diz: "Construímos uma biblioteca de treinamento de alta qualidade e massiva (Goku) que ensina a IA a realizar edições de vídeo complexas, não apenas trocas de cores simples. Construímos um novo editor (Goku-Edit) que usa um sistema de duas partes para entender estrutura e detalhes separadamente, e provamos que ele funciona melhor do que qualquer outro em um novo teste mais difícil (Goku-Bench)."

Eles não alegaram que esta tecnologia está pronta para hospitais ou usos clínicos específicos; focaram inteiramente em tornar a edição de vídeo mais inteligente, flexível e capaz de lidar com pedidos criativos complexos.

Resumo Técnico: Goku: Um Conjunto de Dados e Benchmark Universal de Escala de Milhões para Edição de Vídeo Baseada em Instruções

1. Declaração do Problema

Os conjuntos de dados e modelos existentes de edição de vídeo baseada em instruções (IVE) estão amplamente limitados à edição de aparência de tarefa única (ex: remoção de objetos, troca de atributos ou transferência de estilo). Eles falham em abordar os requisitos complexos e multifacetados de cenários do mundo real, carecendo especificamente de suporte para:

Manipulações estruturais: Controle preciso sobre o movimento do sujeito e o movimento da câmera.
Edição de múltiplas tarefas: Execução simultânea de múltiplas instruções de edição (ex: adicionar um objeto enquanto altera o estilo).
Edição guiada por referência: Edição baseada em imagens de referência fornecidas pelo usuário com variações de pose ou iluminação.

Os conjuntos de dados atuais frequentemente sofrem com definições de tarefas estreitas, filtragem insuficiente de rigor, levando a amostras de baixa qualidade ou estáticas, e uma falta de benchmarks capazes de avaliar essas capacidades estruturais e de múltiplas tarefas complexas.

2. Metodologia

O artigo propõe uma solução abrangente composta por um conjunto de dados de grande escala (Goku), um pipeline de síntese de dados robusto, um novo modelo de edição (Goku-Edit) e um benchmark rigoroso (Goku-Bench).

A. O Conjunto de Dados Goku (2 Milhões de Pares)

O Goku é um conjunto de dados de alta qualidade e alinhado a instruções, contendo 2 milhões de pares de edição de vídeo. Ele expande o escopo do IVE para incluir:

Edições Básicas: Adicionar, Remover, Trocar, Alterar, Transferência de Estilo.
Edições Estruturais: Movimento do Sujeito (variação de ação/posição) e Movimento de Câmera (pan, zoom, etc.).
Edições Complexas: Edição de múltiplas tarefas (2–5 tarefas simultaneamente) e edição baseada em referência.

Pipeline de Síntese de Dados:
Para gerar esta escala de dados mantendo a precisão semântica e a coerência temporal, os autores projetaram um pipeline automatizado:

Pré-processamento: Curadoria de 1 milhão de clipes de alta qualidade do Koala-36M usando pontuação estética, análise de movimento e remoção de marcas d'água baseada em OCR.
Geração de Instruções: Utilizou o Gemini2.5-Pro (um MLLM) para gerar instruções de edição diversas e estruturadas e identificar objetos operáveis.
Geração Específica de Tarefa:
- Aparência: Usou VACE para troca/alteração e uma abordagem de dualidade (Remover $\to$ Trocar papéis $\to$ Adicionar) para inserção.
- Transferência de Estilo: Decomposta em estilização do primeiro quadro (Flux), extração de mapas de profundidade e propagação de estilo via VACE para garantir consistência temporal.
- Estrutural: Decomposição de tarefas complexas. Para Movimento do Sujeito, a variação de ação usou Wan2.2, enquanto a variação de posição combinou Flux (deslocamento de nível de quadro) e Wan2.2 (geração de vídeo). Movimento de Câmera utilizou RecamMaster.
- Múltiplas Tarefas: Executada como uma cadeia sequencial de edições de tarefa única.
Sistema de Filtragem Progressiva: Um sistema de controle de qualidade de três níveis alimentado pelo Gemini2.5-Pro e verificações geométricas:
- Nível 1: Filtragem de vídeo de origem (estética, movimento, marcas d'água).
- Nível 2: Verificação de condição (IoU de máscara, consistência semântica de instruções vs. alvos).
- Nível 3: Validação pós-síntese (consistência entre quadros, artefatos de frequência, fotorealismo). Este nível filtra cerca de 88% das amostras sintetizadas para garantir alta fidelidade.

B. Arquitetura do Modelo Goku-Edit

O Goku-Edit é um framework de dois ramos projetado para lidar com instruções complexas e controle estrutural:

Design de Dois Ramos:
- Ramo Principal: Gera o vídeo editado ( $V_e$ ) condicionado ao texto, vídeo de origem e imagem de referência.
- Ramo Auxiliar: Prediz a máscara de edição ( $M$ ) para fornecer ancoragem espacial. Ele opera em uma versão do vídeo de origem com subamostragem espacial.
- Encoder: Ambos os ramos utilizam um Modelo de Linguagem de Grande Escala Multimodal (MLLM) congelado (Qwen3VL-8B) como o codificador de texto para melhorar a compreensão semântica de instruções complexas.
Atenção Cruzada Espacial Alinhada por RoPE:
- Para resolver o desalinhamento espacial entre o ramo de vídeo de alta resolução e o ramo de máscara de baixa resolução ( $1/n$ de resolução), os autores propõem escalar os índices de posição do ramo de máscara por um fator $n$ antes da computação do RoPE.
- Isso mapeia os tokens de máscara para um sistema de coordenadas físicas unificado, eliminando deslocamentos macro e preservando o viés de localidade.
- Atenção Bidirecional: Inclui atenção de Máscara-para-Vídeo (M2V) e Vídeo-para-Máscara (V2M). O V2M permite que o ramo de máscara refine suas previsões com base no estado evolutivo do ramo principal, prevenindo incoerência de borda.
CFG Espacial Aprimorado (SpatialCFG):
- Uma estratégia de inferência livre de treinamento que amplifica as restrições espaciais entre ramos.
- Ele contrasta predições acopladas (com atenção cruzada) contra baselines desacoplados (com latentes nulos) para isolar e amplificar o sinal espacial injetado pelo ramo de máscara.
- Isso suprime o transbordamento da edição e melhora a consistência de borda sem treinamento adicional.

C. Goku-Bench

Um benchmark abrangente apresentando 1.000 casos de teste verificados por humanos cobrindo diversos sujeitos, cenas e dificuldades de tarefa (incluindo baixa luminosidade e movimento rápido).

Métricas: Inclui 7 métricas específicas de edição:
1. Fidelidade às Regras Físicas (PR): Adesão às leis da física do mundo real.
2. Precisão de Relacionamento Espacial (SR): Arranjo espacial correto.
3. Seguimento de Instrução (IF): Completude da execução de múltiplas tarefas.
4. Qualidade Geral de Edição (EQ): Naturalidade visual e consistência.
5. Movimento do Sujeito (SuM): Realismo da trajetória do sujeito.
6. Movimento de Câmera (CM): Precisão dos tipos de movimento de câmera.
7. Transferência de Estilo (ST): Similaridade de características para precisão de estilo.

3. Resultados Principais

Avaliado no Goku-Bench, o Goku-Edit demonstra melhorias significativas sobre modelos de código aberto de última geração (ex: LucyEdit, InsViE, Omni-Video) e compete favoravelmente com modelos comerciais (Runway Gen-4, Luma Ray3).

Seguimento de Instrução: Alcançou até +8% de melhoria sobre outros modelos de código aberto.
Desempenho Estrutural e de Múltiplas Tarefas: Superou significativamente os baselines em PR (Fidelidade às Regras Físicas), SR (Precisão Espacial), SuM (Movimento do Sujeito) e CM (Movimento de Câmera), validando a capacidade do conjunto de dados de treinar modelos em tarefas estruturais complexas.
Estudos de Ablação:
- Qualidade dos Dados: Modelos treinados nos dados filtrados do Goku superaram significativamente aqueles treinados em dados não filtrados ou conjuntos de dados existentes (InsV2V, InsViE), confirmando o valor do sistema de filtragem progressiva.
- Arquitetura: Remover o encoder MLLM, o design de dois ramos, o alinhamento RoPE ou o SpatialCFG resultou em quedas mensuráveis de desempenho, particularmente em precisão espacial e seguimento de instrução.
- Fator de Subamostragem: Um fator de subamostragem ideal de $n=4$ foi encontrado para equilibrar detalhes de textura e sinal estrutural.
Estudo de Usuário: O Goku-Edit classificou-se em primeiro lugar entre todos os métodos em um estudo de usuário em relação ao seguimento de instrução, qualidade de vídeo e coerência temporal.

4. Significância e Alegações

O artigo afirma que o Goku representa uma mudança de paradigma na edição de vídeo baseada em instruções ao ir além de simples mudanças de atributos para manipulações de múltiplas tarefas e estruturais.

Contribuição do Conjunto de Dados: É o primeiro conjunto de dados que cobre explicitamente deformações estruturais (movimento de sujeito/câmera) e edição de múltiplas tarefas em escala de milhões, abordando uma lacuna crítica na pesquisa atual de IVE.
Contribuição Metodológica: A arquitetura proposta Goku-Edit demonstra que o desacoplamento do controle estrutural (ramo de máscara) da renderização de aparência (ramo principal), combinado com o raciocínio baseado em MLLM e alinhamento espacial, é essencial para uma edição de alta fidelidade e complexa.
Contribuição do Benchmark: O Goku-Bench estabelece um novo padrão para avaliação, introduzindo métricas que visam especificamente a plausibilidade física e o raciocínio espacial, que foram anteriormente negligenciados.

Os autores concluem que seu trabalho fornece os dados, o modelo e a estrutura de avaliação necessários para preencher a lacuna entre as capacidades atuais da IA generativa e as demandas criativas complexas da produção de vídeo do mundo real.