💻 computer science

Goku: A Million-Scale Universal Dataset and Benchmark for Instruction-Based Video Editing

Este artículo presenta Goku, un conjunto de datos a gran escala de 2 millones de pares de edición de video alineados con instrucciones que cubren manipulaciones estructurales y multitarea complejas, junto con el modelo Goku-Edit y el benchmark Goku-Bench, para avanzar las capacidades de edición de video basada en instrucciones más allá de los simples cambios de apariencia.

Autores originales: Sen Liang, Cong Wang, Zhentao Yu, Fengbin Guan, Zhengguang Zhou, Teng Hu, Youliang Zhang, Yuan Zhou, Xin Li, Qinglin Lu, Zhibo Chen

Publicado 2026-06-30

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Sen Liang, Cong Wang, Zhentao Yu, Fengbin Guan, Zhengguang Zhou, Teng Hu, Youliang Zhang, Yuan Zhou, Xin Li, Qinglin Lu, Zhibo Chen

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un editor de video mágico que puede cambiar cualquier cosa en una película con solo escribir una frase como: "Haz que el perro corra más rápido y vuelve el cielo púrpura". Durante mucho tiempo, estas herramientas mágicas fueron como aprendices torpes: podían cambiar el color de una camisa o eliminar un objeto perdido, pero si les pedías que movieran a un personaje a través de la habitación o cambiaran el ángulo de la cámara, se confundían, se congelaban o hacían un desastre.

El artículo presenta Goku, un nuevo y masivo proyecto diseñado para entrenar a estos editores mágicos para que se conviertan en verdaderos maestros. Aquí está el desglose de lo que hicieron, explicado de forma sencilla:

1. El Problema: Los conjuntos de datos de "un solo truco"

Antes de esto, los datos de entrenamiento para estos editores de video de IA eran como una biblioteca llena de libros sobre un solo tema: cambiar el color de un coche. Si querías aprender a conducir un coche (mover un sujeto) o cambiar el escenario (movimiento de cámara), la biblioteca no tenía libros. Los modelos de IA estaban estancados porque solo sabían realizar tareas sencillas de "pintar por números".

2. La Solución: La Biblioteca "Goku"

Los investigadores construyeron Goku, un enorme conjunto de datos que contiene 2 millones de pares de videos. Piensa en esto como la construcción de un gimnasio gigante y de alta tecnología para la IA.

¿Qué hay dentro? A diferencia de las bibliotecas anteriores, esta contiene desafíos complejos. Incluye videos donde la cámara hace un paneo, donde una persona se mueve de un lado a otro de la habitación y donde ocurren múltiples cambios a la vez (por ejemplo, "Cambia la camisa Y añade un sombrero").
¿Cómo lo hicieron? No se limitaron a filmar estos videos; construyeron una fábrica robótica para crearlos. Utilizaron IA avanzada para descomponer peticiones complejas en pasos pequeños y manejables. Por ejemplo, para hacer que un perro corra, primero enseñaron a la IA cómo hacer que un perro corra en una sola imagen, y luego cómo hacer que esa imagen se mueva suavemente en un video.
El Control de Calidad: Para asegurar que los videos no fueran basura, instalaron un sistema de seguridad de "triple verificación". Cada uno de los videos fue revisado tres veces por una IA superinteligente (Gemini) para asegurar que se siguieran las instrucciones, que el movimiento pareciera real y que el video no tuviera fallos técnicos. Desecharon aproximadamente el 88% de los intentos para quedarse solo con los mejores 2 millones.

3. La Nueva Herramienta: Goku-Edit

Con esta nueva biblioteca, construyeron un nuevo editor de video llamado Goku-Edit.

El Cerebro: En lugar de solo leer texto, este editor utiliza un "Modelo de Lenguaje Grande Multimodal" (MLLM). Piensa en esto como darle al editor un cerebro que realmente puede entender la historia y las instrucciones, no solo coincidir con palabras clave.
El Enfoque de Dos Manos: La mayor innovación es que el editor tiene dos "manos" trabajando juntas:
- Mano A (El Arquitecto): Esta mano dibuja un mapa aproximado (una máscara) de dónde deben ocurrir los cambios. Se enfoca en la estructura y el movimiento.
- Mano B (El Pintor): Esta mano se enfoca en los detalles, los colores y las texturas.
- Por qué importa: Al separar el "dónde" del "qué", el editor no se confunde. Sabe exactamente cómo mover al perro sin pintar accidentalmente el pelaje del perro de azul.
El "Spatial CFG": Este es un término técnico que funciona como una red de seguridad. Asegura que cuando el editor realiza un cambio, no se desborde accidentalmente y arruine el resto del video. Mantiene los cambios ajustados y precisos.

4. La Prueba: Goku-Bench

Para demostrar que su nuevo editor es el mejor, crearon una nueva prueba llamada Goku-Bench.

En lugar de pruebas simples, le dieron a la IA 1,000 desafíos difíciles, como "Mueve la cámara hacia la izquierda mientras el gato salta".
Utilizaron 7 formas nuevas para calificar los resultados, comprobando cosas como "¿Tuvieron sentido las leyes de la física?" y "¿Se movió la cámara con suavidad?".
El Resultado: Goku-Edit superó a todos los demás modelos de código abierto, mejorando su capacidad para seguir instrucciones hasta en un 8%. Fue particularmente bueno moviendo objetos y manejando peticiones complejas de varios pasos donde otros modelos fallaron.

Resumen

En resumen, el artículo dice: "Construimos una biblioteca de entrenamiento masiva y de alta calidad (Goku) que enseña a la IA cómo realizar ediciones de video complejas, no solo simples cambios de color. Construimos un nuevo editor (Goku-Edit) que utiliza un sistema de dos partes para entender la estructura y los detalles por separado, y demostramos que funciona mejor que cualquier otra cosa en una prueba nueva y más difícil (Goku-Bench)".

No afirmaron que esta tecnología esté lista para hospitales o usos clínicos específicos; se centraron enteramente en hacer que la edición de video sea más inteligente, flexible y capaz de manejar peticiones creativas complejas.

Resumen Técnico: Goku: Un Conjunto de Datos Universal de Escala de Millones y un Benchmark para la Edición de Video Basada en Instrucciones

1. Declaración del Problema

Los conjuntos de datos y modelos existentes de edición de video basada en instrucciones (IVE, por sus siglas en inglés) están limitados en gran medida a la edición de apariencia de tarea única (por ejemplo, eliminación de objetos, intercambio de atributos o transferencia de estilo). Estos no logran abordar los requisitos complejos y multifacéticos de los escenarios del mundo real, careciendo específicamente de soporte para:

Manipulaciones estructurales: Control preciso sobre el movimiento del sujeto y el movimiento de la cámara.
Edición multitarea: Ejecución simultánea de múltiples instrucciones de edición (por ejemplo, añadir un objeto mientras se cambia el estilo).
Edición guiada por referencia: Edición basada en imágenes de referencia proporcionadas por el usuario con variaciones de pose o iluminación.

Los conjuntos de datos actuales suelen sufrir de definiciones de tareas estrechas, un rigor de filtrado insuficiente que conduce a muestras estáticas o de baja calidad, y una falta de benchmarks capaces de evaluar estas capacidades estructurales y multitarea complejas.

2. Metodología

El artículo propone una solución integral que comprende un conjunto de datos a gran escala (Goku), un robusto pipeline de síntesis de datos, un nuevo modelo de edición (Goku-Edit) y un riguroso benchmark (Goku-Bench).

A. El Conjunto de Datos Goku (2 Millones de Pares)

Goku es un conjunto de datos de alta calidad alineado con instrucciones que contiene 2 millones de pares de edición de video. Expande el alcance de la IVE para incluir:

Ediciones Básicas: Añadir, Eliminar, Intercambiar, Alterar, Transferencia de Estilo.
Ediciones Estructurales: Movimiento del Sujeto (variación de acción/posición) y Movimiento de la Cámara (pan, zoom, etc.).
Ediciones Complejas: Edición multitarea (2–5 tareas simultáneamente) y edición basada en referencia.

Pipeline de Síntesis de Datos:
Para generar esta escala de datos manteniendo la precisión semántica y la coherencia temporal, los autores diseñaron un pipeline automatizado:

Pre-procesamiento: Curación de 1 millón de clips de alta calidad de Koala-36M mediante puntuación estética, análisis de movimiento y eliminación de marcas de agua basada en OCR.
Generación de Instrucciones: Se aprovechó Gemini2.5-Pro (un MLLM) para generar instrucciones de edición diversas y estructuradas, e identificar objetos operables.
Generación Específica de Tareas:
- Apariencia: Uso de VACE para el intercambio/alteración y un enfoque de dualidad (Eliminar $\to$ Intercambiar roles $\to$ Añadir) para la inserción.
- Transferencia de Estilo: Descompuesto en la estilización del primer fotograma (Flux), extracción de mapas de profundidad y propagación del estilo mediante VACE para asegurar la coherencia temporal.
- Estructural: Tareas complejas descompuestas. Para el Movimiento del Sujeto, la variación de acción utilizó Wan2.2, mientras que la variación de posición combinó Flux (desplazamiento a nivel de fotograma) y Wan2.2 (generación de video). El Movimiento de la Cámara utilizó RecamMaster.
- Multitarea: Ejecutado como una cadena secuencial de ediciones de tarea única.
Sistema de Filtrado Progresivo: Un sistema de control de calidad de tres niveles impulsado por Gemini2.5-Pro y verificaciones geométricas:
- Nivel 1: Filtrado del video de origen (estética, movimiento, marcas de agua).
- Nivel 2: Verificación de la condición (IoU de la máscara, consistencia semántica de las instrucciones frente a los objetivos).
- Nivel 3: Validación post-síntesis (consistencia entre fotogramas, artefactos de frecuencia, fotorrealismo). Este nivel filtra aproximadamente el 88% de las muestras sintetizadas para asegurar una alta fidelidad.

B. Arquitectura del Modelo Goku-Edit

Goku-Edit es un marco de doble rama diseñado para manejar instrucciones complejas y control estructural:

Diseño de Doble Rama:
- Rama Principal: Genera el video editado ( $V_e$ ) condicionado por el texto, el video de origen y la imagen de referencia.
- Rama Auxiliar: Predice la máscara de edición ( $M$ ) para proporcionar fundamentación espacial. Opera sobre una versión del video de origen con submuestreo espacial.
- Codificador: Ambas ramas utilizan un Modelo de Lenguaje Grande Multimodal (MLLM) congelado (Qwen3VL-8B) como codificador de texto para mejorar la comprensión semántica de las instrucciones complejas.
Atención Cruzada Espacial Alineada con RoPE:
- Para resolver el desalineamiento espacial entre la rama de video de alta resolución y la rama de máscara de baja resolución ( $1/n$ de resolución), los autores proponen escalar los índices de posición de la rama de máscara por un factor $n$ antes de la computación de RoPE.
- Esto mapea los tokens de la máscara a un sistema de coordenadas físicas unificado, eliminando desplazos macro y preservando el sesgo de localidad.
- Atención Bidireccional: Incluye atención de Máscara-a-Video (M2V) y de Video-a-Máscara (V2M). V2M permite que la rama de la máscara refine sus predicciones basándose en el estado evolutivo de la rama principal, evitando la incoherencia en los bordes.
CFG de Mejora Espacial (SpatialCFG):
- Una estrategia de inferencia libre de entrenamiento que amplifica las restricciones espaciales entre ramas.
- Contrasta las predicciones acopladas (con atención cruzada) contra las líneas base desacopladas (con latentes nulos) para aislar y amplificar la señal espacial inyectada por la rama de la máscara.
- Esto suprime el desbordamiento de la edición y mejora la consistencia de los bordes sin entrenamiento adicional.

C. Goku-Bench

Un benchmark exhaustivo que presenta 1,000 casos de prueba verificados por humanos que cubren diversos sujetos, escenas y dificultades de tarea (incluyendo baja iluminación y movimiento rápido).

Métricas: Incluye 7 métricas específicas de edición:
1. Fidelidad de Reglas Físicas (PR): Adherencia a las leyes de la física del mundo real.
2. Precisión de Relación Espacial (SR): Disposición espacial correcta.
3. Seguimiento de Instrucciones (IF): Completitud de la ejecución multitarea.
4. Calidad General de la Edición (EQ): Naturalidad visual y consistencia.
5. Movimiento del Sujeto (SuM): Realismo de la trayectoria del sujeto.
6. Movimiento de la Cámara (CM): Precisión de los tipos de movimiento de cámara.
7. Transferencia de Estilo (ST): Similitud de características para la precisión del estilo.

3. Resultados Clave

Evaluado en Goku-Bench, Goku-Edit demuestra mejoras significativas sobre los modelos de código abierto de última generación (por ejemplo, LucyEdit, InsViE, Omni-Video) y compite favorablemente con modelos comerciales (Runway Gen-4, Luma Ray3).

Seguimiento de Instrucciones: Logró una mejora de hasta un +8% sobre otros modelos de código abierto.
Rendimiento Estructural y Multitarea: Superó significativamente a las líneas base en PR (Fidelidad de Reglas Físicas), SR (Precisión Espacial), SuM (Movimiento del Sujeto) y CM (Movimiento de la Cámara), validando la capacidad del conjunto de datos para entrenar modelos en tareas estructurales complejas.
Estudios de Ablación:
- Calidad de los Datos: Los modelos entrenados con los datos filtrados de Goku superaron significativamente a aquellos entrenados con datos no filtrados o conjuntos de datos existentes (InsV2V, InsViE), confirmando el valor del sistema de filtrado progresivo.
- Arquitectura: La eliminación del codificador MLLM, el diseño de doble rama, la alineación RoPE o el SpatialCFG resultó en caídas medibles en el rendimiento, particularmente en la precisión espacial y el seguimiento de instrucciones.
- Factor de Submuestreo: Se encontró un factor de submuestreo óptimo de $n=4$ para equilibrar el detalle de la textura y la señal estructural.
Estudio de Usuario: Goku-Edit ocupó el primer lugar entre todos los métodos en un estudio de usuario con respecto al seguimiento de instrucciones, la calidad del video y la coherencia temporal.

4. Significado y Reivindicaciones

El artículo afirma que Goku representa un cambio de paradigma en la edición de video basada en instrucciones al ir más allá de los simples cambios de atributos hacia manipulaciones estructurales y multitarea.

Contribución al Conjunto de Datos: Es el primer conjunto de datos que cubre explícitamente deformaciones estructurales (movimiento de sujeto/cámara) y edición multitarea a escala de millones, abordando una brecha crítica en la investigación actual de IVE.
Contribución Metodológica: La arquitectura propuesta Goku-Edit demuestra que el desacoplamiento del control estructural (rama de máscara) de la renderización de la apariencia (rama principal), combinado con el razonamiento basado en MLLM y la alineación espacial, es esencial para una edición compleja de alta fidelidad.
Contribución al Benchmark: Goku-Bench establece un nuevo estándar para la evaluación, introduciendo métricas que apuntan específicamente a la plausibilidad física y el razonamiento espacial, que anteriormente se pasaban por alto.

Los autores concluyen que su trabajo proporciona los datos, el modelo y el marco de evaluación necesarios para cerrar la brecha entre las capacidades actuales de la IA generativa y las complejas demandas creativas de la producción de video en el mundo real.