Kiwi-Edit: Versatile Video Editing via Instruction and Reference Guidance

El artículo presenta Kiwi-Edit, un marco unificado que supera las limitaciones del control visual en la edición de video mediante instrucciones y referencias, apoyado por un pipeline escalable de generación de datos que crea el conjunto RefVIE y demuestra un nuevo estado del arte en la fidelidad y seguimiento de instrucciones.

Lo esencial

¡Hola! Imagina que quieres editar un video, como cambiar el fondo de una escena o ponerle un sombrero a un personaje, pero en lugar de escribir una larga descripción, simplemente le muestras una foto de lo que quieres lograr.

El artículo que presentas, "Kiwi-Edit", es como un superpoder nuevo para editar videos que combina dos cosas: tus instrucciones en palabras y una foto de referencia visual.

Aquí te lo explico con analogías sencillas:

1. El Problema: "Hablar" no siempre es suficiente

Antes, para editar un video con inteligencia artificial, tenías que ser muy específico con tus palabras. Si decías "cambia la camisa por una roja", la IA a veces te ponía una camisa roja, pero de un estilo que no te gustaba, o con un corte extraño.

• La analogía: Es como pedirle a un chef que te haga un pastel "delicioso". El chef podría hacer un pastel rico, pero quizás tú querías uno de chocolate con fresas, y él te dio uno de vainilla. Las palabras a veces son ambiguas.

2. La Solución: "Muestra, no solo digas"

Kiwi-Edit introduce la idea de usar una foto de referencia.

• La analogía: Ahora, en lugar de solo decirle al chef "haz un pastel rico", le muestras una foto del pastel exacto que quieres. La IA mira la foto y dice: "¡Ah! Quieres ese tipo de chocolate y ese tipo de fresas". Esto hace que el resultado sea mucho más fiel a lo que tienes en mente.

3. El Gran Obstáculo: La falta de "recetas"

El problema es que, para enseñar a una IA a hacer esto, necesitas miles de ejemplos de:

1. El video original.
2. La instrucción (texto).
3. La foto de referencia (lo que quieres cambiar).
4. El video final editado.

Antes, nadie tenía suficientes de estos "cuartetos" de datos. Las empresas grandes los tenían en secreto, pero para la comunidad científica era como intentar cocinar sin recetas.

4. La Magia de Kiwi-Edit: Creando sus propias recetas

Los autores crearon un taller de construcción de datos (un pipeline) que funciona como una fábrica inteligente:

• Paso 1: Toman videos que ya existen (donde alguien pidió un cambio).
• Paso 2: Usan otras inteligencias artificiales muy avanzadas para "imaginar" y crear la foto de referencia que le falta. Si el video original dice "cambia el fondo por una playa", la IA genera una foto de una playa perfecta para usarla como guía.
• Resultado: Crearon un libro de recetas gigante (llamado RefVIE) con casi medio millón de ejemplos, todo abierto y gratis para que cualquiera lo use.

5. El Cerebro del Sistema: Kiwi-Edit

Con estos datos, entrenaron un modelo llamado Kiwi-Edit. Imagina que este modelo tiene dos cerebros trabajando juntos:

• El Cerebro Lector: Entiende lo que dices (el texto).
• El Cerebro Visual: Mira la foto de referencia y entiende los detalles finos (texturas, colores exactos).
• El Mecanismo de Fusión: Una parte especial del sistema toma la estructura del video original (para que los personajes no se desvanezcan o se muevan mal) y le "pega" los nuevos detalles de la foto de referencia, como si fuera un pegamento mágico que respeta la física del mundo.

6. ¿Qué logra esto?

Gracias a este sistema, Kiwi-Edit puede hacer cosas increíbles con mucha precisión:

• Cambiar ropa: "Ponle a esta mujer un sombrero negro clásico" (y usa una foto de un sombrero real para que se vea auténtico).
• Cambiar fondos: "Cambia el fondo por una escena de invierno" (y usa una foto de nieve para que la iluminación y la nieve se vean reales).
• Eliminar objetos: "Quita a la persona de la camisa azul" (y rellena el espacio de forma natural).

En resumen

Kiwi-Edit es como darle a una IA un lápiz y una foto de referencia en lugar de solo un micrófono. Ha creado una enorme biblioteca de ejemplos (RefVIE) para enseñarle a la IA a entender no solo lo que dices, sino lo que ves. Esto hace que editar videos sea mucho más fácil, preciso y accesible para todos, no solo para expertos.

¡Es un paso gigante para que la tecnología de video se sienta más como un juego de "dibujar sobre lo que ya existe" y menos como adivinar lo que quieres!

Resumen técnico

Resumen Técnico: Kiwi-Edit

1. El Problema

La edición de video basada en instrucciones de texto ha avanzado rápidamente, pero enfrenta una limitación crítica: la ambigüedad inherente del lenguaje natural. Describir detalles visuales precisos (texturas específicas, identidades exactas de objetos o matices estilísticos) mediante texto es difícil y a menudo insuficiente.

Aunque la edición guiada por referencias visuales (usar una imagen de referencia junto con el texto) ofrece una solución robusta, su desarrollo se ha visto frenado por la escasez de datos de entrenamiento de alta calidad. Los conjuntos de datos existentes carecen de las "cuadruplas" necesarias (Video Fuente, Instrucción, Imagen de Referencia, Video Objetivo) a gran escala, y las pocas soluciones existentes dependen de datos propietarios inaccesibles.

2. Metodología

Los autores proponen un enfoque integral que combina la generación de datos a gran escala con una nueva arquitectura de modelo unificado.

A. Pipeline de Generación de Datos Escalable (RefVIE)
Para superar la falta de datos, el equipo desarrolló un pipeline automatizado que transforma pares de video existentes (fuente-objetivo) en cuadruplas de entrenamiento ricas:

1. Agregación y Filtrado: Se parte de 3.7 millones de muestras de conjuntos de datos de edición de video por instrucciones (Ditto, ReCo, OpenVE). Se filtran utilizando EditScore para asegurar alta calidad.
2. Anclaje y Segmentación: Se utilizan modelos de visión-lingüística (Qwen3-VL) para identificar y anclar la región de interés en el video objetivo, seguida de segmentación precisa (SAM3) para obtener máscaras pixel-perfect.
3. Síntesis de Imágenes de Referencia: Utilizando modelos de edición de imágenes (Qwen-Image-Edit), se generan imágenes de referencia que capturan la esencia visual del cambio deseado (ya sea un objeto editado o un fondo limpio).
4. Control de Calidad: Un MLLM verifica la consistencia semántica entre la referencia sintetizada y el resultado final, eliminando duplicados y baja fidelidad.

• Resultado: Se construye RefVIE, un conjunto de datos de 477,000 cuadruplas de alta calidad, el primero de su tipo y código abierto.

B. Arquitectura del Modelo: Kiwi-Edit
Kiwi-Edit es un marco unificado que integra condiciones multimodales mediante una arquitectura híbrida:

• Componentes Principales: Combina un MLLM (Qwen2.5-VL) congelado para la comprensión semántica y un Transformador de Difusión (DiT) para la generación de video.
• Mecanismo de Doble Conector:
  • Query Connector: Proyecta tokens de consulta aprendibles para extraer la intención de la instrucción textual.
  • Latent Connector: Extrae características visuales densas de la imagen de referencia.
  • Ambos se concatenan para formar tokens de contexto que guían al DiT mediante atención cruzada.
• Estrategia de Inyección Híbrida (Latent Injection):
  • Control de Video Fuente (Adición Elemento a Elemento): Para preservar la estructura espacial y temporal, las características latentes del video fuente se suman al ruido latente, moduladas por un escalar dependiente del tiempo ($\gamma(t)$). Esto evita la inestabilidad del entrenamiento.
  • Control de Referencia (Concatenación): Las características de la imagen de referencia se concatenan a la secuencia de entrada, permitiendo una transferencia de textura y detalles finos directa.
• Curriculum de Entrenamiento en Tres Etapas:
  1. Alineación MLLM-DiT: Ajuste de los conectores usando solo tareas de edición de imágenes.
  2. Ajuste de Instrucción: Entrenamiento conjunto con datos de video basados en texto.
  3. Ajuste Fino Guiado por Referencia: Entrenamiento final con el conjunto RefVIE para perfeccionar el control visual.

3. Contribuciones Clave

1. RefVIE Dataset: El primer conjunto de datos de código abierto a gran escala (477K muestras) diseñado específicamente para la edición de video guiada por instrucciones y referencias visuales.
2. RefVIE-Bench: Un nuevo estándar de evaluación con 110 muestras verificadas manualmente que mide la adherencia a la referencia, el cumplimiento de instrucciones y la consistencia temporal, utilizando un MLLM (Gemini) como juez automatizado.
3. Kiwi-Edit Model: Una arquitectura unificada que logra un rendimiento de vanguardia (SOTA) tanto en tareas de edición solo por texto como en tareas guiadas por referencia, superando a modelos propietarios y de código abierto existentes.

4. Resultados

• Rendimiento en OpenVE-Bench: Kiwi-Edit obtuvo una puntuación general de 3.02, superando significativamente al mejor modelo de código abierto anterior (OpenVE-Edit con 2.50) y superando incluso al modelo propietario Runway Aleph (2.62) en la tarea de cambio de fondo (3.84 vs 2.62).
• Rendimiento en RefVIE-Bench: En la evaluación de referencia, el modelo alcanzó una puntuación global de 3.31, superando ligeramente a Runway Aleph (3.29) y demostrando una alta consistencia de identidad (3.98) y similitud de referencia (3.72).
• Análisis de Ablación: Se demostró que la estrategia de inyección híbrida (suma con escalado temporal para el video fuente y concatenación para la referencia) y el curriculum de entrenamiento de tres etapas son esenciales para la estabilidad y la calidad del resultado. Sin la alineación inicial o el entrenamiento con datos de imágenes, el rendimiento cae drásticamente.

5. Significado e Impacto

Este trabajo aborda una brecha fundamental en la investigación de edición de video: la falta de datos para el control visual preciso. Al democratizar el acceso a un conjunto de datos masivo y de alta calidad (RefVIE) y presentar un modelo que supera a las soluciones propietarias en tareas de referencia, Kiwi-Edit establece un nuevo estándar para la edición de video controlable.

Su enfoque "centrado en los datos" demuestra que es posible superar las limitaciones de los modelos de texto puro mediante la síntesis inteligente de referencias visuales, permitiendo a los usuarios realizar ediciones complejas (como cambiar la ropa de un personaje por un diseño específico o reemplazar un fondo con una escena exacta) con una fidelidad visual sin precedentes en modelos de código abierto.