Resumen Técnico: Aurora – Edición de Video Unificada con un Agente que Utiliza Herramientas

1. Declaración del Problema

Los recientes modelos unificados de edición de video han convergido en un diseño donde un único transformador de difusión consume conjuntamente instrucciones de texto, videos fuente e imágenes de referencia (o máscaras) para realizar tareas diversas como reemplazo, eliminación, transferencia de estilo e inserción. Aunque flexible, esta arquitectura asume que los usuarios proporcionan entradas de condicionamiento listas para el modelo: texto preciso, imágenes de referencia específicas para patrones visuales y máscaras espaciales para ediciones localizadas.

En la práctica, las solicitudes de usuario crudas a menudo sufren de insuficiencia de especificación a lo largo de dos ejes:

1. Insuficiencia Visual: El usuario nombra una entidad o patrón específico (por ejemplo, "una bufanda con el estampado de cuadros de Burberry" o "La Gran Ola de Kanagawa") pero no proporciona ninguna imagen de referencia.
2. Insuficiencia Textual: La edición se describe indirectamente (por ejemplo, "cambia el artículo azul por un vehículo que corra mucho más rápido"), lo que requiere que el modelo infiera objetivos concretos.

Los modelos unificados actuales carecen del mecanismo para inferir, fundamentar o completar estas condiciones faltantes antes de que comience la generación. Esto crea una brecha entre los ricos canales de condicionamiento disponibles para el modelo y la información incompleta proporcionada por el usuario.

2. Metodología: El Marco Aurora

Aurora aborda esta brecha desacoplando la construcción de condiciones de la generación de video. Introduce un marco agencial que empareja un agente de Modelo de Lenguaje y Visión (VLM) aumentado con herramientas con un transformador de difusión de video unificado (DiT).

2.1 El Agente VLM (Construcción de Condiciones)

El agente, implementado como un Qwen3-VL-8B-Instruct ajustado finamente con LoRA, actúa como un preprocesador. Toma un video fuente ($V_{src}$), una instrucción de usuario cruda ($y$) y referencias de usuario opcionales ($R$) para generar un plan de edición estructurado:
$$(y', c, q, m) = \pi_\phi(V_{src}, y, R)$$
Donde:

• $y'$ (Instrucción Reescrita): Una instrucción estandarizada y lista para el modelo que resuelve la insuficiencia textual.
• $c$ (Etiqueta de Tarea): Un tipo de edición canónico (por ejemplo, replace_object, remove_object) utilizado para el enrutamiento.
• $q$ (Consulta de Búsqueda de Imágenes): Una consulta opcional para activar una herramienta de búsqueda de imágenes web (vía API de Serper) si falta una imagen de referencia.
• $m$ (Frase de Máscara): Una frase opcional para activar una herramienta de segmentación (GroundingDINO + SAM) si falta la fundamentación espacial.

Ejecución de Herramientas:
Si $q$ o $m$ no están vacías, el agente invoca herramientas externas:

• Búsqueda de Imágenes: Recupera imágenes candidatas y selecciona la más relevante.
• Segmentación: Genera una máscara para la región objetivo y la compone sobre el video fuente.

La salida final es una tupla de condicionamiento unificada $\mathbf{x} = (y', V_{src}, R^+)$, donde $R^+$ incluye las referencias originales del usuario más cualquier imagen recuperada o imágenes enmascaradas. La etiqueta de tarea $c$ se utiliza durante la planificación pero no se alimenta al modelo de video.

2.2 El DiT de Video (Generación de Video)

La columna vertebral de generación de video es un Transformador de Difusión (DiT) unificado construido sobre Wan2.2-TI2V-5B. Consume la tupla de condicionamiento $\mathbf{x}$ a través de dos rutas:

1. Ruta de Contexto Multimodal: Un codificador Qwen3.5-4B congelado procesa la instrucción reescrita ($y'$), los cuadros fuente muestreados y las imágenes de referencia ($R^+$) en un contexto multimodal compartido ($T_{ctx}$) para la atención cruzada.
2. Ruta de Tokens Latentes: Los tokens de video ruidosos, los tokens fuente y los tokens de referencia se concatenan a lo largo de la dimensión de la secuencia de tokens.
   • Modulación de Tiempo Cero: Para preservar el contenido no editado y la identidad de referencia, los tokens fuente y de referencia se modulan con una incrustación de tiempo cero ($a(0)$), mientras que los tokens ruidosos siguen la trayectoria estándar de ajuste de flujo ($a(t)$). Esto asegura que los tokens de condicionamiento permanezcan fijos mientras el video se desruido.

2.3 Objetivos de Entrenamiento

• DiT de Video: Entrenado con ajuste de flujo sobre una mezcla de datos de edición de imágenes, edición de video basada en instrucciones y edición de video guiada por referencia. Aprende a manejar referencias vacías, proporcionadas por el usuario y recuperadas por herramientas de manera uniforme.
• Agente VLM:
  • Ajuste Fino Supervisado (SFT): Entrenado en 25k ejemplos de planificación y 10k ejemplos de selección de imágenes de referencia. El objetivo es el plan completo de 4 campos, enseñando al agente a reescribir instrucciones, enrutamiento de tareas y selección de herramientas.
  • Alineación de Preferencias (DPO): Entrenado en 1.8k pares de preferencias para resolver casos límite (por ejemplo, activaciones falsas de búsqueda de imágenes, frases de máscara ambiguas, reescrituras que pierden restricciones). Esto afina los límites de decisión sin mezclar la varianza de muestreo de video en el objetivo de aprendizaje.

3. Contribuciones Clave

1. Marco Aurora: Un sistema de edición de video agencial que mapea solicitudes crudas e insuficientemente especificadas a tuplas de condicionamiento completas y listas para el modelo utilizando un agente VLM aumentado con herramientas.
2. AgentEdit-Bench: Una nueva prueba de referencia diseñada específicamente para evaluar la edición de video bajo insuficiencia textual y visual. Contiene 150 casos en cinco tipos de tareas (reemplazo de IP, adición de IP, cambio de fondo de IP, razonamiento y eliminación) donde la solicitud cruda omite condiciones necesarias.
3. Datos de Entrenamiento y Alineación: Un pipeline de construcción de datos para la planificación del agente VLM y la selección de referencias, combinado con alineación de preferencias basada en DPO para manejar casos extremos en la activación de herramientas y la reescritura de instrucciones.
4. Transferibilidad del Modelo: Demostración de que el agente VLM de Aurora puede emparejarse con modelos de edición de video unificados existentes y congelados (por ejemplo, UniVideo, Kiwi-Edit) para mejorar su rendimiento en solicitudes insuficientemente especificadas.

4. Resultados Experimentales

• Rendimiento en AgentEdit-Bench:
  • El DiT de video de Aurora por sí solo (sin el agente) obtiene una puntuación de 74.7, superando a UniVideo (67.0) y Kiwi-Edit (69.7) en indicaciones crudas.
  • Añadir el agente VLM aumenta la puntuación a 87.9. Las ganancias son más significativas en las tareas de IP (reemplazo y adición), donde el agente recupera con éxito las imágenes de referencia faltantes.
  • Los estudios de ablación muestran que el SFT contribuye con la mayor parte de la ganancia (85.0), mientras que el DPO añade un refinamiento adicional (87.9) corrigiendo errores en los límites.
• Rendimiento en Pruebas de Referencia Existentes (EditVerse-Bench, OpenVE-Bench):
  • En pruebas con entradas bien especificadas, Aurora logra resultados de vanguardia entre los métodos de código abierto (7.61 en EditVerse-Bench, 3.38 en OpenVE-Bench), cerrando la mayor parte de la brecha con la línea base cerrada Runway Aleph.
  • Incluso cuando las herramientas están deshabilitadas (solo ocurre reescritura de instrucciones), el agente mejora el rendimiento, lo que indica el valor del refinamiento de instrucciones.
• Transferibilidad:
  • Cuando el agente VLM de Aurora se empareja con versiones congeladas de UniVideo y Kiwi-Edit, mejora consistentemente sus puntuaciones tanto en AgentEdit-Bench como en pruebas de referencia existentes, demostrando que la utilidad del agente es agnóstica al modelo.

5. Significado y Limitaciones

Significado:
El artículo argumenta que el progreso en la edición de video depende no solo de DiTs de video más potentes, sino también de la traducción fiable de solicitudes de usuario crudas a condiciones listas para el modelo. Aurora demuestra que una capa agencial puede resolver eficazmente la insuficiencia de especificación, permitiendo que los modelos unificados manejen entradas de usuario incompletas del mundo real sin requerir que el propio modelo de video sea reentrenado para cada nueva herramienta o condición.

Limitaciones:

• Paradigma de Entrenamiento: El agente VLM se alinea mediante DPO offline. Los autores señalan que el RL en línea (por ejemplo, GRPO) sobre todo el pipeline, utilizando el clip editado final como señal de recompensa, es actualmente poco práctico debido a las limitaciones de computación.
• Complejidad del Movimiento: El DiT de video de 5B maneja de manera fiable la eliminación, estilización e inserción de objetos con movimiento limitado. Sin embargo, añadir nuevos sujetos con movimientos grandes y físicamente plausibles sigue siendo difícil, atribuido tanto a la capacidad de la columna vertebral como a la escasez de tales casos en los datos de entrenamiento.

Impacto Más Amplio:
Los autores reconocen los riesgos relacionados con la manipulación de identidades sin consentimiento y los problemas de derechos de autor que surgen de la herramienta de búsqueda de imágenes web, posicionando a Aurora como una herramienta creativa en lugar de una productora de evidencia.