Resumen Técnico: UniVideo

Planteamiento del Problema

Si bien los modelos multimodales unificados han demostrado avances significativos en la comprensión y generación de texto e imagen, permanecen en gran medida confinados al dominio de la imagen. Los modelos de generación de video existentes suelen estar especializados para tareas únicas (por ejemplo, texto a video) y dependen de codificadores de texto que tienen dificultades con instrucciones multimodales complejas. Además, los métodos de edición de video a menudo dependen de módulos o procesos específicos de la tarea, careciendo de la escalabilidad necesaria para manejar diversas tareas dentro de un solo marco de trabajo. En consecuencia, capacidades avanzadas como el prompting multimodal, la generación de video en contexto y la edición de video de forma libre y sofisticada siguen fuera del alcance de los sistemas unificados.

Metodología

UniVideo es un marco unificado diseñado para extender la comprensión, generación y edición multimodal al dominio del video. Emplea una arquitectura de doble flujo que integra un Modelo de Lenguaje Grande Multimodal (MLLM) para la comprensión visual con un Transformador de Difusión Multimodal (MMDiT) para la generación visual.

Arquitectura

1. Rama de Comprensión (MLLM): Utiliza un MLLM congelado (específicamente Qwen2.5VL-7B) para procesar entradas de texto, imagen y video. Esta rama preserva las capacidades originales del modelo de generación de texto y razonamiento multimodal, permitiéndole interpretar instrucciones complejas y prompts ambiguos.
2. Rama de Generación (MMDiT): Basada en el backbone HunyuanVideo-T2V-13B, esta rama se centra en la síntesis visual. Recibe dos tipos de entradas:
   • Flujo Semántico: Características semánticas de alto nivel provenientes del MLLM, alineadas mediante un conector MLP entrenable.
   • Flujo Visual: Señales de reconstrucción de grano fino codificadas por un Autoencoder Variacional (VAE).
3. Condicionamiento Unificado: A diferencia de enfoques previos que utilizan embeddings de sesgo específicos para la tarea o adaptadores de contexto, UniVideo unifica diversas tareas (texto a video, imagen a video, generación en contexto/edición) bajo un único paradigma de instrucción de lenguaje natural. Utiliza embeddings posicionales 3D para distinguir entre latentes de condición y latentes de video ruidosos sin desplazar todos los ejes, una estrategia que resultó más efectiva que MRoPE para manejar múltiples entradas visuales.

Estrategia de Entrenamiento

El modelo se entrena en tres etapas:

• Etapa 1 (Alineación del Conector): El conector MLP se entrena mientras el MLLM y el MMDiT permanecen congelados. El entrenamiento involucra tareas de texto a imagen (T2I), texto a video (T2V) y reconstrucción de imágenes para alinear las dimensiones de las características.
• Etapa 2 (Ajuste Fino): El conector y el MMDiT se ajustan finamente en muestras de alta calidad de T2I/T2V con el MLLM aún congelado, logrando un rendimiento comparable al del backbone MMDiT utilizando su propio codificador de texto.
• Etapa 3 (Entrenamiento Multitarea): El sistema se entrena conjuntamente en un amplio espectro de tareas, incluyendo generación en contexto (multi-ID), edición de video en contexto (intercambio de ID, eliminación, adición, transferencia de estilo), edición de imagen e imagen a video. El MLLM permanece congelado durante todo el proceso.

Capacidades Clave

• Generación con Pensamiento: La rama MLLM interpreta prompts no convencionales o diseñados manualmente (por ejemplo, anotaciones visuales, diagramas) y los traduce en planes estructurados o tokens de prompt densos para guiar al MMDiT.
• Generalización Zero-Shot: A pesar de no haber sido entrenado explícitamente en la edición de video de forma libre, UniVideo transfiere las capacidades de edición aprendidas de grandes conjuntos de datos de edición de imágenes al dominio del video, manejando instrucciones no vistas como el cambio de materiales o entornos.

Contribuciones Clave

1. Marco Unificado: Introducción de UniVideo, el primer modelo que unifica la comprensión, generación y edición tanto para imágenes como para videos dentro de un solo marco de trabajo.
2. Diseño de Doble Flujo: Propuesta de una arquitectura novedosa que combina el razonamiento de MLLM con la generación de MMDiT, permitiendo al modelo interpretar instrucciones multimodales mientras mantiene la consistencia visual e identidad.
3. Generalización: Demostración de que el marco unificado se generaliza a composiciones de tareas no vistas (por ejemplo, combinar edición con transferencia de estilo) y transfiere capacidades de edición de imágenes a videos sin diseños ad-hoc.
4. Validación Empírica: Estudio sistemático de las elecciones de diseño (conectores, generadores, estrategias de condicionamiento) que proporciona evidencia de la efectividad de la arquitectura propuesta.

Resultados Experimentales

Benchmarks extensos demuestran que UniVideo logra un rendimiento competitivo o superior en comparación con las líneas base específicas de cada tarea en múltiples dominios:

• Comprensión Visual: Logra puntuaciones sólidas en MMBench (83.5), MMMU (58.6) y MM-Vet (66.6), reteniendo las capacidades de su backbone MLLM congelado.
• Generación y Edición de Imágenes: Supera a muchos modelos especializados de texto a imagen y modelos multimodales unificados en GenEval. En edición de imágenes (ImgEdit-Bench, GEdit-Bench), supera a varios modelos de edición especializados en consistencia semántica y calidad general.
• Generación de Video: Iguala el rendimiento del backbone HunyuanVideo en tareas de texto a video en VBench.
• Tareas en Contexto:
  • Generación: Supera a las líneas base (VACE, Kling1.6, Pika2.2) en consistencia de sujeto y seguimiento de prompts tanto en escenarios de un solo ID como de múltiples IDs.
  • Edición: Opera en un entorno libre de máscaras (que no requiere entradas de máscara explícitas), logrando un rendimiento superior o competitivo en alineación de identidad, calidad de video y seguimiento de prompts en comparación con expertos específicos de la tarea como UNIC y AnyV2V.

Significancia

El artículo afirma que UniVideo representa un paso significativo hacia la construcción de asistentes de IA multimodales capaces de una comunicación fluida a través de lenguaje, imágenes y video. Al unificar diversas tareas de video bajo un único paradigma de instrucción, el modelo supera las limitaciones de los procesos especializados. Su capacidad para generalizarse a nuevas composiciones de tareas y transferir habilidades de edición de imágenes a videos destaca el potencial de los marcos unificados para manejar interacciones multimodales complejas y abiertas. Además, la capacidad de "generación con pensamiento" permite al sistema interpretar prompts visuales complejos, cerrando la brecha entre la intención humana y la síntesis de video precisa.