Resumen Técnico: Bernini – Planificación Semántica Latente para Difusión de Video

1. Enunciado del Problema

Los Modelos de Lenguaje Grandes Multimodales (MLLM) y los modelos de difusión han madurado a lo largo de trayectorias mayormente independientes. Los MLLM sobresalen en el razonamiento semántico, la interpretación de instrucciones complejas y la fundamentación de respuestas en contextos multimodales, mientras que los modelos de difusión (específicamente los Transformadores de Difusión o DiT) se han convertido en el estándar para la síntesis de imágenes y videos fotorrealistas. Sin embargo, unificar estas dos familias en un único sistema capaz tanto de comprender la intención como de generar las salidas deseadas sigue siendo un desafío abierto. Los enfoques existentes a menudo luchan por transferir la comprensión semántica profunda de los MLLM directamente a la generación a nivel de píxel de los modelos de difusión sin comprometer las fortalezas preentrenadas de ninguno de los componentes o sin requerir un entrenamiento conjunto excesivo que conduzca a un olvido catastrófico.

2. Metodología

Bernini propone un marco unificado que desacopla la planificación semántica de la renderización de píxeles, utilizando una simple división del trabajo:

• El Planificador (MLLM): Maneja el razonamiento semántico y predice la representación visual objetivo.
• El Renderizador (DiT): Sintetiza píxeles basándose en orientación semántica de alto nivel y características visuales de bajo nivel.

2.1 Arquitectura

El marco consta de dos componentes principales conectados mediante una interfaz semántica en el espacio de incrustaciones ViT.

• Planificador basado en MLLM:

  • Entrada Unificada: Texto, imágenes de origen, videos de origen y salidas objetivo se serializan en una secuencia unificada de tokens 1D.
  • Modelado Generativo Enmascarado: En lugar de generar tokens de texto, el planificador predice semánticas visuales objetivo como incrustaciones ViT densas. Durante el entrenamiento, los tokens objetivo se enmascaran aleatoriamente y el modelo los infiere a partir del contexto. Durante la inferencia, el modelo refina iterativamente la representación objetivo desde tokens completamente enmascarados hasta una secuencia completa.
  • Cadena de Pensamiento (CoT): El planificador incorpora un mecanismo CoT, realizando razonamiento en el espacio latente (mediante razonamiento de texto-autónomo y visión-texto-autónomo) antes de producir la incrustación semántica final. Esto permite al modelo descomponer tareas de edición complejas en estados visuales intermedios.
  • Decodificador de Incrustaciones ViT: Un decodificador ligero (MLP + cabeza ResNet) mapea los estados ocultos del planificador de vuelta al espacio de incrustaciones ViT de verdad fundamental, entrenado mediante coincidencia de flujo.

• Renderizador basado en DiT:

  • Coincidencia de Flujo: El renderizador opera en el espacio latente VAE, realizando desruido por coincidencia de flujo para sintetizar el video final.
  • Condicionamiento: Se condiciona sobre las incrustaciones semánticas del planificador (mediante atención cruzada), características de texto y características VAE de origen (para la preservación de detalles en tareas de edición).
  • RoPE 3D Consciente de Segmentos (SA-3D RoPE): Para manejar múltiples entradas visuales (por ejemplo, video de origen, imagen de referencia, objetivo) dentro de una secuencia unificada, Bernini introduce SA-3D RoPE. Los RoPE (Incrustaciones Posicionales Rotativas) 3D estándar tienen dificultades cuando los tokens de diferentes segmentos comparten las mismas coordenadas $(t, h, w)$. SA-3D RoPE asigna un índice de segmento único a cada entrada visual e incorpora esto en el vector de frecuencia rotativa, introduciendo una modulación de fase global dependiente del segmento. Esto permite que el mecanismo de atención distinga tokens de diferentes segmentos mientras preserva las propiedades de modelado espacio-temporal.

2.2 Estrategia de Entrenamiento

Bernini emplea una tubería de entrenamiento de tres etapas para preservar las capacidades preentrenadas de ambos componentes mientras los alinea:

1. Etapa I (Preentrenamiento de MLLM): El planificador y el decodificador ViT se entrenan en una mezcla de datos de texto-a-imagen, texto-a-video y edición (pares de imagen/video). El objetivo es transformar el MLLM en un planificador semántico capaz de inferir representaciones visuales objetivo. Se utiliza una estrategia de ratio de enmascaramiento dependiente de la tarea para controlar la filtración de información, forzando al planificador a inferir semánticas a partir del contexto en lugar de tokens objetivo visibles.
2. Etapa II (Preentrenamiento de DiT): El renderizador se entrena independientemente en una gran mezcla de datos de generación y edición para asegurar una síntesis de alta fidelidad y preservación de la fuente.
3. Etapa III (Entrenamiento Conjunto): El planificador y el renderizador se entrenan conjuntamente de manera ligera. Esta etapa alinea la planificación semántica (espacio ViT) con la renderización visual (espacio VAE) sin interferencia excesiva, permitiendo que el sistema traduzca el razonamiento multimodal en salidas visuales fieles.

2.3 Construcción de Datos

El artículo detalla una tubería integral de construcción de datos para soportar diversas tareas:

• Datos de Preentrenamiento: 20 millones de pares de video y 30 millones de pares de imagen extraídos de corpus generales y videos tutoriales, filtrados por similitud y anotados con prompts densos.
• Datos de Edición: Datos de video-a-video (V2V) de alta calidad se sintetizan utilizando métodos basados en propagación combinados con modelos potentes de edición de imágenes. Se utiliza un marco de doble rama (Imagen-a-Video + Video-a-Video) para generar datos de edición conscientes del movimiento, asegurando interacciones naturales entre humanos y objetos.
• Datos Guiados por Referencia: Tuberías para Referencia-a-Video (R2V) y Referencia+Video-a-Video (RV2V) aseguran la preservación de identidad (especialmente para humanos) obteniendo referencias de material real en lugar de imágenes generadas.
• Datos Aumentados con Razonamiento: Se construyen datos explícitos de Cadena de Pensamiento, donde los MLLM reescriben instrucciones en prompts intermedios estructurados o generan estados visuales intermedios para guiar el proceso de edición.

3. Contribuciones Clave

1. Marco Unificado con Interfaz Semántica Latente: Bernini unifica la generación y la edición utilizando el espacio nativo de incrustaciones ViT del MLLM como un puente semántico hacia el generador de difusión. Esto permite que la comprensión preentrenada se transfiera directamente a la generación, habilitando una fuerte generalización a través de diversas tareas de video.
2. Construcción de Datos Escalable: Los autores diseñaron una suite de tuberías de datos que produce un corpus a gran escala y multi-tarea. Esto incluye preentrenamiento de pares de video/imagen, datos de edición de alta calidad basados en propagación, datos conscientes del movimiento y conjuntos de datos aumentados con razonamiento, abordando la escasez de datos de edición de video de alta calidad.
3. RoPE 3D Consciente de Segmentos: Un mecanismo novedoso de incrustación posicional que desambigua los tokens visuales de diferentes segmentos (origen, referencia, objetivo) que comparten las mismas coordenadas espacio-temporales, crucial para el manejo de entradas multimodales.
4. Rendimiento de Vanguardia: Bernini logra resultados de primer nivel en una amplia gama de puntos de referencia, incluyendo OpenVE-Bench, OpenS2V-Eval y el recién propuesto Bernini-Bench.

4. Resultados Experimentales

• Edición de Video (Bernini-Bench): Bernini supera a bases fuertes como Kling O3 y Wan2.7. En el benchmark Bernini-V2V, logra una Puntuación General (OS) de 3.49 (vs. 3.30 para Wan2.7) y demuestra una Consistencia de Video (VC) superior, preservando mejor las regiones no editadas que sus competidores. En evaluaciones humanas lado a lado, Bernini muestra ventajas significativas en consistencia y seguimiento de instrucciones.
• Puntos de Referencia Públicos:
  • OpenVE-Bench: Bernini obtiene 4.04 en general, superando significativamente al mejor anterior (VINO con 3.18).
  • EditVerse: Logra la puntuación más alta de calidad de edición (8.02) y alineación con el texto.
  • FiVE: Alcanza un rendimiento de vanguardia en preservación de estructura, preservación de fondo y precisión de edición.
• Generación de Video:
  • Texto-a-Video (VBench): Bernini mantiene la calidad base de su modelo fundacional (Wan2.2-A14B), logrando una Puntuación Total de 84.64 en comparación con los 84.79 de la base, demostrando que el diseño unificado no degrada la calidad de generación.
  • Sujeto-a-Video (OpenS2V-Eval): Bernini logra la Puntuación Total más alta (62.94) entre todos los competidores. Notablemente, logra una puntuación FaceSim de 78.20, superando a la siguiente mejor base (Kling O3 con 57.20) en más de 20 puntos, demostrando una preservación superior de la identidad facial.
• Estudios de Ablación: Los experimentos confirman la necesidad de la interfaz semántica ViT, el planificador MLLM y el SA-3D RoPE. Eliminar SA-3D RoPE conduce a artefactos de filtración de referencia, mientras que eliminar el planificador degrada el seguimiento de instrucciones.

5. Significado y Afirmaciones

El artículo afirma que Bernini representa un paso significativo hacia la unificación de la comprensión y la generación multimodal. Al anclar la interfaz en el espacio de incrustaciones ViT del MLLM, el marco permite que los dos componentes se entrenen mayormente de forma independiente, preservando sus respectivas fortalezas preentrenadas (razonamiento para el MLLM, síntesis para el DiT) mientras habilitan una colaboración efectiva.

Los autores enfatizan que la capacidad de Bernini para generalizar a tareas de edición desafiantes —como el razonamiento causal ("¿Qué sucede cuando llueve?"), cambios de enfoque y cambios de movimiento complejos— proviene de la integración del razonamiento de Cadena de Pensamiento y el paradigma de planificación semántica. El modelo no solo memoriza transformaciones, sino que aprende una capacidad de seguimiento de instrucciones composicional y transferible.

Limitaciones: Los autores notan modestamente que Bernini está limitado por las capacidades de sus modelos fundacionales subyacentes (Qwen2.5-VL y Wan2.2). En escenarios complejos, aún depende de un reescritor de LLM externo para proporcionar instrucciones suficientemente detalladas, lo que sugiere que su razonamiento nativo aún no es completamente suficiente para las ediciones más desafiantes. Además, aunque lidera en consistencia, su calidad visual cruda en la generación de sujeto-a-video aún se queda ligeramente atrás de los sistemas de código cerrado más fuertes como Wan2.7.