Resumen Técnico: Baton – Planos Semánticos Explícitos para la Generación Conjunta de Video y Audio

1. Declaración del Problema

Los modelos actuales de generación conjunta de video y audio de código abierto, aunque capaces de producir contenido sincronizado para indicaciones simples, luchan significativamente con escenarios que requieren razonamiento semántico complejo. Estos escenarios incluyen acciones de múltiples etapas, interacciones intrincadas entre humanos y objetos, y diálogos con múltiples hablantes.

La causa raíz de este fallo reside en la metodología predominante: los modelos existentes dependen de incrustaciones globales de texto gruesas derivadas de codificadores comerciales (por ejemplo, T5, Qwen) para guiar las trayectorias de eliminación de ruido tanto de la rama de difusión de video como de la de audio. Este enfoque adolece de dos limitaciones críticas:

1. Pérdida de Semánticas de Alta Frecuencia: Las incrustaciones globales no logran descomponer instrucciones complejas en detalles específicos de la modalidad y anclados temporalmente.
2. Falta de Planificación Compartida de Largo Alcance: Sin un plan coordinado, las trayectorias de eliminación de ruido del video y el audio se separan, lo que conduce a dinámicas adversarias. Esto resulta en una grave desalineación entre modalidades, distorsión corporal e incapacidad para mantener la consistencia del sujeto o sincronizar acciones específicas (por ejemplo, un puñetazo que aterriza con un efecto de sonido) durante largos períodos.

Aunque algunas obras recientes intentan enriquecer las indicaciones utilizando Modelos de Lenguaje Grandes (LLM), aún inyectan las representaciones resultantes como incrustaciones globales, sin abordar la desalineación estructural entre la intención semántica y el proceso de generación espacio-temporal.

2. Metodología: Baton

Baton propone un marco que desvincula explícitamente el razonamiento semántico de la síntesis. En lugar de depender únicamente de incrustaciones globales, Baton introduce una fase de "planificación" que genera planos explícitos y conscientes de la modalidad antes de que comience el proceso de difusión. La arquitectura consta de tres componentes principales:

2.1 VA-Planner (Planificador de Video-Audio)

La innovación central es el VA-Planner, un Modelo de Lenguaje Multimodal (MLLM) entrenable equipado con dos torres de alineación semántica.

• Entrada: El planificador recibe una indicación estructurada que contiene instrucciones del sistema, descripciones de video y descripciones de audio.
• Razonamiento: Realiza un razonamiento autoregresivo para predecir un par de tokens planificados: un conjunto para video ($H_v$) y otro para audio ($H_a$). Estos tokens sirven como planos a nivel de fotograma clave.
• Torres de Alineación Dual: Para garantizar la consistencia entre modalidades, el planificador utiliza dos torres con consultas aprendibles.
  • La torre de video extrae semánticas específicas del video de los estados ocultos del MLLM y luego realiza una atención cruzada para absorber pistas auditivas complementarias.
  • La torre de audio realiza la operación simétrica.
  • Esta atención bidireccional asegura que el plan de video sea consciente del contexto de audio y viceversa, produciendo planos temporales mutuamente consistentes.
• Proyección de Características: Los tokens planificados se proyectan en los dominios de características continuas de los codificadores perceptuales preentrenados (SigLip2 para video, WavTokenizer para audio) para servir como guías semánticas de alta fidelidad.

2.2 RoPE Semántico Relativo (RS-RoPE)

Surge un desafío significativo porque los tokens planificados (generados a una resolución de fotograma clave dispersa) y los latentes de difusión (generados en una cuadrícula espacio-temporal densa) no comparten una correspondencia uno a uno. Los codificamientos posicionales estándar fallan aquí, haciendo que el modelo de difusión trate el plan estructurado como una señal global vaga.

Baton introduce RoPE Semántico Relativo, un mecanismo de codificación posicional relativa que:

• Mapea los tokens planificados y los latentes de difusión en un marco de coordenadas espacio-temporal compartido.
• Reescala los índices de posición en función del tiempo físico y la ubicación espacial que representan.
• Permite que cada latente de difusión atienda con precisión a su pista semántica correspondiente en términos de posición, preservando la estructura a nivel de fotograma clave del plano en lugar de aplanarla.

2.3 Estrategia de Entrenamiento

Baton emplea un currículo de entrenamiento de tres etapas para garantizar la robustez:

1. Preentrenamiento de VA-Planner: El MLLM y las torres de alineación se entrenan para predecir características perceptuales continuas (de SigLip2 y WavTokenizer congelados) basándose en indicaciones de texto. Esto enseña al planificador a generar planos semánticos precisos.
2. Adaptación de DiT: El Transformador de Difusión (DiT) se entrena utilizando características perceptuales de verdad fundamental (eludiendo el planificador) para aprender la distribución de características semánticas sin verse confundido por el ruido de predicción del planificador.
3. Ajuste Fino Conjunto: El VA-Planner se congela y el DiT se ajusta finamente utilizando los tokens predichos por el planificador. Esta etapa cierra la brecha entre las características ideales de verdad fundamental y las predicciones realistas del planificador, mitigando el sesgo de exposición.

3. Contribuciones Clave

1. VA-Planner: El primer marco que introduce una planificación semántica explícita para la generación conjunta de video y audio. Genera tokens planificados de video y audio semánticamente alineados que actúan como planos a nivel de fotograma clave, anclando ambas trayectorias de eliminación de ruido a una hoja de ruta compartida.
2. RoPE Semántico Relativo: Una codificación posicional novedosa que resuelve la desajuste espacio-temporal entre planes semánticos dispersos y latentes de difusión densos, permitiendo una atención cruzada precisa entre modalidades.
3. Desvinculación de Razonamiento y Síntesis: Al separar la fase de planificación semántica de la fase de generación, Baton previene la deriva adversaria observada en modelos que dependen únicamente de incrustaciones globales.

4. Resultados Experimentales

Los autores evaluaron Baton en Verse-Bench (puntos de referencia estándar de código abierto) y Sem100 (un conjunto de datos personalizado de 100 videos no vistos con indicaciones complejas de múltiples etapas que requieren un razonamiento semántico profundo).

• Rendimiento Cuantitativo:

  • En Verse-Bench, Baton logra resultados comparables al modelo de última tecnología (SOTA) LTX-2.
  • En Sem100, Baton supera significativamente a todos los competidores de código abierto. Muestra una mejora del 32% en la Precisión de Seguimiento de Indicaciones (P-Acc), una reducción del 76% en la Tasa de Error de Palabra para Múltiples Hablantes (M-WER) y una reducción del 30% en la Desincronización (DeSync) en comparación con LTX-2.
  • Las mejoras en M-WER y P-Acc destacan la capacidad superior del modelo para manejar diálogos con múltiples hablantes y acciones secuenciales complejas.

• Rendimiento Cualitativo:

  • Las comparaciones visuales demuestran que Baton produce contenido de video y audio estable con consistencia correcta del sujeto y acciones sincronizadas, mientras que los competidores (Ovi, UniAVGen, LTX-2, MOVA) sufren de distorsión corporal, desaparición de objetos y desincronización de audio y video en escenarios complejos.
  • En estudios con usuarios, Baton fue preferido sobre los competidores por la alineación de video/audio, la consistencia de identidad y la sincronización.

• Comparación con Modelos Comerciales:

  • Aunque los modelos comerciales (por ejemplo, Veo 3, Seedance 2.0) pueden exhibir una mayor fidelidad visual o estética de audio, Baton logra capacidades de seguimiento de indicaciones comparables, particularmente en escenarios que exigen un razonamiento semántico complejo donde los modelos comerciales a veces fallan en seguir instrucciones de múltiples etapas con precisión.

5. Significado y Afirmaciones

El artículo afirma que Baton es el primer marco que desvincula explícitamente la planificación semántica de la síntesis para la generación conjunta de video y audio. Su significado radica en abordar la limitación fundamental de los modelos de difusión actuales: la incapacidad de mantener la coherencia entre modalidades a lo largo de horizontes largos sin una hoja de ruta semántica compartida y prealineada.

Al introducir planos semánticos explícitos y un mecanismo para alinearlos con latentes de difusión (RS-RoPE), Baton transforma la generación de "eliminar ruido ciegamente bajo señales globales vagas" a "seguir un plan semánticamente fundamentado y coordinado entre modalidades". Esto permite que el modelo sintetice contenido de video y audio estable y sincronizado, incluso para indicaciones que involucran relaciones causales complejas, acciones de múltiples etapas e interacciones con múltiples hablantes, estableciendo un nuevo estándar para la generación conjunta de video y audio de código abierto.