Prompt Relay: Inference-Time Temporal Control for Multi-Event Video Generation

1. El Problema

Los modelos de difusión de video actuales han logrado generar videos de alta calidad, pero carecen de mecanismos explícitos para controlar la sucesión temporal de múltiples eventos.

• Entrelazamiento Semántico: Cuando se utiliza un único prompt de texto para describir una secuencia compleja de eventos (ej. "un hombre come pasta, luego una mujer pasa"), los modelos tienden a mezclar los conceptos semánticos de diferentes momentos. Esto provoca que las instrucciones de un evento "sangren" hacia otros, resultando en una mala alineación texto-video.
• Falta de Control Temporal: Los usuarios no pueden especificar con precisión cuándo ocurre un evento, cuánto dura o el orden exacto de los eventos.
• Limitaciones de Métodos Previos: Las soluciones existentes requieren o bien un entrenamiento costoso con grandes cantidades de datos anotados (cambiando la distribución del modelo pre-entrenado) o imponen restricciones estructurales rígidas en el mecanismo de atención que generan artefactos visuales en los límites de los segmentos.

2. Metodología: Prompt Relay

El authors proponen Prompt Relay, un método plug-and-play que opera exclusivamente en tiempo de inferencia (inference-time), sin requerir modificaciones arquitectónicas ni sobrecarga computacional adicional.

Mecanismo Central: Enrutamiento de Atención Temporal

La técnica se basa en modificar el mecanismo de atención cruzada (cross-attention) dentro del modelo de difusión.

• Segmentación de Prompts: El usuario proporciona una secuencia de prompts textuales, cada uno asociado a un intervalo temporal específico $[t_{start}, t_{end}]$.
• Penalización de Atención (Boundary-Attention Decay): Se introduce un término de penalización $C(Q, K)$ en los logits de la atención cruzada.
  • La fórmula de penalización utiliza una función de decaimiento suave (tipo gaussiano) basada en la distancia temporal entre el token de consulta (query) y el centroide del segmento asignado al prompt.
  • Ventana Libre: Dentro de una ventana central del segmento, la penalización es cero, permitiendo atención libre.
  • Decaimiento Suave: A medida que el token de consulta se aleja del centro del segmento hacia los límites, la atención hacia prompts de otros segmentos se atenúa suavemente.
• Contraste con Máscaras Duras: A diferencia de los métodos de "máscara dura" (hard masking) que bloquean completamente la atención fuera del segmento (creando discontinuidades y conflictos entre la atención cruzada y la auto-atención), Prompt Relay permite una co-activación suave de los prompts vecinos en los bordes. Esto crea una región de transición gradual donde el modelo puede planificar el cambio visual de manera coherente antes de comprometerse con la nueva representación.

3. Contribuciones Clave

1. Método Plug-and-Play: Una solución de control temporal fino que funciona en modelos pre-entrenados existentes sin necesidad de re-entrenamiento.
2. Mecanismo de Decaimiento de Atención en Límites (Boundary-Attention Decay): Una penalización gaussiana suave que suprime la interferencia semántica entre segmentos manteniendo la coherencia global y evitando cortes abruptos.
3. Mejora de Calidad Visual: Demuestran que al reducir la competencia semántica innecesaria en el espacio de atención, no solo se mejora la alineación temporal, sino que también se obtiene una mayor fidelidad visual y estructura más clara en comparación con el modelo base.

4. Resultados y Evaluación

Los autores evaluaron Prompt Relay sobre el modelo de vanguardia Wan2.2-T2V-A14B y lo compararon con otros modelos como Sora, Veo 3.1 y Kling 2.6.

• Métricas de Evaluación: Dado que las métricas cuantitativas existentes fallan en capturar la semántica temporal, realizaron un estudio de preferencia humana (30 participantes) evaluando:
  1. Alineación del Prompt Temporal.
  2. Naturalidad de las Transiciones.
  3. Calidad Visual.
• Hallazgos:
  • Prompt Relay superó consistentemente a los enfoques base (Wan 2.2) y a otros modelos comerciales en alineación temporal y naturalidad de transición.
  • Sorprendentemente, la versión con Prompt Relay mostró una mejor calidad visual que el modelo Wan 2.2 base, probablemente debido a la reducción de ruido semántico en la atención.
  • Aunque modelos como Kling 2.6 y Veo 3.1 aún mantienen una calidad visual general ligeramente superior (limitada por la capacidad de sus backbones), Prompt Relay ofrece el mejor control de secuencias múltiples.

5. Significado y Limitaciones

• Significado: Este trabajo es un paso crucial hacia la síntesis de video de "nivel cinematográfico" y controlable. Permite contar historias complejas con múltiples escenas y transiciones precisas sin necesidad de entrenar modelos desde cero, democratizando el control temporal en la generación de video.
• Limitaciones: El método no comparte explícitamente elementos visuales persistentes (personajes, estilo de escena) entre segmentos. Si los prompts locales son inconsistentes, la apariencia puede "derivar" (drift). Los autores solucionan esto incorporando un prompt global que proporciona contexto compartido y ancla los elementos persistentes a través de toda la secuencia.

En resumen, Prompt Relay resuelve el problema de la coherencia temporal en la generación de video mediante un control inteligente y suave de la atención cruzada, permitiendo narrativas complejas y ordenadas sin sacrificar la calidad visual ni requerir entrenamiento adicional.