Resumen Técnico: TempAct

Planteamiento del Problema

Los modelos de difusión de video autorregresivos (AR) permiten la generación de streaming por fragmentos (chunk-wise) de baja latencia mediante la síntesis de videos secuencialmente utilizando contexto visual en caché. Sin embargo, esta formulación introduce desafíos significativos en el seguimiento de instrucciones temporales:

1. Confusión Temporal: Al estar condicionado por un único prompt global, el modelo a menudo falla al determinar qué sub-evento corresponde al fragmento actual. Esto conduce a órdenes de eventos "colapsados" o difusos (por ejemplo, un perro sosteniendo una pelota antes de haber saltado).
2. Fallos de Transición Paso-Prompt: Cambiar ingenuamente a prompts por pasos (donde cada fragmento tiene un sub-prompt específico) traslada la dificultad al manejo de las transiciones de prompts. Los ejecutores AR suelen exhibir reacciones retardadas, mezclan la semántica de pasos adyacentes o propagan errores de fragmentos anteriores hacia los posteriores.
3. Limitaciones del Entrenamiento Existente: El Ajuste Fino Supervisado (SFT) sufre de sesgo de exposición (entrenar sobre historias de "teacher-forced" limpias pero inferir sobre ejecuciones imperfectas). Los métodos de destilación basados en rollouts (ej. DMD) optimizan el denoising de bajo nivel o el emparejamiento de la distribución del profesor, en lugar de forzar explícitamente el orden de las acciones o la corrección de la transición de prompts.

Metodología: TempAct

Los autores proponen TempAct, un marco de Aprendizaje por Refuerzo (RL) de Planificador-Ejecutor diseñado para optimizar conjuntamente la descomposición temporal y la ejecución condicionada por pasos.

1. Pipeline Jerárquico Planificador-Ejecutor

• Planificador LLM ($\pi_\phi$): En lugar de un módulo de preprocesamiento fijo, el planificador es un LLM que explora descomposiciones temporales conscientes de los intervalos (span-aware). Dada una instrucción global, el planificador muestrea un grupo de planes candidatos, donde cada plan desglosa la instrucción en prompts de pasos con intervalos temporales específicos (ej. $L$ fotogramas latentes). El planificador también reescribe los subobjetivos con objetos, acciones y restricciones de estado explícitos.
• Ejecutor de Difusión AR ($p_\theta$): El ejecutor genera fragmentos de video de forma autorregresiva. Crucialmente, utiliza prompts suavizados ($\tilde{s}_j = \text{Smooth}(s_j, s_{j+1})$) para exponer al modelo tanto al objetivo actual como al siguiente, reduciendo los cambios semánticos abruptos durante las transiciones.

2. Exploración de Grupos Jerárquica

Para permitir un la asignación de crédito efectiva, TempAct emplea una estructura de grupos anidados:

• Grupos de Planificación: Para un prompt global, el planificador muestra $M$ planes candidatos.
• Grupos de Ejecución: Para cada plan candidato, el ejecutor genera un contexto compartido hasta el punto de transición, luego muestrea $N$ continuaciones distintas desde ese mismo contexto compartido.
• Asignación de Crédito:
  • A nivel de Plan: Las comparaciones entre los $M$ grupos de planificación recompensan las descomposiciones que conducen a mejores resultados temporales de largo alcance.
  • A nivel de Ejecutor: Las comparaciones dentro de los $N$ grupos de ejecución (que comparten el mismo contexto) aíslan la calidad del comportamiento de cambio de prompt de las variaciones en el historial precedente.

3. Objetivo de Aprendizaje por Refuerzo Conjunto

El marco optimiza ambos componentes utilizando variantes de Optimización de Política Relativa de Grupo (GRPO):

• Optimización del Planificador: Actualizado mediante Optimización de Política de Secuencia de Grupo (GSPO). La ventaja se calcula basándose en las recompensas a nivel de plan (calidad y ejecutabilidad) y en las puntuaciones de seguimiento temporal del video.
• Optimización del Ejecutor: Actualizado mediante Flow-GRPO. La actualización se aplica específicamente al primer fragmento después de un cambio de prompt (el intervalo de transición). Esto enfoca la señal de aprendizaje en la ejecución inmediata del nuevo subobjetivo bajo un contexto autorregresivo imperfecto, en lugar de toda la trayectoria futura.

4. Diseño de Recompensa Multinivel

• Recompensas del Planificador:
  • Calidad del Plan: Evaluada por un LLM (Qwen3-8B) en términos de fidelidad, cobertura, coherencia temporal y evitación de alucinaciones.
  • Seguimiento Temporal: Evaluado por un VLM (Qwen3-VL-8B) en el video generado, evaluando la consistencia física, la consistencia visual y el orden de los eventos.
• Recompensas del Ejecutor:
  • Seguimiento de Paso Local: Un VLM evalúa el primer fragmento de transición para verificar si el subobjetivo específico (sujetos, movimiento, dinámica) se realizó correctamente.
  • Regularización Estética: Una puntuación (PickScore) asegura que la optimización semántica no degrade la calidad visual.

Contribuciones Clave

1. Marco Planificador-Ejecutor: Una arquitectura novedosa que desacopla la planificación temporal (orden de eventos) de la ejecución (realización visual), permitiendo que el sistema aprenda qué planes temporales son ejecutables por el modelo de video.
2. Exploración de Grupos Jerárquica: Un mecanismo que anida grupos de ejecución bajo grupos de planificación, permitiendo una asignación de crédito alineada tanto para los resultados temporales de largo alcance como para los comportamientos locales de cambio de prompt.
3. Optimización de RL Dirigida: El uso de GSPO para el planificador y Flow-GRPO para el ejecutor (específicamente en los fragmentos de transición) aborda directamente el sesgo de exposición y los errores de transición de prompts sin depender únicamente de la destilación.
4. Prompting Consciente de Intervalos (Span-Aware): La introducción de prompts de pasos suavizados y conscientes de los intervalos que mitigan la discontinuidad semántica que suele encontrarse en el cambio de prompts rígido.

Resultados Experimentales

El artículo evalúa TempAct en backbones autorregresivos Self-Forcing y LongLive utilizando un conjunto de datos de 5,000 instrucciones temporalmente estructuradas.

• Métricas: La métrica principal es la Puntuación de Seguimiento Temporal, que mide la adherencia a la secuencia de eventos prevista.
• Rendimiento: TempAct demuestra mejoras consistentes en la consistencia temporal en comparación con los baselines de prompt único y de prompts por pasos, tanto en el dominio como fuera de él (evaluado por VLMs y jueces humanos).
• Calidad Visual: El método preserva la calidad visual general y las puntuaciones estéticas, lo que indica que la optimización de RL no compromete la fidelidad de la generación.
• Dinámicas de Entrenamiento: Las curvas de recompensa muestran que la optimización jerárquica proporciona señales de aprendizaje efectivas para la plausibilidad temporal.

Significado y Reivindicaciones

El artículo afirma que TempAct ofrece una nueva perspectiva sobre la plausibilidad temporal de largo alcance en la generación de video autorregresivo. Al ir más allá de la optimización de denoising de bajo nivel o el simple emparejamiento de distribuciones, TempAct impone explícitamente el orden de las acciones y la corrección de la transición de prompts. Los autores posicionan esto como un paso necesario para desplegar modelos de video AR en aplicaciones interactivas donde la transmisión de baja latencia debe ir acompañada de un cumplimiento estricto de instrucciones temporales complejas y de múltiples etapas. El trabajo sugiere que la optimización conjunta de "qué" (planificación) y "cómo" (ejecución) mediante RL jerárquico es una solución más robusta a la confusión temporal que los enfoques previos de solo SFT o solo destilación.