Résumé Technique : TempAct

Énoncé du Problème

Les modèles de diffusion vidéo autorégressifs (AR) permettent une génération en streaming par morceaux (chunk-wise) à faible latence en synthétisant les vidéos séquentiellement à l'aide d'un contexte visuel mis en cache. Cependant, cette formulation introduit des défis importants en matière de respect des instructions temporelles :

1. Confusion Temporelle : Lorsqu'ils sont conditionnés par un seul prompt global, les modèles échouent souvent à déterminer quel sous-événement correspond au fragment actuel. Cela conduit à des ordres d'événements « effondrés » ou flous (par exemple, un chien tenant une balle avant même d'avoir bondi).
2. Échecs de Transition Prompt-Étape : Le passage naïf à des prompts par étapes (où chaque fragment possède un sous-prompt spécifique) déplace la difficulté vers la gestion des transitions de prompts. Les exécuteurs AR présentent souvent des réactions tardives, mélangent les sémantiques d'étapes adjacentes ou propagent les erreurs des fragments précédents vers les suivants.
3. Limites de l'Entraînement Existant : Le réglage fin supervisé (SFT) souffre de biais d'exposition (entraînement sur des historiques propres avec "teacher forcing", mais inférence sur des déroulés imparfaits). Les méthodes de distillation basées sur le déroulement (ex: DMD) optimisent le débruitage de bas niveau ou l'appariement de la distribution de l'enseignant, plutôt que d'imposer explicitement l'ordre des actions ou la justesse de la transition de prompt.

Méthodologie : TempAct

Les auteurs proposent TempAct, un cadre de Reinforcement Learning (RL) Planificateur-Exécuteur conçu pour optimiser conjointement la décomposition temporelle et l'exécution conditionnée par étape.

1. Pipeline Hiérarchique Planificateur-Exécuteur

• Planificateur LLM ($\pi_\phi$) : Au lieu d'un module de prétraitement fixe, le planificateur est un LLM qui explore des décompositions temporelles sensibles aux intervalles (span-aware). Étant donné une instruction globale, le planificateur échantillonne un groupe de plans candidats, où chaque plan décompose l'instruction en sous-prompts avec des intervalles temporels spécifiques (ex: $L$ cadres latents). Le planificateur réécrit également les sous-objectifs avec des objets, des actions et des contraintes d'état explicites.
• Exécuteur de Diffusion AR ($p_\theta$) : L'exécuteur génère des fragments vidéo de manière autorégressive. Crucialement, il utilise des prompts lissés ($\tilde{s}_j = \text{Smooth}(s_j, s_{j+1})$) pour exposer le modèle à la fois aux sous-objectifs actuels et à venir, réduisant ainsi les changements sémantiques abrupts lors des transitions.

2. Exploration de Groupe Hiérarchique

Pour permettre un assignation de crédit efficace, TempAct emploie une structure de groupe imbriquée :

• Groupes de Planification : Pour un prompt global, le planificateur échantillonne $M$ plans candidats.
• Groupes d'Exécution : Pour chaque plan candidat, l'exécuteur génère un contexte partagé jusqu'au point de transition, puis échantillonne $N$ continuations distinctes à partir de ce contexte partagé.
• Assignation de Crédit :
  • Au niveau du Plan : Les comparaisons entre les $M$ groupes de planification récompensent les décompositions qui mènent à de meilleurs résultats temporels sur le long terme.
  • Au niveau de l'Exécuteur : Les comparaisons au sein des $N$ groupes d'exécution (partageant le même contexte) isolent la qualité du comportement de changement de prompt des variations de l'historique précédent.

3. Objectif de Reinforcement Learning Conjoint

Le cadre optimise les deux composants en utilisant des variantes de Group Relative Policy Optimization (GRPO) :

• Optimisation du Planificateur : Mis à jour via la Group Sequence Policy Optimization (GSPO). L'avantage est calculé sur la base des récompenses au niveau du plan (qualité et exécutabilité) et des scores de suivi temporel du niveau vidéo.
• Optimisation de l'Exécuteur : Mise à jour via le Flow-GRPO. La mise à jour est appliquée spécifiquement au premier fragment après un changement de prompt (l'intervalle de transition). Cela concentre le signal d'apprentissage sur l'exécution immédiate du nouveau sous-objectif sous un contexte autorégressif imparfait, plutôt que sur l'ensemble de la trajectoire future.

4. Conception de Récompense Multi-Niveaux

• Récompenses du Planificateur :
  • Qualité du Plan : Évaluée par un LLM (Qwen3-8B) sur la fidélité, la couverture, la cohérence temporelle et l'évitement des hallucinations.
  • Suivi Temporel : Évalué par un VLM (Qwen3-VL-8B) sur la vidéo générée, évaluant la cohérence physique, la cohérence visuelle et l'ordre des événements.
• Récompenses de l'Exécuteur :
  • Suivi d'Étape Locale : Un VLM évalue le premier fragment de transition pour vérifier si le sous-objectif spécifique (sujets, mouvement, dynamique) a été correctement réalisé.
  • Régularisation Esthétique : Un score (PickScore) garantit que l'optimisation sémantique ne dégrade pas la qualité visuelle.

Contributions Clés

1. Cadre Planificateur-Exécuteur : Une architecture novatrice qui découple la planification temporelle (ordre des événements) de l'exécution (réalisation visuelle), permettant au système d'apprendre quels plans temporels sont exécutables par le modèle vidéo.
2. Exploration de Groupe Hiérarchique : Un mécanisme qui imbrique les groupes d'exécution sous les groupes de planification, permettant une assignation de crédit alignée tant pour les résultats temporels à long terme que pour les comportements locaux de changement de prompt.
3. Optimisation RL Ciblée : L'utilisation de la GSPO pour le planificateur et du Flow-GRPO pour l'exécuteur (spécifiquement sur les fragments de transition) traite directement le biais d'exposition et les erreurs de transition de prompt sans reposer uniquement sur la distillation.
4. Prompting Sensible aux Intervalles (Span-Aware) : L'introduction de prompts par étapes lissés et sensibles aux intervalles qui atténuent la discontinuité sémantique souvent présente dans les changements de prompts brusques.

Résultats Expérimentaux

L'article évalue TempAct sur des backbones autorégressifs Self-Forcing et LongLive en utilisant un jeu de données de 5 000 instructions temporellement structurées.

• Métriques : La métrique principale est le Score de Suivi Temporel (Temporal-Following Score), mesurant l'adhérence à la séquence d'événements prévue.
• Performance : TempAct démontre des améliorations constantes de la cohérence temporelle par rapport aux bases à prompt unique et aux bases à prompt par étape, tant en domaine connu qu'en domaine inconnu (évalué par des VLM et des juges humains).
• Qualité Visuelle : La méthode préserve la qualité visuelle globale et les scores esthétiques, indiquant que l'optimisation par RL ne compromet pas la fidélité de la génération.
• Dynamique d'Entraînement : Les courbes de récompense montrent que l'optimisation hiérarchique fournit des signaux d'apprentissage efficaces pour la plausibilité temporelle.

Signification et Revendications

L'article affirme que TempAct offre une nouvelle perspective sur la plausibilité temporelle à long terme dans la génération vidéo autorégressive. En allant au-delà de l'optimisation du débruitage de bas niveau ou du simple appariement de distribution, TempAct impose explicitement l'ordre des actions et la justesse de la transition de prompt. Les auteurs positionnent cela comme une étape nécessaire pour le déploiement des modèles vidéo AR dans des applications interactives où le streaming à faible latence doit être couplé à un respect strict d'instructions temporelles complexes et multi-étapes. Ce travail suggère que l'optimisation conjointe du « quoi » (planification) et du « comment » (exécution) via le RL hiérarchique est une solution plus robuste à la confusion temporelle que les approches précédentes basées uniquement sur le SFT ou la distillation.