A Systematic Post-Train Framework for Video Generation

1. Énoncé du problème

Bien que les modèles de diffusion vidéo à grande échelle aient réalisé des progrès significatifs dans la génération de contenu haute résolution et sémantiquement riche, un écart critique subsiste entre leurs performances de préentraînement et les exigences de déploiement réel. Les principaux défis entravant le déploiement incluent :

• Sensibilité aux invites : Les modèles sont souvent instables et ne suivent pas les instructions avec précision.
• Incohérence temporelle : Les vidéos souffrent de scintillement, de tremblements et de mouvements incohérents sur de longues durées.
• Artéfacts locaux : Des erreurs surviennent fréquemment dans des détails complexes comme les mains, le texte et les mouvements rapides.
• Coûts d'inférence prohibitifs : Les exigences computationnelles élevées rendent le déploiement en temps réel ou évolutif difficile.
• Bruit d'évaluation : Les signaux d'évaluation existants sont souvent bruyants, et la génération de déroulements pour l'apprentissage par renforcement est coûteuse en calcul.

L'article soutient que le préentraînement standard est insuffisant et qu'une phase systématique de post-entraînement est nécessaire pour aligner les modèles sur les intentions des utilisateurs, améliorer la qualité et optimiser l'efficacité dans le cadre de contraintes de coûts strictes.

2. Méthodologie

Les auteurs proposent un cadre de post-entraînement unifié en quatre étapes conçu pour combler le fossé entre le préentraînement basé sur la vraisemblance et le déploiement axé sur l'alignement.

Phase 1 : Affinement supervisé (SFT)

• Objectif : Établir une politique de référence stable et bien structurée avant d'appliquer l'apprentissage par renforcement.
• Mécanisme : Le modèle préentraîné est affiné sur des données curatées pour éliminer les échecs « faciles » tels que les cascades de refus, le raisonnement incohérent et les sorties non sécurisées.
• Justification : Le SFT transforme une politique erratique en une base cohérente, empêchant le modèle de dévier vers des comportements dégénérés lors des étapes ultérieures de RLHF et élargissant l'espace d'exploration pour le RL.

Phase 2 : Apprentissage par renforcement à partir de feedback humain (RLHF) via GRPO

• Objectif : Optimiser la qualité perceptive, la cohérence temporelle et le suivi des instructions sans dépendre d'estimations de fonctions de valeur instables.
• Mécanisme :
  • Formulation : Le processus d'échantillonnage par matching de flux est modélisé comme un processus de décision markovien (MDP) sous des dynamiques stochastiques.
  • Algorithme : Les auteurs emploient l'Optimisation de politique relative par groupes (GRPO), adaptée à la diffusion vidéo. Ils utilisent une stratégie Flash-GRPO avec groupement isotemporel, où chaque groupe d'invites effectue une seule transition d'équation différentielle stochastique (SDE) à un instant spécifique pour l'exploration, tout en utilisant des mises à jour déterministes d'équations différentielles ordinaires (ODE) ailleurs pour la stabilité.
  • Modèles de récompense : Un système de récompense multidimensionnel est utilisé, comprenant :
    1. Esthétique vidéo : Éclairage, composition et apparence cinématographique.
    2. Esthétique image : Netteté et structure au niveau des images.
    3. Qualité du mouvement : Fluidité et cohérence temporelle.
    4. Alignement texte-vidéo : Cohérence sémantique avec l'invite.
  • Optimisation : Le cadre équilibre ces récompenses pour éviter les compromis (par exemple, sacrifier le naturel visuel pour la précision du texte), en priorisant la qualité visuelle globale.

Phase 3 : Amélioration des invites (PE)

• Objectif : Affiner les entrées utilisateur (invites) pour améliorer la robustesse de la sortie et la qualité visuelle.
• Mécanisme : Un grand modèle de langage (LLM) est entraîné en tant qu'« Améliorateur d'invites » en utilisant le même cadre GRPO.
• Signaux de récompense : Le LLM est optimisé pour l'alignement texte-vidéo, l'esthétique vidéo et une récompense de structure (assurant la conformité au format).
• Bénéfice : Cela optimise le côté entrée du pipeline de génération, complétant l'optimisation du côté sortie du RLHF, permettant au système de gérer plus efficacement des entrées utilisateur diverses.

Phase 4 : Distillation autoregressive (AD)

• Objectif : Compresser le modèle post-entraîné de haute qualité en une architecture causale efficace pour une inférence plus rapide.
• Mécanisme :
  • Distillation : Le modèle enseignant bidirectionnel est distillé dans un modèle étudiant causal en utilisant la Distillation par correspondance de distribution (DMD).
  • Auto-contrainte : L'entraînement emploie un paradigme d'auto-contrainte où les images sont générées conditionnées par des sorties précédemment auto-générées (en utilisant le cache KV), plutôt que par une contrainte de l'enseignant. Cela atténue l'accumulation d'erreurs courante dans la synthèse de vidéos longues.
  • Architecture : Le processus implique une régression ODE pour stabiliser la transition vers des masques causaux, suivie d'une distillation par auto-contrainte pour évaluer la qualité de l'ensemble de la séquence générée.

3. Contributions clés

1. Pipeline de post-entraînement unifié : L'article introduit un cadre systématique intégrant SFT, RLHF, amélioration des invites et distillation autoregressive, abordant simultanément la qualité, la contrôlabilité et l'efficacité.
2. GRPO pour la diffusion vidéo : Une adaptation novatrice du GRPO pour les modèles de matching de flux, utilisant un groupement isotemporel et une rectification du gradient temporel pour gérer le coût élevé et le bruit des déroulements de génération vidéo.
3. Optimisation double face : L'intégration unique de l'Amélioration des invites aux côtés du RLHF standard, optimisant à la fois l'invite d'entrée et la politique de génération en utilisant les mêmes signaux de récompense.
4. Architecture de déploiement efficace : L'application de la Distillation par auto-contrainte pour transférer les capacités d'un enseignant bidirectionnel vers un étudiant causal et autoregressif, permettant une inférence en temps réel sans perte significative de qualité.

4. Résultats

Le cadre a été évalué à l'aide d'un protocole de comparaison Bon–Même–Mauvais (GSB) avec des annotateurs humains.

• Impact du RLHF : L'étape RLHF seule a réalisé une amélioration de 31 % de la métrique GSB globale. Les gains ont été les plus prononcés dans la Qualité visuelle et la Qualité du mouvement. Les améliorations de l'alignement du texte ont été modestes, attribuées aux limitations actuelles des modèles de récompense texte-vidéo.
• Impact de l'amélioration des invites : L'intégration de l'Améliorateur d'invites a produit une amélioration supplémentaire de 20 % de la métrique GSB globale.
• Global : Le pipeline combiné atténue considérablement les artéfacts et améliore la dynamique temporelle tout en préservant l'alignement sémantique.
• Preuve visuelle : Les résultats qualitatifs (Figure 2) montrent des améliorations marquées dans des scènes complexes (par exemple, trains à vapeur, éléphants, scènes de cuisine) concernant l'éclairage, la fluidité du mouvement et l'adhésion aux détails de l'invite par rapport à la ligne de base pré-RLHF.

5. Importance

• Plan pratique : L'article fournit un modèle évolutif pour construire des pipelines de génération vidéo déployables qui équilibrent l'excellence visuelle, la cohérence temporelle et l'efficacité du système.
• Avancement fondamental : En forçant le modèle à intérioriser les lois physiques, la permanence des objets et les interactions causales grâce à une optimisation temporelle stricte, le cadre contribue au développement de modèles mondiaux vidéo robustes.
• Impact industriel : Le cadre abaisse la barrière à l'intégration de la vidéo générative dans les pipelines commerciaux (e-commerce, marketing, divertissement) en rendant les modèles plus fiables, contrôlables et efficaces en calcul.
• Direction future : Il souligne la nécessité de modèles de récompense texte-vidéo plus robustes pour débloquer davantage le potentiel d'optimisation sémantique.