Manifold-Aware Exploration for Reinforcement Learning in Video Generation

1. Problématique

L'alignement des modèles de génération vidéo avec les préférences humaines via l'optimisation de politique relative de groupe (GRPO) se heurte à des défis majeurs qui limitent sa fiabilité par rapport aux modèles de langage ou d'images.

• Espace de solution complexe : La génération vidéo opère dans un espace de solutions structuré et vaste. Les méthodes actuelles (comme FlowGRPO, DanceGRPO) convertissent les échantillonneurs déterministes (ODE) en échantillonneurs stochastiques (SDE) pour permettre l'exploration.
• Bruit excessif et dérive hors-variété : Ces conversions utilisent souvent des approximations d'Euler du premier ordre. Cela introduit une erreur de discrétisation qui injecte un énergie de bruit excessive, particulièrement dans les régions à fort bruit (étapes précoces de la diffusion).
• Conséquences : Ce bruit superflu pousse les trajectoires d'échantillonnage hors de la « variété de données vidéo » valide (le sous-espace où les vidéos réalistes existent). Cela entraîne :
  • Une baisse de la qualité des trajectoires (rollouts).
  • Des artefacts temporels (jitter).
  • Des estimations de récompense peu fiables, déstabilisant l'alignement post-entraînement.
• Dilemme Stabilité-Plasticité : Les contraintes de régularisation KL traditionnelles (fixées sur le modèle initial) limitent trop l'exploration (sous-apprentissage), tandis que l'absence de contraintes ou des contraintes trop lâches entraînent une dérive vers des optima locaux hors-variété ou du « hacking de récompense ».

2. Méthodologie : SAGE-GRPO

Les auteurs proposent SAGE-GRPO (Stable Alignment via Exploration), un cadre qui organise l'exploration à deux niveaux (micro et macro) pour contraindre le processus autour de la variété de données valide.

A. Niveau Micro : Exploration Précise et Équilibrage

L'objectif est de garantir que chaque pas d'exploration reste tangent à la trajectoire de flux de données.

1. SDE Consciente de la Variété (Manifold-Aware SDE) :

   • Au lieu d'une approximation linéaire de la variance du bruit, les auteurs dérivent une variance précise en intégrant les coefficients de diffusion sur l'intervalle de temps.
   • Ils introduisent un terme de correction logarithmique : $\log\left(\frac{1-\sigma_{t+1}}{1-\sigma_t}\right)$.
   • Résultat : Cette formulation capture la contraction géométrique du coefficient de signal, réduisant l'énergie de bruit injectée inutilement et maintenant l'exploration proche de la variété de données (évitant la dérive).

2. Égalisateur de Norme de Gradient (Gradient Norm Equalizer) :

   • Le processus de diffusion souffre d'un déséquilibre intrinsèque : les gradients s'annulent aux niveaux de bruit élevés ($t \to 1$) et explosent aux niveaux de bruit faibles ($t \to 0$), biaisant l'apprentissage vers certaines phases.
   • La méthode normalise la pression d'optimisation à chaque pas de temps en calculant une échelle de gradient robuste ($N_t$) et en appliquant un facteur de pondération basé sur la médiane des échelles. Cela assure que les mises à jour structurelles et texturales contribuent équitablement.

B. Niveau Macro : Régions de Confiance Duales (Dual Trust Region)

Pour éviter la dérive à long terme tout en permettant l'adaptation (plasticité), le cadre utilise une stratégie de régularisation KL dynamique.

1. Ancrage Mobile Périodique (Periodical Moving Anchor) :

   • Au lieu de s'ancrer au modèle initial $\pi_0$ (trop restrictif) ou uniquement au pas précédent $\pi_{k-1}$ (risque de dérive cumulative), le modèle de référence $\pi_{ref}$ est mis à jour périodiquement (toutes les $N$ étapes).
   • Cela crée une « zone sûre » dynamique qui suit les checkpoints proches de la variété de données.

2. Objectif KL Dual (Position-Vitesse) :

   • La fonction de perte combine deux termes KL :
     • Contrôle de Position : $D_{KL}(\pi_\theta || \pi_{ref\_N})$ empêche la dérive à long terme en maintenant le modèle à une distance raisonnable d'un état valide récent.
     • Contrôle de Vitesse : $D_{KL}(\pi_\theta || \pi_{k-1})$ limite la magnitude des mises à jour instantanées pour assurer des transitions locales lisses.
   • Cette combinaison agit comme un contrôleur position-vitesse, permettant une plasticité soutenue tout en garantissant la stabilité.

3. Contributions Clés

1. Formulation du problème : Identification de la conversion ODE-to-SDE comme source de bruit excessif et formulation de l'alignement vidéo comme un problème d'exploration contrainte par la variété de données.
2. Innovation Micro : Développement d'une SDE précise avec correction logarithmique et d'un égalisateur de gradient temporel pour stabiliser l'échantillonnage et l'optimisation.
3. Innovation Macro : Proposition d'une région de confiance duale avec ancrage mobile pour résoudre le dilemme stabilité-plasticité, évitant à la fois le sous-apprentissage et le hacking de récompense.
4. Validation Empirique : Démonstration de gains cohérents sur le modèle HunyuanVideo1.5, surpassant les méthodes de l'état de l'art (DanceGRPO, FlowGRPO, CPS).

4. Résultats Expérimentaux

Les expériences ont été menées sur HunyuanVideo1.5 en utilisant le modèle de récompense VideoAlign (sans fine-tuning du modèle de récompense).

• Métriques Quantitatives :
  • SAGE-GRPO obtient les meilleurs résultats globaux sur les métriques de Qualité Visuelle (VQ), Qualité du Mouvement (MQ), et Alignement Textuel (TA).
  • Il surpasse les baselines dans les deux configurations de récompense (moyenne et focalisée sur l'alignement).
  • Les métriques visuelles (CLIPScore, PickScore) montrent une amélioration de la qualité globale de la vidéo.
• Analyse Qualitative :
  • Réduction significative du « jitter » temporel et des artefacts.
  • Meilleure cohérence sémantique et photoréalisme, notamment dans des scènes complexes avec des interactions d'objets précises ou des changements d'éclairage.
  • Capacité supérieure à capturer des nuances émotionnelles subtiles (expressions faciales, humeur) par rapport aux baselines.
• Étude Utilisateur :
  • Sur 32 prompts évalués par 29 évaluateurs, SAGE-GRPO a remporté des taux de victoire significatifs (ex: 85,9% en qualité visuelle contre DanceGRPO, 75,8% en qualité de mouvement).
• Ablations :
  • Les ablations confirment que chaque composant (SDE précise, égalisateur de gradient, ancrage mobile) est nécessaire pour obtenir la stabilité et la performance optimales.

5. Signification et Impact

Ce travail représente une avancée significative pour l'alignement des modèles de génération vidéo par apprentissage par renforcement.

• Stabilité de l'entraînement : En résolvant le problème de l'injection de bruit excessif et de la dérive hors-variété, SAGE-GRPO rend l'entraînement par GRPO beaucoup plus fiable pour la vidéo, un domaine où il était jusqu'ici instable.
• Qualité de Génération : La méthode permet d'obtenir des vidéos plus stables, cohérentes et fidèles aux prompts, ce qui est crucial pour les applications créatives, éducatives et scientifiques.
• Généralisation du concept : L'approche de « variété consciente » (manifold-aware) et de contrôle position-vitesse pourrait être appliquée à d'autres tâches de génération séquentielle complexe au-delà de la vidéo.

En résumé, SAGE-GRPO propose une solution élégante et mathématiquement fondée pour naviguer dans l'espace complexe de la génération vidéo, assurant que l'exploration nécessaire à l'apprentissage par renforcement ne sacrifie pas la validité physique et temporelle des vidéos générées.