DOLLAR: Few-Step Video Generation via Distillation and Latent Reward Optimization

Le cadre DOLLAR introduit une nouvelle méthode de génération vidéo en quelques étapes qui combine la distillation variationnelle et de cohérence avec une approche d'optimisation de récompense latente économe en mémoire, atteignant une qualité et une diversité de pointe pour des vidéos de 10 secondes tout en accélérant les vitesses d'échantillonnage jusqu'à 278,6 fois.

L'essentiel

Imaginez que vous avez un chef étoilé (le Modèle Enseignant) capable de préparer un plat vidéo parfait et complexe de 10 secondes. Le problème, c'est que ce chef est incroyablement lent. Pour obtenir le plat idéal, il goûte, ajuste, goûte à nouveau et ajuste 50 fois avant de le servir. Si vous voulez une vidéo chaque jour, ce processus prend une éternité et épuise toute l'électricité de votre cuisine (la puissance de calcul).

L'article présente DOLLAR, une nouvelle méthode pour entraîner un Chef Élève capable de préparer exactement le même plat délicieux en seulement 4 étapes (voire 1 étape), sans perdre aucune saveur ni qualité.

Voici comment ils ont procédé, en utilisant trois astuces simples :

1. Le « Test de Goût » et l'Exercice de « Cohérence »

Habituellement, lorsque vous essayez d'enseigner à un élève à cuisiner vite, vous rencontrez deux problèmes :

• Problème A (L'Élève « Fade ») : Si vous dites simplement à l'élève de copier le plat final du maître, il pourrait obtenir le bon goût mais commencer à préparer exactement le même plat à chaque fois (pas de variété).
• Problème B (L'Élève « Désordonné ») : Si vous lui demandez d'être créatif et rapide, la nourriture pourrait avoir l'air bonne mais avoir un goût terrible ou être incohérente.

Les auteurs ont résolu cela en combinant deux méthodes d'entraînement :

• Distillation de Score Variationnel (VSD) : C'est comme si l'élève goûtait le plat du maître et essayait de correspondre parfaitement au profil de saveur. Cela garantit que la vidéo a une haute qualité visuelle.
• Distillation de Cohérence (CD) : C'est comme un exercice où l'élève s'entraîne à préparer le plat en ligne droite. Cela garantit que peu importe comment il commence à cuisiner, il aboutit à un résultat cohérent. Cela maintient la diversité des vidéos et les empêche de devenir des copies « fades ».

En mélangeant ces deux approches, l'élève apprend à être à la fois de haute qualité et diversifié, mais beaucoup plus vite.

2. La « Sauce Secrète » (Optimisation de la Récompense Latente)

Même avec un élève rapide, parfois la vidéo n'est pas tout à fait ce que vous voulez. Peut-être voulez-vous qu'elle ait un aspect plus « cinématographique » ou un meilleur éclairage. Habituellement, pour corriger cela, vous devriez envoyer la vidéo à un immense et lent « Critique Culinaire » (un Modèle de Récompense) qui vérifie chaque pixel. C'est lent et nécessite une cuisine massive (mémoire informatique).

Les auteurs ont inventé un Modèle de Récompense Latente (LRM).

• L'Analogie : Au lieu d'envoyer la vidéo finie et lourde au Critique, ils enseignent à un minuscule « Mini-Critique » de poche à juger les ingrédients (l'espace latent) avant même que la vidéo ne soit entièrement cuite.
• Le Bénéfice : Ce Mini-Critique est minuscule, rapide et n'a pas besoin de voir toute la vidéo pour donner son avis. Il dit au chef élève : « Votre éclairage est un peu décalé », et l'élève ajuste immédiatement. Cela permet à l'élève de dépasser les compétences originales du Chef Maître, spécifiquement pour des aspects comme l'esthétique ou l'alignement avec le texte, sans avoir besoin d'un superordinateur.

3. Le Résultat : Une Cuisine Ultra-Rapide

L'article affirme qu'avec cette méthode :

• Vitesse : Ils peuvent générer une vidéo de 10 secondes en 4 étapes au lieu de 50. C'est jusqu'à 278 fois plus rapide que la méthode originale. C'est presque comme une génération en temps réel.
• Qualité : Les vidéos de l'élève obtiennent de meilleurs scores aux tests standards (appelés VBench) que le Chef Maître original, ainsi que d'autres concurrents de premier plan comme Gen-3 et Kling.
• Efficacité : Parce qu'ils utilisent le « Mini-Critique » (Modèle de Récompense Latente) au lieu du géant, ils économisent une énorme quantité de mémoire informatique. Vous n'avez pas besoin d'un superordinateur pour l'exécuter ; il tient sur des GPU haut de gamme standards.

Résumé

Pensez à DOLLAR comme à un programme de formation qui transforme un générateur de vidéo lent et perfectionniste en un artiste foudroyant. Il le fait en :

1. Enseignant à l'artiste d'être à la fois précis et créatif en même temps.
2. Lui donnant un petit assistant intelligent pour fournir un retour instantané sur la qualité, afin qu'il n'ait pas besoin d'attendre qu'un ordinateur lent et géant vérifie son travail.

Le résultat est un système qui crée des vidéos de haute qualité et diversifiées en quelques secondes plutôt qu'en quelques minutes, rendant la génération de vidéo « en temps réel » une réalité.

Résumé technique

Résumé Technique : DOLLAR (Distillation et Optimisation de Récompense Latente)

Énoncé du Problème

Les modèles probabilistes de diffusion ont réalisé des percées significatives dans la génération vidéo à partir de texte (T2V) ; cependant, leur application pratique est entravée par une inefficacité computationnelle. Les modèles de diffusion standards nécessitent des centaines d'étapes d'échantillonnage itératif pour générer des vidéos de haute qualité, rendant la génération en temps réel ou quasi réel inenvisageable. Bien que la réduction du nombre d'étapes d'échantillonnage (génération en peu d'étapes) améliore l'efficacité, cela entraîne généralement un compromis : une dégradation significative de la qualité vidéo, une perte de diversité (effondrement de mode) ou un échec à s'aligner sur des préférences utilisateur spécifiques. De plus, les méthodes de distillation existantes peinent souvent à surpasser les performances du modèle enseignant ou à s'adapter à des exigences spécifiques en aval sans un réentraînement coûteux.

Méthodologie

Les auteurs proposent DOLLAR, un cadre combinant distillation et optimisation de récompense latente pour atteindre une génération vidéo en peu d'étapes, de haute qualité et diversifiée. La méthodologie se compose de trois composants principaux :

1. Stratégie de Distillation Hybride (VSD + CD)

Pour répondre aux limites des méthodes de distillation existantes, DOLLAR intègre la Distillation de Score Variationnel (VSD) et la Distillation de Cohérence (CD) :

• Distillation de Score Variationnel (VSD) : Aligne la distribution d'échantillons de l'élève sur celle de l'enseignant en minimisant la divergence de Kullback-Leibler (KL). Bien qu'efficace pour la qualité, la VSD seule peut conduire à un effondrement de mode (réduction de la diversité).
• Distillation de Cohérence (CD) : Garantit des prédictions d'échantillons cohérentes le long de la trajectoire de diffusion, favorisant la diversité. Cependant, la CD seule peut réduire la fidélité des échantillons et produire des sorties excessivement lisses.
• Intégration : Les auteurs combinent ces pertes pour exploiter la haute fidélité de la VSD et la diversité de la CD. Ils emploient une approche de CD généralisée utilisant une fonction de débruitage multi-étapes de l'enseignant ($Denoise_m$) plutôt qu'une approximation mono-étape, ce qui améliore la qualité de génération. Le modèle élève est initialisé à partir de l'enseignant et entraîné en utilisant un objectif de prédiction de vitesse conjuguée.

2. Affinage du Modèle de Récompense Latente (LRM)

Pour améliorer davantage les performances au-delà des capacités de l'enseignant et s'aligner sur des métriques spécifiques (par exemple, esthétique, alignement texte), les auteurs introduisent un Modèle de Récompense Latente (LRM) :

• Mécanisme : Au lieu de rétropropager les gradients à travers de grands modèles de récompense et décodeurs dans l'espace des pixels (ce qui est gourmand en mémoire et nécessite des récompenses différentiables), DOLLAR entraîne un modèle de récompense compact et différentiable directement dans l'espace latent.
• Entraînement : Le LRM est entraîné pour approximer les scores d'un modèle de récompense pré-entraîné dans l'espace des pixels (par exemple, HPSv2, PickScore) en utilisant des échantillons latents générés.
• Optimisation : Le modèle élève de diffusion est affiné en utilisant les gradients provenant du LRM. Cette approche prend en charge des métriques de récompense non différentiables, réduit considérablement l'utilisation de la mémoire (en contournant le décodeur et les grands modèles de récompense) et permet une optimisation efficace.

3. Entraînement Multi-Objectif

L'objectif final d'entraînement combine les pertes de distillation et la perte d'affinage par récompense :
$$\mathcal{L}(\theta) = \mathcal{L}_{VSD}(\theta) + \beta_{CD}\mathcal{L}_{CD}(\theta) + \beta_{FT}\mathcal{L}_{FT}(\theta; \phi)$$
Où $\mathcal{L}_{FT}$ est la récompense attendue négative provenant du LRM. Cela permet au modèle d'optimiser simultanément l'appariement de distribution, la cohérence et des métriques de récompense spécifiques.

Contributions Clés

1. Distillation Efficace en Peu d'Étapes : L'introduction d'une méthode de distillation combinant les pertes VSD et CD, permettant la génération de vidéos de 10 secondes (128 images) de haute qualité et diversifiées en aussi peu que 4 étapes.
2. Distillation de Cohérence Généralisée : Une amélioration par rapport à la CD standard en utilisant une fonction de débruitage multi-étapes de l'enseignant, ce qui renforce l'efficacité du processus de distillation.
3. Optimisation de Récompense Latente : Une approche novatrice et économe en mémoire pour l'affinage utilisant un modèle de récompense latente compact. Cette méthode élimine l'exigence de modèles de récompense différentiables et supprime la nécessité de rétropropager à travers de grands modèles et décodeurs dans l'espace des pixels, rendant l'ajustement basé sur la récompense réalisable pour les grands modèles vidéo.

Résultats Expérimentaux

La méthode a été évaluée sur des configurations T2V à grande échelle (128 images, 12 FPS, résolution 192x320) en utilisant le benchmark VBench et des évaluations humaines.

• Performance vs. Baselines : Le modèle élève distillé en 4 étapes a obtenu un Score Total VBench de 82,57 (utilisant la récompense HPSv2), surpassant le modèle enseignant (80,25) et les baselines de l'état de l'art, notamment Gen-3 (82,32), Kling (81,85) et T2V-Turbo (81,01).
• Qualité et Diversité : Le modèle élève a surpassé l'enseignant sur 9 des 16 métriques VBench. La combinaison de la CD et du LRM a réussi à atténuer l'effondrement de mode souvent observé dans la distillation VSD pure, maintenant une haute diversité d'échantillons (mesurée par le score Vendi).
• Efficacité : Le modèle élève en 4 étapes a atteint une accélération de 15,6x par rapport au modèle enseignant en 50 étapes. Une configuration en 1 étape a atteint jusqu'à 278,6x d'accélération, permettant une génération quasi réelle.
• Évaluation Humaine : Dans des comparaisons par paires, le modèle DOLLAR (4 étapes) a été préféré au modèle enseignant (50 étapes DDIM) par 51,1 % des évaluateurs humains pour la préférence générale et a affiché des scores de qualité visuelle significativement plus élevés.
• Ajustement par Récompense : L'affinage avec le LRM a réussi à améliorer des métriques spécifiques (par exemple, alignement texte-vidéo, éclairage) sans les coûts prohibitifs en mémoire associés aux méthodes de gradient de récompense directes comme ReFL ou DRaFT.

Signification et Revendications

L'article revendique que DOLLAR fait progresser considérablement l'état de l'art dans la génération vidéo en résolvant le compromis entre l'efficacité de génération et la qualité. En combinant la distillation avec l'optimisation de récompense latente, la méthode permet :

• Potentiel Temps Réel : Accélérer l'échantillonnage de diffusion jusqu'à 278 fois, ouvrant la voie à des applications de génération vidéo en temps réel.
• Supériorité sur les Enseignants : Démontrer qu'un modèle élève distillé peut dépasser les performances de son modèle enseignant, remettant en question l'idée que les performances de l'élève sont strictement bornées supérieurement par l'enseignant.
• Affinage Évolutif : Fournir une solution pratique pour aligner les modèles de génération vidéo sur des métriques de récompense diverses et non différentiables sans la charge computationnelle de la rétropropagation dans l'espace des pixels.

Les auteurs notent que si la méthode réalise des améliorations substantielles, des défis persistent concernant le biais de longueur de prompt (les modèles performent mieux sur des prompts longs et descriptifs) et le potentiel de sur-optimisation de la récompense, qui peut dégrader la qualité visuelle globale si des métriques spécifiques sont poursuivies de manière trop agressive.