💻 computer science

LatSearch: Latent Reward-Guided Search for Faster Inference-Time Scaling in Video Diffusion

Le papier présente LatSearch, une méthode de recherche guidée par des récompenses latentes qui optimise l'inférence des modèles de diffusion vidéo en évaluant la qualité à des étapes intermédiaires du processus de débruitage, permettant ainsi d'améliorer significativement la génération vidéo tout en réduisant les coûts computationnels.

Auteurs originaux : Zengqun Zhao, Ziquan Liu, Yu Cao, Shaogang Gong, Zhensong Zhang, Jifei Song, Jiankang Deng, Ioannis Patras

Publié 2026-03-17

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Zengqun Zhao, Ziquan Liu, Yu Cao, Shaogang Gong, Zhensong Zhang, Jifei Song, Jiankang Deng, Ioannis Patras

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous demandez à un artiste de générer une vidéo à partir d'une simple phrase, comme « Un papillon dont les ailes passent du blanc au jaune ». C'est ce que font les modèles d'intelligence artificielle actuels pour la vidéo. Mais souvent, le résultat est moyen, ou l'artiste met trop de temps à peindre chaque détail.

Le papier que vous avez partagé présente une nouvelle méthode appelée LatSearch. Voici comment cela fonctionne, expliqué simplement avec des analogies du quotidien.

1. Le Problème : L'Artiste qui ne voit pas son travail en cours

Actuellement, pour améliorer la qualité d'une vidéo générée par IA, on a deux choix principaux :

Faire plus de pas : L'artiste dessine lentement, étape par étape. C'est lent.
Essayer plusieurs brouillons : L'artiste génère 10 versions différentes de la vidéo, attend qu'elles soient toutes terminées, les regarde, et choisit la meilleure. C'est très coûteux en temps et en énergie (comme commander 10 pizzas pour en manger une seule).

Le gros problème, c'est que l'IA ne peut pas juger la qualité d'une vidéo pendant qu'elle la crée. Elle doit attendre la fin pour dire « Oh non, c'est raté ». C'est comme si un architecte ne pouvait vérifier si les fondations sont solides qu'une fois le gratte-ciel terminé.

2. La Solution : Le Chef de Cuisine "LatSearch"

LatSearch change la donne en agissant comme un chef de cuisine très attentif qui goûte le plat pendant la cuisson, pas seulement à la fin.

Voici les trois ingrédients magiques de cette méthode :

A. Le "Goûteur" Invisible (Le Modèle de Récompense Latente)

Au lieu d'attendre que la vidéo soit décodée (transformée en images visibles), LatSearch utilise un modèle spécial qui peut "sentir" la qualité de l'image alors qu'elle est encore à l'état de brouillon numérique (ce qu'on appelle un "latent").

L'analogie : Imaginez que vous cuisinez une soupe. Un cuisinier normal goûte la soupe une fois servie dans l'assiette. Le "Goûteur Latent" de LatSearch peut sentir l'arôme et le goût de la soupe dans la marmite, alors qu'elle mijote encore. Il sait immédiatement si le sel est bon ou si l'ingrédient principal est manquant, sans avoir besoin de servir le plat.

B. La Chasse aux Meilleurs Brouillons (Recherche Guidée)

Au lieu de suivre un seul chemin, LatSearch lance plusieurs "trajectoires" (plusieurs versions de la vidéo en cours de création) en même temps.

L'analogie : C'est comme envoyer 6 explorateurs dans une forêt pour trouver le trésor.
- Méthode ancienne : Les 6 explorateurs marchent jusqu'à la fin du chemin, puis on regarde qui a trouvé le trésor.
- Méthode LatSearch : Tous les 100 mètres, le chef de cuisine (le modèle de récompense) regarde les explorateurs. S'il voit qu'un explorateur s'engage dans un cul-de-sac (mauvaise qualité), il lui dit : « Stop, reviens ! ». S'il voit qu'un autre a trouvé un bon chemin, il lui donne plus de ressources pour continuer.

C. Le Tri Intelligent (Élagage et Rééchantillonnage)

C'est la partie la plus intelligente.

Rééchantillonnage : Si un explorateur a un très bon chemin, le chef peut en envoyer d'autres sur ce même chemin pour l'approfondir, mais avec une petite variation pour rester créatif.
Élagage : À la fin du processus, on ne garde que le meilleur explorateur pour présenter le résultat final.

3. Pourquoi c'est une révolution ?

Grâce à cette méthode, LatSearch obtient deux résultats incroyables :

Plus de qualité : Les vidéos sont plus belles, plus cohérentes et respectent mieux la description (le "prompt").
Plus de rapidité : C'est le plus surprenant. Au lieu de générer 10 vidéos complètes pour en choisir une (ce qui prend beaucoup de temps), LatSearch en génère plusieurs en parallèle mais les arrête très tôt si elles sont mauvaises.
- Le résultat : Ils ont réussi à réduire le temps de calcul de jusqu'à 79% par rapport aux méthodes actuelles les plus avancées, tout en obtenant de meilleurs résultats.

En résumé

Imaginez que vous devez choisir le meilleur candidat pour un rôle de cinéma.

L'ancien système : Vous faites jouer 100 acteurs dans le film entier, puis vous regardez les 100 films pour choisir le meilleur. C'est long et cher.
LatSearch : Vous faites jouer les 100 acteurs, mais un réalisateur expert regarde leur performance toutes les 5 minutes. Il renvoie immédiatement ceux qui sont mauvais et aide les bons à continuer. À la fin, vous n'avez besoin de tourner qu'une seule fois le film final avec le meilleur acteur.

C'est exactement ce que fait LatSearch : il utilise une "boussole" intelligente pour guider la création de la vidéo en temps réel, économisant ainsi un temps précieux tout en garantissant un résultat de haute qualité.

1. Problématique

L'article s'attaque aux limitations actuelles de l'extension du temps d'inférence (inference-time scaling) dans les modèles de diffusion vidéo. Bien que l'augmentation du nombre d'étapes de débruitage améliore la fidélité, les recherches récentes ont montré que la qualité dépend aussi fortement de l'initialisation du bruit ("golden noise").

Les méthodes existantes pour optimiser ce processus souffrent de trois défauts majeurs :

Dépendance aux priors initiaux : Certaines méthodes tentent d'optimiser le bruit initial mais ne peuvent pas corriger les erreurs une fois la trajectoire de débruitage lancée.
Retard et rareté des signaux de récompense : Les approches de recherche (comme Best-of-N ou les algorithmes évolutionnaires) évaluent les candidats uniquement sur les vidéos finales décodées. Cela entraîne un coût computationnel prohibitif (décodage répété) et un signal de récompense trop tardif pour guider efficacement la génération.
Accumulation d'erreurs : L'absence de feedback intermédiaire empêche l'élimination précoce des trajectoires de mauvaise qualité, gaspillant ainsi des ressources de calcul.

L'objectif est donc de développer une méthode de recherche plus efficace qui puisse évaluer et guider le processus de génération au niveau des latents (espaces intermédiaires) avant le décodage final, réduisant ainsi le coût tout en augmentant la qualité.

2. Méthodologie : LatSearch

Les auteurs proposent LatSearch, un cadre d'inférence qui intègre un modèle de récompense latente et un mécanisme de recherche guidé par la récompense.

A. Modèle de Récompense Latente (Latent Reward Model)

Contrairement aux vérificateurs classiques qui opèrent sur des vidéos décodées, ce modèle évalue les latents partiellement débruités à des étapes arbitraires du processus de diffusion.

Entrées : Un tenseur latent $z_t$ , un prompt texte $p$ , et l'étape de débruitage $t$ .
Architecture : Basée sur un transformateur (ViT) qui traite les tokens latents, les embeddings d'étape et les tokens d'instruction (avec des tokens de requête spécifiques pour la qualité visuelle [VQ], la qualité du mouvement [MQ] et l'alignement texte [TA]).
Construction des données d'entraînement : Puisqu'il n'existe pas de vérité terrain au niveau du latent, les auteurs utilisent une stratégie d'attribution de crédit basée sur la similarité cosinus. La récompense vidéo finale est pondérée par la similarité entre le latent intermédiaire et le latent final propre.
Fonction de perte : Le modèle est optimisé avec une combinaison de :
- Une perte de régression pour prédire les scores absolus.
- Une perte de préférence (inspirée du RLHF) pour apprendre l'ordre relatif entre les échantillons, améliorant la robustesse et la capacité de discrimination.

B. Algorithme de Recherche : RGRP (Reward-Guided Resampling and Pruning)

LatSearch maintient un ensemble de $N$ trajectoires candidates pendant le processus de diffusion.

Génération de candidats : Au départ, plusieurs bruits initiaux sont perturbés à partir d'une base commune.
Rééchantillonnage guidé par la récompense (Resampling) : À des étapes de notation spécifiques, les candidats sont notés par le modèle de récompense latente. Au lieu de sélectionner déterministiquement le meilleur, les auteurs utilisent un échantillonnage multinomial pondéré par les scores de récompense normalisés (avec une température $\tau$ ). Cela permet d'explorer l'espace tout en favorisant les candidats prometteurs.
Élimination des doublons (Uniqueness Pruning) : Les candidats générés à partir des mêmes graines initiales sont éliminés pour éviter le gaspillage de calcul.
Élagage final (Final Pruning) : À la dernière étape de notation, seul le candidat ayant le cumul de récompense le plus élevé est conservé pour le décodage final en vidéo.

3. Contributions Clés

Modèle de récompense intermédiaire : Introduction d'un modèle capable de scorer des latents à n'importe quelle étape de débruitage, fournissant un feedback processuel (visuel, mouvement, alignement texte) sans décodage vidéo.
Stratégie d'attribution de crédit : Utilisation de la similarité cosinus pour projeter les récompenses vidéo finales sur les états latents intermédiaires, rendant l'apprentissage supervisé possible au niveau latent.
Algorithme RGRP : Une méthode de recherche probabiliste qui équilibre exploration et exploitation, évitant la sur-reliance sur un modèle de récompense imparfait tout en éliminant efficacement les trajectoires sous-optimales.
Efficacité computationnelle : Réduction drastique du temps d'inférence en évitant le décodage répété de vidéos complètes pour l'évaluation.

4. Résultats Expérimentaux

Les expériences ont été menées sur le benchmark VBench-2.0 en utilisant le modèle de base Wan2.1-1.3B (et testé sur la version 14B).

Qualité de génération : LatSearch améliore systématiquement les scores sur les cinq dimensions de VBench-2.0 (Créativité, Bon sens, Contrôlabilité, Fidélité humaine, Physique).
- Par rapport à la ligne de base (Wan2.1), l'amélioration moyenne est de +1.94%.
- Comparé à la méthode de recherche évolutionnaire de pointe (EvoSearch), LatSearch atteint une qualité comparable (voire supérieure sur certains aspects) avec une différence de performance minime (+0.24% par rapport à EvoSearch dans certaines configurations).
Efficacité et Vitesse : C'est le résultat le plus marquant.
- LatSearch est 4.77 fois plus rapide que EvoSearch pour atteindre une qualité similaire.
- Il réduit le temps d'inférence de jusqu'à 79% par rapport aux méthodes de recherche existantes.
- Le temps total d'inférence est d'environ 159 secondes contre 790 secondes pour EvoSearch.
Analyse d'ablation :
- L'utilisation de la perte de préférence améliore la précision de la prédiction de récompense de 3 à 3.5%.
- La stratégie de similarité cosinus pour l'attribution de crédit s'avère supérieure aux pondérations uniformes ou exponentielles.
- L'augmentation du budget de recherche ( $N$ ) améliore la qualité, mais avec des rendements décroissants au-delà de $N=6$ .

5. Signification et Impact

LatSearch représente une avancée significative pour la génération vidéo par IA en démontrant que l'optimisation du temps d'inférence n'a pas besoin d'être coûteuse.

Changement de paradigme : Le passage de l'évaluation sur la vidéo décodée à l'évaluation sur l'espace latent permet d'ouvrir la voie à des algorithmes de recherche plus sophistiqués (comme ceux inspirés des LLMs) qui étaient auparavant trop coûteux pour la vidéo.
Évolutivité : La méthode est agnostique à l'architecture du modèle de base (fonctionne aussi bien sur Wan2.1-1.3B que sur 14B) et peut être étendue à d'autres tâches comme la génération audio-vidéo ou l'édition.
Praticité : En réduisant le coût de calcul de manière drastique tout en améliorant la qualité, LatSearch rend la génération vidéo de haute qualité plus accessible et viable pour des applications réelles nécessitant une faible latence.

En résumé, LatSearch comble le fossé entre la théorie de l'extension du temps d'inférence et sa pratique efficace, en introduisant un feedback intermédiaire précis et peu coûteux pour guider la génération vidéo.