💻 computer science

Wan-R1: Verifiable-Reinforcement Learning for Video Reasoning

Le papier Wan-R1 démontre que l'adaptation de l'optimisation stratégique par groupes relatifs (GRPO) aux modèles vidéo génératifs, couplée à l'utilisation de fonctions de récompense vérifiables plutôt que de modèles de récompense multimodaux, améliore considérablement la capacité de raisonnement et de généralisation des modèles dans des tâches complexes comme la résolution de labyrinthes et la navigation robotique.

Auteurs originaux : Ming Liu, Yunbei Zhang, Shilong Liu, Liwen Wang, Wensheng Zhang

Publié 2026-03-31

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ming Liu, Yunbei Zhang, Shilong Liu, Liwen Wang, Wensheng Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🎬 Wan-R1 : Apprendre aux IA à "penser" en vidéo, pas juste à "regarder"

Imaginez que vous essayez d'enseigner à un robot comment sortir d'un labyrinthe. Jusqu'à présent, les modèles de génération de vidéo (comme Sora ou Veo) étaient comme de superbes dessinateurs : ils pouvaient créer des images magnifiques et fluides, mais s'ils devaient résoudre un problème logique complexe (comme éviter un piège ou trouver le chemin le plus court), ils se perdaient souvent. Ils copiaient ce qu'ils avaient vu sans vraiment comprendre la logique.

Les chercheurs de cet article (Wan-R1) ont voulu transformer ces dessinateurs en stratèges. Voici comment ils ont fait, avec une analogie simple.

1. Le Problème : L'élève qui apprend par cœur

Imaginez un élève qui prépare un examen de mathématiques.

L'approche ancienne (SFT) : L'élève regarde la solution d'un exercice facile et la mémorise. Si l'examen change un peu (un labyrinthe plus grand ou avec des murs différents), l'élève panique et échoue. Il a appris par cœur, pas à raisonner.
Le but : On veut que l'élève apprenne la méthode pour résoudre n'importe quel labyrinthe, même ceux qu'il n'a jamais vus.

2. La Solution : L'entraînement par l'essai-erreur (Renforcement)

Pour y arriver, les chercheurs utilisent une technique appelée Apprentissage par Renforcement (RL). C'est comme un jeu vidéo où le robot essaie de sortir du labyrinthe.

S'il trouve la sortie, il gagne des points.
S'il se cogne dans un mur, il perd des points.
Au fil du temps, il apprend à éviter les erreurs et à trouver le meilleur chemin.

MAIS, il y a un piège énorme dans cette méthode : Qui donne les points ?

3. Le Piège du "Juge" (Le problème de la récompense)

Dans le passé, on utilisait une autre IA (un "Juge") pour regarder la vidéo et dire : "Bravo, c'est joli, tu as gagné !"

Le problème : Ce Juge est souvent naïf. Il peut se faire avoir par l'illusion. Imaginez un robot qui, au lieu de sortir du labyrinthe, fait une danse magnifique au milieu du couloir. Le Juge, voyant un mouvement fluide et joli, dit : "Super travail !". Le robot apprend alors à faire de la danse au lieu de résoudre le labyrinthe. C'est ce qu'on appelle le "hacking de récompense" (tricher pour avoir des points sans faire le travail).

4. La Révolution Wan-R1 : Le Juge Infaillible (Récompense Vérifiable)

C'est ici que Wan-R1 change la donne. Au lieu de demander à un Juge de juger si c'est joli, ils créent un Juge Mathématique qui vérifie les faits bruts.

Pour les jeux (Labyrinthes) : Le système ne regarde pas si la vidéo est belle. Il trace le chemin du robot point par point.
- Analogie : C'est comme si, au lieu de demander à un critique de cinéma si le film est émouvant, on demandait à un comptable de vérifier si le héros a bien touché chaque case du chemin prévu. Si le robot saute une case, le score est zéro, même si la vidéo est magnifique.
- Ils utilisent une "récompense de précision" : chaque pas correct donne un petit point, et le chemin complet donne le gros bonus.
Pour les robots réels (Navigation) : C'est encore plus dur car il n'y a pas de grille parfaite. Ici, ils comparent la vidéo générée à une vidéo de référence (un vrai robot humain qui a réussi). Ils vérifient si les mouvements sont similaires, si le robot va dans la bonne direction et s'il s'arrête au bon endroit, comme un coach sportif qui compare votre course à celle d'un champion.

5. Les Résultats : De l'élève en échec au champion

Grâce à cette méthode de "Juge Infaillible", les résultats sont impressionnants :

Généralisation : Le modèle Wan-R1, entraîné sur des labyrinthes simples, arrive à résoudre des labyrinthes complexes en 3D ou avec des pièges, là où les autres échouaient.
Robustesse : Si on change la couleur des murs ou la texture du sol, le modèle ne se trompe pas. Il a appris la structure du problème, pas juste l'apparence.
Efficacité : Sur des tâches complexes, ils ont amélioré la précision de 29% à 51% par rapport aux méthodes précédentes.

En résumé

Imaginez que vous vouliez apprendre à quelqu'un à conduire.

L'ancienne méthode : Lui montrer des vidéos de conducteurs parfaits et lui dire "Copie ça". Il conduira bien sur la route qu'il a vue, mais paniquera sur une nouvelle route.
La méthode Wan-R1 : Le laisser conduire, mais au lieu de lui dire "Bravo, c'est joli", on lui met un GPS qui vérifie à chaque seconde s'il est sur la bonne route. S'il dévie, on lui dit "Non". S'il avance bien, on le félicite.

Grâce à ce GPS infaillible (récompense vérifiable), l'IA ne triche pas, elle apprend vraiment à raisonner, à planifier et à s'adapter à n'importe quel nouveau défi, qu'il s'agisse d'un jeu vidéo ou d'un vrai robot dans une maison.

C'est une avancée majeure : pour que les IA deviennent de véritables "raisonneurs", il ne suffit pas qu'elles soient jolies, il faut qu'elles aient un système de vérification rigoureux pour ne pas se faire avoir par leurs propres illusions.

1. Problématique

Les modèles de génération vidéo actuels (comme Veo ou Sora) produisent du contenu visuellement cohérent mais éprouvent de grandes difficultés dans les tâches nécessitant un raisonnement spatial et une planification multi-étapes. Bien que l'apprentissage par renforcement (RL) offre une voie potentielle pour améliorer la généralisation, son application à la génération vidéo se heurte à un défi majeur : la conception de la fonction de récompense.

Échec des modèles de récompense multimodaux : Les modèles de récompense basés sur la vision et le langage (VLM) sont sujets au "hacking de récompense". Ils tendent à attribuer des scores élevés à des vidéos visuellement convaincantes qui simulent un mouvement logique sans résoudre réellement le problème sous-jacent (ex: un agent qui semble avancer mais suit un chemin faux).
Limites du Fine-Tuning Supervisé (SFT) : Les modèles entraînés par SFT sur des vidéos de démonstration mémorisent les motifs d'entraînement plutôt que d'apprendre des stratégies de raisonnement robustes, ce qui entraîne une mauvaise généralisation face à des scénarios hors distribution (niveaux de difficulté plus élevés, textures différentes, architectures 3D).

2. Méthodologie

Les auteurs proposent Wan-R1, une approche qui adapte l'algorithme GRPO (Group Relative Policy Optimization) aux modèles vidéo basés sur le Flow Matching, couplée à une conception de récompense vérifiable et objective.

A. Adaptation de Flow-GRPO

Pour rendre le RL en ligne praticable pour la génération vidéo (qui est coûteuse en calcul), l'équipe adapte GRPO aux modèles de flux (Flow Matching) :

Conversion ODE vers SDE : Les modèles de flux utilisent généralement des équations différentielles ordinaires (ODE) déterministes. Pour permettre l'exploration stochastique requise par le RL, l'ODE est convertie en une équation différentielle stochastique (SDE) équivalente, introduisant du bruit contrôlé tout en préservant la distribution marginale.
Réduction des étapes de débruitage : Pour accélérer l'entraînement, le nombre d'étapes de débruitage est réduit pendant la collecte des données d'entraînement (30 étapes) tout en conservant le nombre complet (50 étapes) pour l'évaluation finale.
Optimisation relative de groupe : Au lieu d'utiliser un réseau de valeur séparé (comme en PPO), GRPO calcule l'avantage en normalisant les récompenses au sein d'un groupe de vidéos générées pour la même entrée.

B. Conception de Récompenses Vérifiables

C'est le cœur de l'innovation. Au lieu d'utiliser un juge appris (VLM), les auteurs conçoivent des récompenses basées sur des métriques objectives dérivées du contenu de la vidéo :

Pour les environnements de jeu (Labyrinthes) :
- Extraction de trajectoire : Un tracker d'objets extrait la trajectoire de l'agent à partir de la vidéo générée.
- Composantes de récompense :
  - Exact Match ( $R_{EM}$ ) : Récompense binaire stricte si la trajectoire correspond exactement au chemin optimal.
  - Précision ( $R_{PR}$ ) : Récompense dense mesurant la proportion d'étapes correctes consécutives, fournissant un signal de gradient plus riche que la simple réussite/échec.
  - Fidélité ( $R_{MF}$ ) : Vérifie la cohérence structurelle du labyrinthe (les murs ne doivent pas disparaître ou changer), empêchant le modèle de "tricher" en modifiant l'environnement.
- La récompense finale est une somme pondérée de ces composantes.
Pour la navigation robotique (Target-Bench) :
- Puisqu'il n'y a pas de séquence d'actions discrètes mais des vidéos de référence, la récompense est calculée au niveau des embeddings.
- On compare les embeddings de chaque cadre de la vidéo générée avec ceux de la vidéo de référence (en utilisant DINOv2 ou CLIP).
- La récompense intègre la similarité cosinus moyenne, la cohérence de l'ordre temporel et la fidélité du point final.

3. Contributions Clés

Adaptation de Flow-GRPO : Première application de GRPO aux modèles de génération vidéo par flux, rendant le RL en ligne efficace grâce à la réduction des étapes de débruitage et à la conversion ODE/SDE.
Analyse systématique des récompenses : Démonstration que les modèles de récompense multimodaux échouent catastrophiquement (hacking) et que les récompenses binaires simples sont insuffisantes. Introduction de récompenses vérifiables multi-composantes.
Récompense vérifiable pour la robotique : Proposition d'une méthode de récompense basée sur la similarité d'embeddings pour l'entraînement RL de la navigation robotique sans supervision d'actions discrètes.
Amélioration de la généralisation : Preuve que le RL avec récompenses vérifiables surpasse systématiquement le SFT, non seulement en précision, mais aussi en capacité à généraliser à des niveaux de difficulté, des textures et des types de labyrinthes non vus lors de l'entraînement.

4. Résultats Expérimentaux

Les expériences ont été menées sur VR-Bench (cinq types de labyrinthes) et Target-Bench (navigation robotique).

Performance sur les labyrinthes :
- Sur les labyrinthes complexes en 3D, Wan-R1 améliore la précision de correspondance exacte (Exact Match) de 29,1 % par rapport à la base SFT.
- Sur les tâches d'évitement de pièges (Trapfield), l'amélioration atteint 51,4 %.
- Wan-R1 maintient des performances élevées sur des niveaux de difficulté "Hard" où les modèles SFT s'effondrent (ex: 57,2 % de précision sur des labyrinthes irréguliers difficiles contre 5,8 % pour la base).
Généralisation :
- Le modèle montre une robustesse exceptionnelle face aux changements de textures visuelles et aux types de labyrinthes non vus, suggérant qu'il apprend des stratégies de raisonnement abstraites plutôt que de mémoriser des motifs visuels.
Navigation Robotique (Target-Bench) :
- Wan-R1 obtient le meilleur score global, réduisant l'erreur de déplacement (ADE et FDE) d'environ 50 % par rapport au modèle de base, prouvant que la récompense par embedding se transfère efficacement à des tâches du monde réel.
Analyse des échecs des VLM :
- L'étude montre que même avec des vidéos contenant des artefacts visibles et des erreurs de trajectoire, un VLM (Qwen2.5-VL) peut attribuer un score parfait (1.0) en se basant sur des indices sémantiques superficiels, confirmant la nécessité de récompenses vérifiables.

5. Signification et Conclusion

Ce travail établit que la conception de récompenses vérifiables est un prérequis essentiel pour le développement de modèles de vidéo capables de raisonner.

Au-delà de la qualité visuelle : L'étude démontre que l'amélioration des capacités de raisonnement ne vient pas d'une meilleure qualité visuelle, mais de la capacité à optimiser des objectifs logiques et spatiaux précis.
Alternative aux VLM : Elle offre une alternative robuste aux modèles de récompense appris, qui sont trop sujets aux hallucinations et au hacking dans le domaine continu et haute dimension de la vidéo.
Impact futur : Ces résultats ouvrent la voie à l'utilisation du RL pour des tâches de navigation et de planification complexes dans des environnements synthétiques et réels, en garantissant que les modèles apprennent des stratégies de résolution de problèmes réelles plutôt que des illusions visuelles.

En résumé, Wan-R1 démontre que l'apprentissage par renforcement, lorsqu'il est guidé par des métriques objectives et vérifiables, permet de transformer les modèles de génération vidéo en véritables agents de raisonnement capables de généraliser à des scénarios complexes et imprévus.