🤖 AI

Q-Learning With World Models

L'article propose QWM, un cadre qui intègre des modèles de monde au Q-learning standard pour effectuer une recherche au moment du test sur des trajectoires imaginées pour la sélection d'actions, atteignant ainsi une efficacité d'échantillonnage et une performance supérieures sur les benchmarks de manipulation robotique tout en évitant le biais de modèle cumulatif grâce à un entraînement exclusivement sur des transitions réelles.

Auteurs originaux : Perry Dong, Yueru Jia, Chelsea Finn, Dorsa Sadigh

Publié 2026-08-19

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Perry Dong, Yueru Jia, Chelsea Finn, Dorsa Sadigh

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Les robots qui apprennent par la pratique deviennent une réalité, mais ils nécessitent souvent une quantité épuisante d'exercices pour maîtriser même des tâches simples. Pour déplacer une tasse d'une table vers une étagère, un robot peut devoir répéter le mouvement des milliers de fois, échouant de manière répétée avant de finalement réussir. Ce processus d'essais et d'erreurs est au cœur d'un domaine appelé l'apprentissage par renforcement, où un agent apprend en interagissant avec son environnement et en recevant un retour sur ses actions. Bien que des progrès récents aient rendu ce processus d'apprentissage plus rapide, les tâches les plus complexes, comme assembler un outil ou naviguer dans une pièce encombrée, exigent toujours de vastes quantités de données. Les chercheurs cherchent constamment des moyens de rendre ces robots plus efficaces, espérant réduire le temps et l'énergie nécessaires pour les entraîner. Une idée prometteuse a été de donner aux robots un « modèle de monde », une simulation mentale qui leur permet d'imaginer ce qui se passerait s'ils effectuaient une certaine action, plutôt que de simplement deviner aveuglément. Cependant, utiliser ces simulations mentales pour entraîner directement le robot a historiquement été risqué ; si l'imagination du robot est légèrement erronée, ces erreurs peuvent s'accumuler, conduisant le robot à apprendre une version déformée de la réalité qui échoue dans le monde réel.

Une équipe de chercheurs de l'Université de Stanford et de l'Université de Pékin a développé une nouvelle approche qui contourne ce danger en changeant le moment où le robot utilise son imagination. Au lieu de compter sur le modèle de monde pour enseigner au robot comment bouger, ils l'utilisent uniquement au moment de la décision. Leur méthode, appelée QWM, permet à un robot d'apprendre ses compétences de base à partir d'interactions dans le monde réel, garantissant que sa compréhension de la physique et de la causalité reste ancrée dans la réalité. Mais lorsque le robot est confronté à une nouvelle situation et doit choisir la marche à suivre, il marque une pause pour effectuer une simulation mentale rapide. Il imagine plusieurs futurs possibles pour chaque action potentielle, prédisant comment le monde changerait, puis choisit l'action qui mène au meilleur résultat. Ce processus est similaire à la façon dont un joueur d'échecs pourrait anticiper quelques coups avant de valider un mouvement, mais ici, le robot anticipe pour voir quelle action physique produira la récompense la plus élevée.

Les chercheurs ont testé ce système sur des tâches de manipulation robotique exigeantes, telles que soulever des objets, placer des boîtes de conserve ou assembler des outils. Ils ont comparé leur méthode à d'autres algorithmes de haute performance qui apprennent soit sans aucun modèle mental, soit entièrement au sein d'un monde simulé. Les résultats ont montré que QWM surpasse considérablement ces autres méthodes. Il a appris plus rapidement, nécessitant moins de tentatives dans le monde réel pour atteindre un haut niveau de réussite, et a performé de manière plus fiable à travers différentes tâches. Crucialement, le système a évité le piège courant où le modèle interne d'un robot devient si défectueux qu'il enseigne de mauvaises habitudes au robot. En gardant le processus d'apprentissage lié aux données réelles et en utilisant l'imagination uniquement pour affiner les choix à la toute dernière seconde, le robot a obtenu le meilleur des deux mondes : la sécurité de l'apprentissage du monde réel et la prévoyance d'un modèle prédictif.

Le succès de cette approche repose sur la façon dont le robot construit sa recherche mentale. Lorsqu'un robot a besoin d'agir, il ne se contente pas de faire une supposition aléatoire ou de se fier à une seule prédiction. Au lieu de cela, il génère un arbre de possibilités. À partir de sa position actuelle, il considère plusieurs actions différentes. Pour chaque action, il utilise son modèle de monde pour prédire l'état suivant du monde. Il répète ensuite ce processus, imaginant ce qui se passerait s'il effectuait une autre action à partir de ce nouvel état, et ainsi de suite, créant un chemin ramifié de futurs potentiels. Le robot évalue ces chemins non seulement en regardant le résultat immédiat, mais en agrégeant la valeur de toute la séquence imaginée. Il combine sa connaissance directe de la valeur d'une action avec les récompenses prédites des étapes futures qu'il a imaginées. Cela permet au robot de voir au-delà du moment présent et de choisir des actions qui peuvent sembler difficiles en ce moment, mais qui mèneront à un bien meilleur résultat plus tard.

L'une des découvertes les plus significatives est que cette méthode fonctionne même lorsque le robot regarde le monde à travers une caméra, traitant des informations visuelles de haute dimension plutôt que de simples chiffres. Dans ces contextes basés sur les pixels, apprendre un modèle de monde parfait est incroyablement difficile, pourtant les chercheurs ont découvert qu'un modèle même imparfait pouvait apporter un gain de performance massif lorsqu'il est utilisé pour ce type de recherche au moment du test. Le robot n'avait pas besoin d'être un prédicteur parfait pour en bénéficier ; il lui suffisait d'être assez bon pour distinguer une bonne action d'une mauvaise. L'étude a également exploré jusqu'à quel point le robot devait regarder loin dans le futur. Regarder trop loin introduisait trop d'incertitude car les prédictions devenaient moins fiables, tandis que regarder trop peu de manière superficielle ne permettait pas de capturer les conséquences à long terme d'une action. Les chercheurs ont trouvé un point d'équilibre où le robot regardait quelques étapes en avant, assez pour planifier efficacement sans se perdre dans le bruit des erreurs de prédiction.

Les chercheurs ont également comparé leur méthode à d'autres façons d'utiliser les modèles de monde, comme l'entraînement du robot entièrement à l'intérieur de la simulation. Ils ont constaté que ces méthodes éprouvaient souvent des difficultés, particulièrement dans les tâches à récompenses éparses où le robot ne reçoit un signal qu'au moment de sa réussite finale. Dans ces cas, les erreurs dans la simulation se cumulaient rapidement, rendant difficile pour le robot d'apprendre quoi que ce soit d'utile. Par contraste, l'approche QWM a maintenu l'apprentissage ancré dans la réalité. La politique de base du robot et sa compréhension de la valeur n'étaient mises à jour qu'avec des données provenant du monde réel. Le modèle de monde n'était qu'un outil de sélection, un moyen d'affiner la prise de décision du robot sans corrompre son apprentissage fondamental. Cette distinction s'est avérée vitale, permettant au système de passer à l'échelle de problèmes de robotique complexes du monde réel là où les méthodes précédentes basées sur des modèles avaient échoué.

En fin de compte, ce travail démontre que le pouvoir d'un modèle de monde ne réside pas nécessairement dans le remplacement du monde réel, mais dans l'amélioration de notre capacité à le naviguer. En utilisant l'imagination comme un filtre pour le choix plutôt que comme un substitut à l'expérience, les chercheurs ont créé un système qui est à la fois efficace en termes d'échantillonnage et robuste. Le robot apprend des leçons difficiles de la réalité, mais utilise son esprit pour éviter de répéter les erreurs avant qu'elles ne surviennent. Cette approche offre une voie pratique pour le déploiement de robots dans des environnements non structurés, où la capacité à planifier et à s'adapter est tout aussi importante que la capacité à apprendre. Les conclusions suggèrent que l'avenir de l'apprentissage robotique ne réside peut-être pas dans la construction de simulations parfaites, mais dans la création de robots qui savent quand faire confiance à leur expérience et quand faire confiance à leur imagination.

Résumé Technique : Q-Learning avec Modèles de Monde (QWM)

Énoncé du Problème

L'apprentissage par renforcement (RL) hors-politique (off-policy) a atteint une efficacité d'échantillonnage significative, permettant l'ajustement fin (fine-tuning) des modèles Vision-Langage-Action (VLA) en politiques fiables. Cependant, à mesure que le RL est appliqué à des scénarios de plus en plus complexes et de haute dimension, comme la robotique réelle, de nouveaux gains en efficacité d'échantillonnage sont essentiels. Bien que les modèles de monde offrent un mécanisme pour prédire les changements d'état plutôt que de simples actions, leur application réussie est restée largement confinée à l'apprentissage de politiques supervisées.

Les méthodes traditionnelles de RL basées sur des modèles optimisent généralement les politiques ou les fonctions de valeur directement sur des déroulements « imaginés » générés par un modèle de dynamique appris. Cette approche est sujette au biais de composition (compounding bias), où les erreurs du modèle de monde s'accumulent au fil du temps, dégradant les performances. Ce problème s'aggrave avec l'allongement de l'horizon des tâches et l'augmentation de la complexité visuelle, ce qui rend difficile le passage à l'échelle pour la robotique réelle. La question centrale abordée par ce travail est la suivante : Les modèles de monde peuvent-ils être exploités pour améliorer les performances du RL en ligne sans recourir aux approches traditionnelles basées sur des modèles qui introduisent le biais de modèle dans le processus d'entraînement ?

Méthodologie : QWM

Les auteurs proposent QWM (Q-Learning with World Models), un cadre qui intègre des modèles de monde appris dans le Q-learning standard via une recherche au moment du test (test-time search). Contraurs aux méthodes de RL basées sur des modèles conventionnelles, QWM n'utilise pas le modèle de monde pour générer des données d'entraînement ou optimiser la politique directement. Au lieu de cela, la politique et la fonction de valeur (critique) sont entraînées exclusivement sur des transitions réelles de l'environnement en ligne. Le modèle de monde est utilisé uniquement au moment de la décision pour effectuer une recherche sur des trajectoires imaginées afin de sélectionner des actions de haute valeur.

Composants Fondamentaux

Entraînement du Modèle de Monde : Un modèle de dynamique $M_\psi(s'|s, a)$ est pré-entraîné hors-ligne sur un ensemble de transitions de l'environnement (soit hors-ligne, soit accumulées en ligne). Pour les états de faible dimension, un modèle de dynamique résiduelle déterministe est utilisé. Pour les observations basées sur des pixels, un modèle de monde vidéo conditionné par l'action (basé sur Wan2.2) est affiné.
Recherche en Arbre sur les Actions : À chaque étape de décision, QWM construit un arbre de recherche dont la racine est l'état actuel $s_0$ $s_{0}$ .
- Expansion : La politique propose $N$ actions candidates. Pour chaque action, le modèle de monde prédit $K$ états futurs. Ce processus se répète de manière récursive jusqu'à une profondeur $D$ .
- Agrégation de Valeur : La valeur des nœuds de l'arbre est calculée en combinant deux estimateurs :
  - Valeur État-Action ( $V_Q$ ) : Score directement les actions en utilisant la fonction Q apprise $Q_\phi$ . Elle présente une faible variance et est indépendante de l'erreur du modèle, mais elle est aveugle aux déroulements futurs.
  - Valeur d'État ( $V_r$ ) : Estime la valeur en utilisant les récompenses prédites par le modèle de monde et la valeur des états suivants. Elle exploite le déroulement imaginé complet mais subit la composition de l'erreur du modèle avec la profondeur.
  - Valeur Combinée : La valeur finale du nœud est une moyenne pondérée (typiquement 0,5) de $V_Q$ et $V_r$ , équilibrant les avantages de ces deux estimateurs.
Élagage de Recherche (Search Pruning) : Pour gérer la complexité computationnelle, une heuristique sélectionne un sous-ensemble de chemins à étendre à chaque profondeur, élagant les branches les moins prometteuses sur la base des scores Q actualisés et actualisés.
Sélection d'Action : L'action sélectionnée pour l'exécution est celle qui possède la valeur de recherche en arbre la plus élevée. Cette recherche est appliquée à la fois lors des déroulements en ligne (pour collecter des données de meilleure qualité pour le tampon de relecture/replay buffer) et lors de l'évaluation.

Principales Contributions

Cadre QWM : Un cadre simple et général qui exploite les modèles de monde pour la recherche au moment du test sur du Q-learning standard. Il améliore la sélection d'actions en imaginant des trajectoires futures sans substituer les interactions réelles avec l'environnement.
Évitement du Biais de Composition : En entraînant la politique et le critique uniquement sur des transitions réelles, QWM évite l'accumulation de biais qui affecte les méthodes optimisant les politiques à l'intérieur de modèles de monde imparfaits.
Mise à l'Échelle au Moment du Test (Test-Time Scaling) : L'approche peut être vue comme une forme de mise à l'échelle au moment du test où les candidats sont scorés sur la base de leur valeur descendante prédite, fournissant une meilleure estimation des actions optimales qu'une maximisation de la valeur Q à un seul pas.

Résultats Expérimentaux

Les auteurs ont évalué QWM sur des benchmarks de manipulation robotique exigeants : Robomimic (basé sur l'état) et LIBERO (basé sur les pixels).

Comparaison avec les Baselines Sans Modèle (Model-Free) : QWM a nettement surpassé les bases solides de l'état de l'art sans modèle (incluant EXPO, RLPD, IDQL, et d'autres) en termes d'efficacité d'échantillonnage et de performance finale sur toutes les tâches (Lift, Can, Square, Tool Hang, et diverses tâches LIBERO).
Comparaison avec les Baselines Basées sur des Modèles (Model-Based) : QWM a obtenu des performances systématiquement plus fortes que les méthodes de pointe basées sur des modèles telles que TD-MPC2 et EfficientZero V2. Notamment, alors que TD-MPC2 et EfficientZero V2 peinaient à atteindre un succès non nul dans des configurations de récompense parcimonieuse (sparse reward) dans le nombre d'étapes d'entraînement rapporté, QWM a réussi sur toutes les tâches.
Études d'Ablation :
- Portée de la Recherche : Appliquer la recherche en arbre à la fois lors de l'échantillonnage en ligne et lors de l'évaluation a donné les meilleurs résultats, démontrant les bénéfices complémentaires de l'amélioration de la collecte de données et de l'exécution.
- Hyperparamètres : Une profondeur de recherche modérée ( $D=2$ à $4$) a fourni le meilleur compromis entre la capture des conséquences futures et l'évitement d'une erreur de modèle excessive.
- Fonction Q vs Fonction de Valeur : La recherche avec la fonction Q a nettement surpassé la recherche avec une simple fonction de valeur d'état ( $V$ ), soulignant l'importance de l'estimation conditionnée par l'action.
Mise à l'Échelle par Pixels : QWM s'est étendu avec succès aux observations visuelles de haute dimension (LIBERO), montrant des améliorations claires de la vitesse d'apprentissage et de la performance finale, même lorsque le modèle de monde n'était utilisé que pour l'échantillonnage lors de l'entraînement en ligne.

Signification et Revendications

L'article affirme que QWM offre une voie pratique pour combiner les capacités prédictives des modèles de monde avec la stabilité du Q-learning en ligne. En restreignant le rôle du modèle de monde à la recherche au moment du test, la méthode gagne les avantages d'efficacité d'échantillonnage du planning prédictif tout en restant ancrée dans des données réelles, évitant ainsi le biais de composition inhérent à l'entraînement des politiques sur des déroulements imaginés.

Les auteurs positionnent QWM comme une amélioration générale applicable à tout algorithme de fine-tuning de RL utilisant une fonction Q, particulièrement pour les modèles Vision-Langage-Action. Ils reconnaissent des limites, spécifiquement la surcharge computationnelle de la recherche en arbre lors du déroulement et la difficulté d'entraîner des modèles de monde de haute qualité, mais affirment que le cadre fournit une alternative robuste aux méthodes de RL basées sur des modèles traditionnelles pour la robotique réelle.