🤖 machine learning

PriorZero: Bridging Language Priors and World Models for Decision Making

PriorZero est un cadre unifié qui comble le fossé entre les priors statiques des grands modèles de langage et les modèles du monde dynamiques en injectant des guidages par les grands modèles de langage exclusivement à la racine de la recherche arborescente Monte Carlo pour une exploration ciblée et en découplant l'entraînement du modèle du monde de l'adaptation des grands modèles de langage afin de permettre une attribution de crédit stable et fine, améliorant ainsi considérablement l'efficacité et les performances de la prise de décision dans les tâches à long horizon.

Auteurs originaux : Junyu Xiong, Yuan Pu, Jia Tang, Yazhe Niu

Publié 2026-05-13

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Junyu Xiong, Yuan Pu, Jia Tang, Yazhe Niu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un bibliothécaire très intelligent et bien informé (le LLM) comment jouer à un jeu d'aventure complexe basé sur le texte, comme Zork ou Detective. Le bibliothécaire connaît beaucoup de choses sur le monde, les histoires et la logique, mais il n'a jamais réellement joué au jeu auparavant. Il ne connaît pas les règles spécifiques, les pièges cachés, ni comment le monde du jeu réagit à chaque mouvement.

L'article, PriorZero, présente une nouvelle méthode pour enseigner à ce bibliothécaire comment jouer sans le rendre fou ni lui faire oublier ce qu'il sait déjà.

Voici la décomposition du problème et de la solution, en utilisant des analogies simples :

Le Problème : Le fossé « Savoir-Faire »

Les auteurs ont constaté que les méthodes existantes pour combiner les connaissances du bibliothécaire avec la pratique du jeu échouent de deux manières principales :

Le Problème du « Guide Statique » : Si vous demandez simplement au bibliothécaire de vous dire quoi faire en se basant sur ses connaissances générales, il pourrait vous donner une réponse logiquement solide qui est en réalité un piège dans le jeu. Il sait ce qu'une porte fait généralement, mais il ne sait pas que cette porte spécifique dans le jeu mène à un puits sans fond. Il est « aveugle » aux règles spécifiques du jeu.
Le Problème de l'« Essai-Erreur Infini » : Si vous essayez d'enseigner au bibliothécaire en lui permettant de jouer au jeu des milliers de fois et en le corrigeant à chaque fois qu'il perd (une méthode appelée « fine-tuning »), c'est un désastre. Le jeu offre très peu de récompenses (comme trouver un coffre au trésor), ce qui confond le bibliothécaire. Il pourrait commencer à deviner au hasard, ou il pourrait « désapprendre » ses bonnes connaissances générales parce que les règles spécifiques du jeu sont si étranges.

La Solution : PriorZero

PriorZero agit comme un pont entre la sagesse générale du bibliothécaire et un « Simulateur de Jeu » spécialisé (appelé Modèle du Monde). Il utilise une stratégie en deux parties :

1. L'« Injection de Priorité Racine » (Le Début Intelligent)

Imaginez que le bibliothécaire et le Simulateur de Jeu planifient leur prochain coup ensemble en utilisant un immense arbre de décision (appelé MCTS).

L'Ancienne Méthode : Le bibliothécaire essaie de deviner chaque étape individuelle du chemin futur. C'est lent et souvent faux car le bibliothécaire ne connaît pas la physique du jeu.
La Méthode PriorZero : Le bibliothécaire ne donne des conseils qu'à la toute première étape (la racine de l'arbre). Il dit : « D'après mes connaissances, aller vers le Nord semble être une bonne idée. »
Le Rôle du Simulateur : Une fois que le bibliothécaire suggère « Nord », le Simulateur de Jeu prend le relais. Il simule des milliers de futurs possibles uniquement à partir de cette suggestion pour voir si cela mène réellement au trésor ou à un piège. Le bibliothécaire n'intervient pas dans la simulation profonde ; il aide simplement à orienter la recherche dans la bonne direction afin que le simulateur ne perde pas de temps à examiner des chemins manifestement mauvais.

Analogie : Considérez le bibliothécaire comme un guide touristique qui connaît l'histoire de la ville. Il vous oriente vers le « Quartier Historique » (la racine). Une fois que vous y êtes, un GPS (le Modèle du Monde) prend le relais pour calculer l'itinéraire exact et le plus rapide à travers les rues, en évitant les embouteillages que le guide ne connaît pas.

2. L'« Entraînement Alterné » (La Leçon Sûre)

Voici comment ils enseignent au bibliothécaire à s'améliorer sans lui briser le cerveau.

Phase A (Le Simulateur Apprend) : D'abord, le Simulateur de Jeu joue au jeu et apprend les règles, les récompenses et les conséquences de chaque action. Il devient très bon pour prédire l'avenir.
Phase B (Le Bibliothécaire Apprend) : Une fois le Simulateur intelligent, il agit comme un enseignant strict mais juste. Il dit au bibliothécaire : « Vous avez suggéré 'Nord', et voici exactement la récompense que cela a générée. » Parce que le Simulateur a déjà fait les calculs difficiles, le feedback est clair et non confus. Le bibliothécaire apprend de ce feedback spécifique.
Le Cycle : Ils se relaient. Le Simulateur devient plus intelligent, puis enseigne au Bibliothécaire, puis le Bibliothécaire devient plus intelligent, ce qui aide le Simulateur à mieux explorer, et ainsi de suite.

Analogie : Imaginez un Coach d'Échecs (le Simulateur) qui a joué à des millions de parties. Au lieu de laisser un Étudiant (le Bibliothécaire) jouer au hasard et se frustrer, le Coach simule la partie pour l'étudiant. Le Coach dit : « Si vous jouez ici, vous gagnerez en 5 coups. » L'étudiant apprend la valeur du coup sans avoir à subir le stress de jouer toute la partie lui-même.

Les Résultats

Les auteurs ont testé cela sur deux types de jeux :

Aventures Textuelles (Jericho) : Des jeux où vous tapez des commandes pour explorer un monde.
Mondes en Grille (BabyAI) : Des jeux où vous naviguez dans une grille pour trouver des objets.

Qu'est-il arrivé ?

PriorZero a appris plus vite que les méthodes qui utilisaient uniquement le bibliothécaire ou uniquement le simulateur.
Il a atteint des scores plus élevés (trouvé plus de trésors) à long terme.
Il a résolu les « boucles mortelles » où les agents restent coincés en allant et venant dans la même pièce. L'indice initial du bibliothécaire a aidé le simulateur à sortir de ces boucles.

Résumé

PriorZero est une stratégie de collaboration. Elle permet au LLM (le bibliothécaire) de faire ce qu'il fait de mieux : utiliser le bon sens pour suggérer un bon point de départ. Elle permet au Modèle du Monde (le simulateur) de faire ce qu'il fait de mieux : calculer les conséquences complexes et à long terme de ces mouvements. En les gardant séparés mais connectés, ils évitent les erreurs consistant à forcer le bibliothécaire à devenir un moteur de jeu ou le moteur de jeu à devenir un philosophe.

Résumé Technique : PriorZero

Énoncé du Problème

L'intégration des modèles de langage de grande taille (LLM) dans les agents d'apprentissage par renforcement (RL) offre une voie prometteuse pour exploiter des connaissances riches du monde afin de résoudre des tâches de prise de décision à long horizon et à récompense sparse. Cependant, les approches existantes sont entravées par un décalage fondamental entre les priors et la dynamique.

Les paradigmes actuels font face à des goulots d'étranglement structurels spécifiques :

Politique Naïve (P1) : L'utilisation des LLM comme politiques zero-shot conduit à des décisions myopes, car la vraisemblance linguistique ne correspond pas au retour de l'environnement, créant un « fossé entre savoir et faire ».
Affinement Naïf par RL (P2) : L'affinement de bout en bout des LLM via le RL souffre d'une attribution de crédit à forte variance et d'une instabilité d'optimisation, en particulier dans les environnements à récompense sparse.
Modélisation de la Dynamique (P3) : L'utilisation des LLM pour prédire les transitions d'état échoue en raison d'un décalage de granularité ; les LLM sont préentraînés sur la génération de texte au niveau des tokens, tandis que les modèles de dynamique latente nécessitent une prédiction de transition au niveau état-action.
Encodeurs de Texte (P4) : L'utilisation de caractéristiques figées des LLM comme représentations statiques limite l'adaptation spécifique à la tâche, imposant un plafond de performance.

Le défi central consiste à combler le fossé entre les priors sémantiques statiques des LLM et les modèles de transition dynamiques spécifiques à l'environnement requis pour une planification efficace.

Méthodologie : Cadre PriorZero

PriorZero propose un cadre unifié qui découple le LLM du modèle du monde, en les intégrant via une conception de déroulement et d'entraînement découplée. Le système place un modèle du monde apprenable entre le LLM et l'environnement, permettant au LLM de fournir une guidance sémantique tandis que le modèle du monde gère la modélisation des transitions, l'estimation de la valeur et la planification multi-étapes.

1. Injection de Prior Racine (Phase de Déroulement)

Pendant la phase de déroulement, PriorZero utilise un Modèle du Monde Latent (basé sur UniZero) pour effectuer une recherche arborescente Monte Carlo (MCTS) dans un espace latent.

Mécanisme : Un nouveau mécanisme d'Injection de Prior Racine fusionne le prior d'action sémantique du LLM exclusivement au nœud racine du MCTS.
Implémentation : Le LLM génère une analyse de situation (Chaîne de Pensée) et une distribution d'actions ( $\pi_{LLM}$ ) basées sur le contexte textuel actuel. Ceci est fusionné avec la politique du modèle du monde ( $\pi_{WM}$ ) à la racine :
$P_{racine}(a | z_t) = (1 - \alpha) \pi_{WM}(a | z_t) + \alpha \pi_{LLM}(a | C_t)$
Contrainte : Les nœuds non-racine dans l'arbre de recherche reposent entièrement sur la dynamique latente du modèle du monde. Cela empêche le « décalage de granularité » du Paradigme P3, car le LLM n'est jamais contraint de prédire des transitions d'état pour des états latents imaginés.
Avantage : Cela guide la recherche vers des actions sémantiquement prometteuses, empêchant le MCTS de tomber dans des trajectoires sans signification (par exemple, des boucles de récompense) tout en préservant la capacité de vision profonde du modèle du monde.

2. Affinement Alterné par Renforcement (Phase d'Entraînement)

Pour remédier à l'échec de l'attribution de crédit du Paradigme P2, PriorZero emploie une stratégie d'Affinement Alterné qui découple l'apprentissage du modèle du monde de l'adaptation du LLM.

Calendrier : L'entraînement suit un calendrier asymétrique (par exemple, 10 mises à jour du modèle du monde pour chaque mise à jour du LLM).
Apprentissage du Modèle du Monde : Le modèle du monde est mis à jour sur des données d'interaction pour affiner ses prédictions de dynamique, de valeur et de politique.
Adaptation du LLM : Au lieu d'utiliser des retours de politique à haute variance, le LLM est affiné en utilisant des signaux d'avantage à faible variance dérivés des estimations de valeur du modèle du monde.
- L'avantage est calculé en utilisant une cible TD bootstrappée sur $n$ -étapes : $A(z_t, a_t) = Q_n(z_t, a_t) - v_\theta(z_t)$ .
- Le LLM est mis à jour via un objectif PPO tronqué, avec un schéma de pondération spécifique qui applique un poids complet aux tokens d'action et un poids réduit ( $w_{cot}=0.1$ ) aux tokens de raisonnement de la Chaîne de Pensée pour maintenir la stabilité.
Avantage : Cela crée une boucle fermée où le modèle du monde fournit une supervision stable et fine au LLM, permettant aux priors du LLM de co-évoluer avec la dynamique de l'environnement sans l'instabilité de l'optimisation de bout en bout.

Contributions Clés

Analyse des Paradigmes : L'article identifie le décalage entre les priors et la dynamique comme l'obstacle central au transfert des connaissances des LLM vers le RL à long horizon, catégorisant les approches existantes (P1–P4) et leurs modes d'échec spécifiques.
Cadre PriorZero : Une architecture novatrice qui synergise les priors des LLM avec la planification par modèle du monde via deux mécanismes centraux :
- Injection de Prior Racine : Injecte une guidance sémantique à la racine du MCTS pour faciliter l'exploration sans contaminer la dynamique latente.
- Affinement Alterné par Renforcement : Utilise les estimations de valeur du modèle du monde pour construire des signaux d'attribution de crédit stables et à faible variance pour l'adaptation du LLM.
Validation Empirique : Des expériences complètes sur Jericho (jeux d'aventure textuels) et BabyAI (suivi d'instructions dans un monde en grille) démontrent que PriorZero améliore constamment l'efficacité de l'exploration et les performances asymptotiques par rapport aux lignes de base.

Résultats Expérimentaux

Benchmarks Jericho : PriorZero surpasse UniZero (une forte ligne de base de modèle du monde sans priors LLM) sur quatre jeux distincts (Detective, Acorncourt, Zork1, Omniquest).
- Dans Zork1 (long horizon, récompenses sparse), PriorZero atteint des retours asymptotiques plus élevés et une convergence plus rapide.
- Dans Detective, PriorZero dépasse UniZero après des gains initiaux, démontrant la valeur de l'adaptation des priors à la dynamique spécifique à la tâche.
Benchmarks BabyAI : Sur 18 niveaux du monde en grille BabyAI, PriorZero atteint des plateaux de retour plus élevés (0,82 contre 0,79 pour UniZero) et montre des gains significatifs dans les tâches compositionnelles (par exemple, SynthLoc), où le prior du LLM aide à décomposer les objectifs en sous-tâches.
Études d'Ablation :
- Calendrier Alterné : Crucial pour la stabilité ; les variantes non alternées souffrent de « corruption des connaissances » due à des signaux de valeur bruyants.
- Injection Uniquement à la Racine : Essentielle pour empêcher le LLM de remplacer la dynamique du modèle du monde pendant la vision prospective.
- Poids de la Perte CoT : Un poids équilibré ( $w_{cot}=0.1$ ) est requis ; supprimer la CoT provoque une instabilité numérique, tandis qu'un poids complet conduit à un apprentissage volatil.
- MCTS : Désactiver le MCTS provondre un effondrement des performances, confirmant la nécessité de cibles améliorées par la planification.

Importance et Revendications

L'article revendique que PriorZero établit un cadre prometteur pour la prise de décision assistée par les LLM en résolvant les goulots d'étranglement structurels du transfert de priors. Son importance réside dans :

Découplage : Séparer avec succès le rôle du LLM (fournir des priors sémantiques) de celui du modèle du monde (apprendre la dynamique et planifier), évitant ainsi le décalage de granularité et les échecs d'attribution de crédit des méthodes précédentes.
Stabilité : Permettre un affinement stable des LLM dans des environnements à long horizon et à récompense sparse en exploitant le modèle du monde comme un critique à faible variance.
Évolutivité : Démontrer que le cadre s'adapte à la capacité des LLM (améliorant les performances avec des modèles 7B dans des tâches complexes) tout en maintenant la robustesse grâce au calendrier d'entraînement alterné.

Les auteurs positionnent PriorZero non pas comme un remplacement des modèles du monde ou des LLM, mais comme une intégration synergique où le LLM concentre la recherche et le modèle du monde affine les priors du LLM par une interaction continue.