Reward Prediction with Factorized World States

Ce papier présente StateFactory, une méthode utilisant des modèles de langage pour transformer des observations non structurées en états du monde factorisés, permettant une prédiction de récompense précise et une généralisation supérieure dans des environnements variés sans nécessiter d'apprentissage supervisé.

L'essentiel

Voici une explication simple et imagée de ce papier de recherche, conçue pour être comprise par tout le monde, même sans bagage technique.

🌍 Le Problème : L'Agent Perdu dans le Brouillard

Imaginez que vous apprenez à un robot à cuisiner un gâteau.

• L'approche classique (Apprentissage supervisé) : Vous lui montrez 100 vidéos de gâteaux réussis. Il apprend par cœur les mouvements. Mais si vous lui demandez de faire un gâteau sans four ou avec des ingrédients différents, il est perdu. Il a "surappris" (il a mémorisé les vidéos) et ne sait pas s'adapter. C'est comme un élève qui apprend par cœur les réponses d'un examen sans comprendre la logique.
• Le défi : Comment donner au robot un "sentiment" de progression en temps réel, même dans des situations qu'il n'a jamais vues ? Comment savoir s'il s'approche du but ou s'il tourne en rond ?

💡 La Solution : StateFactory (L'Usine à Décomposer)

Les auteurs proposent une méthode appelée StateFactory. Au lieu de regarder le monde comme un gros bloc de texte confus (une "soupe de mots"), cette méthode agit comme un chef de cuisine très organisé qui décompose chaque situation en ingrédients précis.

Voici l'analogie principale :

1. La "Soupe de Mots" vs. Le "Menu Structuré"

• Avant (Le problème) : L'ordinateur lit : "Je suis dans la cuisine, il y a une tasse, une table, et je tiens un café." C'est un bloc informe. Pour l'IA, dire si c'est "bien" ou "mal" est difficile car tout est mélangé.
• Avec StateFactory (La solution) : L'IA transforme ce texte en une liste structurée :
  • Objet : Tasse
  • Attribut : Sur la table
  • Objet : Café
  • Attribut : Dans la main
  • Objet : Tasse
  • Attribut : Vide (avant) -> Pleine (après)

C'est comme passer d'une photo floue à une liste de courses détaillée.

2. La Boussole Sémantique (La Prédiction de Récompense)

Une fois que l'IA a cette liste structurée, elle peut comparer deux choses très simplement :

1. L'État Actuel : "Où suis-je maintenant ?" (La tasse est sur la table).
2. L'État Cible : "Où veux-je aller ?" (La tasse doit être dans le four).

Au lieu de deviner, l'IA calcule la distance sémantique. C'est comme avoir une boussole qui vous dit : "Tu es à 80% du chemin, car tu as déjà la tasse, mais il te manque le four."

Cette "boussole" fonctionne partout, même dans des jeux vidéo, sur des sites web ou pour des robots, sans avoir besoin d'être réentraînée pour chaque nouveau jeu. C'est le pouvoir du zéro-shot (apprendre une fois, appliquer partout).

🏆 Le Nouveau Terrain de Jeu : RewardPrediction

Pour prouver que leur méthode fonctionne, les chercheurs ont créé un nouveau terrain de jeu géant appelé RewardPrediction.
Imaginez un grand stade avec 5 zones différentes :

1. AlfWorld : Un robot qui doit ranger une maison (mettre un mug chaud dans un placard).
2. ScienceWorld : Un scientifique qui doit faire des expériences (trouver le point de fusion du plomb).
3. WebShop : Un client qui doit acheter des chaussures spécifiques sur un site web.
4. TextWorld : Un aventurier dans un jeu de rôle textuel (trouver une clé pour ouvrir un coffre).
5. BlocksWorld : Un enfant qui empile des blocs de Lego.

Ils ont créé 2 454 scénarios (des histoires complètes) avec des récompenses exactes à chaque étape. C'est comme avoir un manuel de solutions parfait pour vérifier si l'IA a bien compris la progression.

🚀 Les Résultats : Pourquoi c'est une révolution ?

Les chercheurs ont comparé leur méthode (StateFactory) avec d'autres intelligences artificielles :

• Les modèles "Entraînés" : Ils sont excellents dans leur domaine d'origine (comme un expert en cuisine qui ne sait pas faire de bricolage), mais ils échouent lamentablement dès qu'on change de contexte.
• Les modèles "Juges" (LLM-as-a-Judge) : Ce sont de gros modèles qui lisent le texte et disent "C'est bien". Ils sont corrects, mais un peu flous et imprévisibles.
• StateFactory (Leur méthode) :
  • Elle est beaucoup plus précise pour dire si l'agent progresse (réduction de 60% de l'erreur par rapport aux autres).
  • Elle fonctionne aussi bien dans un jeu de Lego que dans un site web, sans aucun entraînement supplémentaire.
  • Le résultat final : Quand on donne cette "boussole" précise à un agent pour qu'il planifie ses actions, son taux de réussite explose. Par exemple, dans AlfWorld, il réussit 21% de tâches en plus qu'avant !

🎯 En Résumé : L'Analogie du GPS

Imaginez que vous conduisez une voiture dans un pays inconnu.

• Les anciennes méthodes vous disent : "Tourne à droite" (basé sur une carte mémorisée). Si la route est bloquée, vous êtes coincé.
• StateFactory, c'est comme un GPS intelligent qui ne regarde pas seulement la carte, mais qui comprend la structure de votre voyage. Il sait que vous avez besoin d'arriver à la "Gare", donc il vous dit : "Tu as déjà pris le train (10%), tu es dans le bon wagon (20%), mais tu n'as pas encore descendu (80%)".

Même si vous changez de ville (nouveau domaine), le GPS comprend toujours la logique "Départ -> Trajet -> Arrivée". C'est cela qui permet aux agents intelligents de devenir vraiment autonomes et capables de s'adapter à n'importe quel défi, du ménage à la recherche scientifique.

Résumé technique

1. Problématique

Le développement d'agents intelligents capables de planifier et d'atteindre des objectifs dans des environnements variés (physiques ou numériques) repose sur la capacité à évaluer l'avancement d'une tâche. Traditionnellement, les agents apprennent via des modèles de récompense supervisés. Cependant, cette approche présente deux limites majeures :

1. Biais et surapprentissage : Les modèles supervisés apprennent des motifs spécifiques aux données d'entraînement, ce qui nuit à leur généralisation vers de nouveaux environnements ou de nouveaux objectifs (problème de "zero-shot").
2. Manque de benchmarks rigoureux : L'évaluation de la qualité des récompenses, en particulier pour les tâches à étapes multiples avec des récompenses denses (pas seulement à la fin), est difficile en raison de l'absence de données de référence granulaires.

L'objectif de ce travail est de déterminer si des représentations d'états du monde bien définies, basées uniquement sur la sémantique et sans apprentissage supervisé spécifique, peuvent permettre une prédiction de récompense précise et généralisable à travers différents domaines.

2. Méthodologie

Les auteurs proposent une approche en deux volets : un nouveau benchmark et une nouvelle méthode de représentation.

A. Le Benchmark : RewardPrediction

Pour évaluer rigoureusement la prédiction de récompense, les auteurs introduisent RewardPrediction, un jeu de données contenant 2 454 trajectoires uniques couvrant cinq environnements interactifs textuels distincts :

• AlfWorld : Planification robotique domestique (ex: ranger des objets).
• ScienceWorld : Raisonnement scientifique et expérimentation (ex: déterminer le point de fusion).
• TextWorld : Jeux d'aventure textuels avec énigmes complexes.
• WebShop : Navigation sur des sites e-commerce pour trouver des produits spécifiques.
• BlocksWorld : Planification classique et manipulation spatiale de blocs.

Chaque trajectoire est annotée avec des récompenses de vérité terrain (ground-truth) à chaque étape (récompenses denses), permettant de mesurer l'écart entre la prédiction et la progression réelle de la tâche. La métrique principale est la distance EPIC (Equivalent Policy-Invariant Comparison), qui quantifie la différence entre les fonctions de récompense prédites et réelles tout en préservant l'information de magnitude fine nécessaire à la planification.

B. La Méthode : StateFactory

Au lieu de prédire directement une valeur scalaire à partir de texte brut (approche "sans représentation"), l'article propose StateFactory, un cadre de factorisation sémantique.

1. Extraction d'état factorisé :

   • Les observations non structurées (texte brut) sont décomposées par un modèle de langage (LLM) en une structure hiérarchique Objet-Attribut.
   • Chaque état $s_t$ est représenté comme un ensemble d'instances d'objets, où chaque objet possède un identifiant (ex: "tasse") et un ensemble d'attributs dynamiques (ex: "localisation: sur la table", "température: chaude").
   • Cela permet de séparer l'identité de l'objet de ses attributs changeants, réduisant le bruit sémantique.

2. Interprétation dynamique des objectifs :

   • L'objectif textuel $g$ n'est pas traité statiquement. Il est interprété dynamiquement en un état objectif $g_t$ qui évolue avec le contexte de l'interaction, assurant que l'agent comprend les sous-objectifs au fur et à mesure de leur accomplissement.

3. Calcul de la récompense par similarité sémantique :

   • La récompense $\hat{r}_t$ est estimée comme la similarité sémantique entre l'état du monde actuel $\hat{s}_t$ et l'état objectif $\hat{g}_t$.
   • Ce calcul s'effectue via un routage hiérarchique :
     • Appariement des objets : Identification de l'objet physique correspondant à l'objet cible.
     • Appariement des attributs : Calcul de la similarité entre les valeurs d'attributs de l'objet cible et de l'objet observé.
     • Agrégation : La récompense globale est la moyenne des scores de satisfaction des sous-objectifs.

Cette méthode permet d'obtenir des signaux de récompense denses et continus sans nécessiter d'entraînement sur les données de récompense du domaine cible (approche zero-shot).

3. Contributions Clés

1. Benchmark RewardPrediction : Création d'un standard d'évaluation couvrant 5 domaines avec des récompenses granulaires étape par étape, comblant le manque de données pour l'évaluation fine de la progression des tâches.
2. StateFactory : Introduction d'une méthode de représentation qui transforme les descriptions textuelles plates en hiérarchies structurées (Objet-Attribut), permettant une prédiction de récompense généralisable sans apprentissage supervisé.
3. Preuve de concept pour la planification : Démonstration que des signaux de récompense de haute qualité, dérivés de la structure de l'état, améliorent significativement la performance des agents de planification (System-1 et System-2).

4. Résultats Expérimentaux

Les expériences comparent StateFactory à des modèles supervisés (entraînés sur les données de récompense) et à des approches "sans représentation" (comme LLM-as-a-Judge ou VLWM-critic).

• Prédiction de récompense (Généralisation) :

  • Les modèles supervisés souffrent d'une augmentation de l'erreur de prédiction de 138% lorsqu'ils sont transférés vers des domaines non vus.
  • StateFactory surpasse toutes les méthodes de base en mode zero-shot. Il réduit la distance EPIC de 60 % par rapport à VLWM-critic et de 8 % par rapport à LLM-as-a-Judge (gpt-oss-20b).
  • Ses performances se rapprochent de celles des modèles supervisés entraînés sur l'ensemble des données, mais sans aucun ajustement de paramètres.

• Impact sur la Planification d'Agents :

  • L'intégration de StateFactory dans des agents ReAct (System-1) améliore les taux de réussite de +21,64 % sur AlfWorld et +12,40 % sur ScienceWorld par rapport aux politiques réactives de base.
  • Dans un cadre de planification System-2 (recherche Monte Carlo Tree Search - MCTS), les signaux de récompense denses permettent à l'agent de sortir des impasses de raisonnement et de guider l'exploration efficacement, même sans signaux de succès clairsemés.

• Analyse d'ablation :

  • La granularité Objet-Attribut est cruciale : les représentations non structurées ou centrées uniquement sur les objets (sans décomposition des attributs) sont nettement moins performantes.
  • La capacité de raisonnement ("Thinking") des LLM sous-jacents améliore significativement la précision de la factorisation de l'état.

5. Signification et Conclusion

Cet article démontre que la structure de la représentation de l'état est plus importante que la quantité de données d'entraînement pour la prédiction de récompense. En passant d'une approche de régression directe sur du texte brut à une approche basée sur la sémantique factorisée, les auteurs parviennent à :

• Éliminer le besoin de modèles de récompense supervisés coûteux et peu généralisables.
• Fournir des signaux de progression denses et fiables qui guident efficacement la recherche de plans complexes.
• Établir un nouveau paradigme où la compréhension structurelle du monde (objets et leurs propriétés) suffit à estimer la proximité d'un objectif, rendant les agents plus robustes face à des environnements et des tâches inédits.

En résumé, StateFactory prouve que la "bonne" représentation du monde est la clé pour des agents capables de planifier de manière autonome et généralisable, sans dépendre de la supervision explicite des récompenses.