Résumé technique : Apprentissage de modèles de monde POMDP à partir d'observations avec des priors de modèles de langage

Énoncé du problème

Des agents efficaces dans des environnements partiellement observables doivent apprendre un modèle interne de la façon dont le monde répond à leurs actions. Bien que les Processus de Décision Markoviens Partiellement Observables (POMDP) fournissent un formalisme flexible pour de tels modèles de monde, leur apprentissage à partir de trajectoires d'actions-observations uniquement est notoirement difficile. Les approches classiques (estimateurs tabulaires, méthodes spectrales, modèles latents profonds) nécessitent généralement des interactions étendues avec l'environnement, de fortes hypothèses structurelles ou un accès aux états cachés de vérité terrain.

Les méthodes existantes qui exploitent les modèles de langage de grande taille (LLM) pour induire des modèles de monde reposent souvent sur une hypothèse simplificatrice critique : l'accès à des états cachés privilégiés pendant l'entraînement. Même le précurseur le plus proche, POMDP Coder, suppose un accès a posteriori aux états de vérité terrain après chaque épisode. Cette limitation rend ces méthodes inapplicables aux scénarios réels où la supervision d'état est indisponible, tels que des robots opérant dans des espaces encombrés ou des agents dans des jeux à information imparfaite. La question centrale abordée par ce travail est de savoir si les priors de LLM sont suffisamment puissants pour induire des modèles POMDP exécutables en utilisant uniquement des trajectoires d'observation-action-récompense, sans aucun accès aux étiquettes d'état caché.

Méthodologie : Pinductor

Les auteurs introduisent Pinductor (inducteur de POMDP), un cadre qui induit des modèles de monde POMDP exécutables à partir de trajectoires d'observation-action-récompense uniquement. La méthode fonctionne selon une boucle de génération-évaluation-affinement-planification, évitant toute comparaison directe entre les états prédits et les états cachés de vérité terrain.

1. Proposition de modèle

Un LLM est sollicité avec une description de l'environnement en langage naturel, un petit ensemble de données hors ligne de trajectoires, et une API de code définissant les espaces d'état, d'action et d'observation. Le LLM génère un modèle candidat exécutable $m = (\rho_0^m, T^m, O^m, R^m)$, définissant la distribution d'état initial, la dynamique de transition, le modèle d'observation et la fonction de récompense.

2. Évaluation de modèle basée sur la croyance

Puisque les états cachés ne sont pas observés, Pinductor évalue les candidats en utilisant un score de vraisemblance basé sur la croyance.

• Filtrage particulaire : Pour un modèle candidat, un ensemble de particules est échantillonné à partir de la distribution d'état initial proposée et propagé à travers le modèle de transition $T^m$ en utilisant les actions observées.
• Vraisemblance d'observation douce : Le modèle d'observation généré par le LLM $O_{LLM}^m$ est souvent déterministe. Pour gérer les écarts et fournir un signal de type gradient, la méthode emploie un noyau de distance. La distance $d_{obs}$ entre une observation prédite et l'observation réalisée est convertie en une vraisemblance douce :
  $$O^m(o_{t+1} | s_{t+1}, a_t) \propto \exp(-d_{obs}(o_{t+1}^{pred}, o_{t+1}^{real}) / \kappa)$$
• Notation : Le modèle est noté par la vraisemblance logarithique espérée de la trajectoire observée sous la distribution de croyance induite par le filtre particulaire :
  $$L(P^m; \mathcal{D}) = \sum_{\tau \in \mathcal{D}} \sum_{t=0}^{H-1} \mathbb{E}_{s_{t+1} \sim Q_{t+1}^m} [\log O^m(o_{t+1} | s_{t+1}, a_t)]$$
  Ce score évalue dans quelle mesure les dynamiques de filtrage du modèle propre peuvent expliquer le flux d'observations, sans accès à des états privilégiés.

3. Feedback et affinement

La méthode affine les modèles de manière itérative en utilisant un feedback de débogage structuré :

• Score global : Le score de vraisemblance scalaire indique l'adéquation globale.
• Diagnostics locaux : Le système identifie des modes d'échec spécifiques, tels que des erreurs d'exécution, des segments de trajectoire avec une grande distance d'observation, ou des écarts de récompense.
• Signaux de désaccord : Un « comité » de modèles de transition précédemment générés est utilisé pour calculer l'entropie de vote. Les contextes à haute entropie (où les modèles candidats ne s'accordent pas sur l'état suivant) sont mis en évidence pour le LLM, le guidant vers la résolution des ambiguïtés dans la dynamique.
• Stratégie d'affinement : Pinductor utilise un processus d'affinement structuré en arbre (sélection UCB1) plutôt qu'une simple chaîne d'éditions, explorant plusieurs familles de candidats avant de sélectionner un modèle quasi-optimal.

4. Planification

Le modèle sélectionné est utilisé pour la planification dans l'espace des croyances (par exemple via des planificateurs de type A*) lors de l'interaction en ligne. De nouvelles trajectoires sont ajoutées à l'ensemble de données, déclenchant de nouveaux cycles d'affinement.

Contributions clés

1. Induction de POMDP basée uniquement sur les observations : L'article démontre que les priors de LLM suffisent à induire des modèles de monde POMDP exécutables à partir de trajectoires d'observation-action-récompense uniquement, éliminant le besoin de supervision d'état latent de vérité terrain lors de l'entraînement ou de l'inférence.
2. Notation de modèle basée sur la croyance : Les auteurs introduisent un objectif de vraisemblance basé sur un noyau qui note les programmes candidats sous leurs distributions de croyance filtrées. Cela fournit un signal de réparation par étape calculable uniquement à partir d'observations partielles.
3. Validation de bout en bout : La méthode est validée sur cinq tâches partiellement observables de MiniGrid. Pinductor correspond aux performances et à l'efficacité d'échantillonnage d'une base de référence LLM à état privilégié (POMDP Coder) tout en surpassant significativement les bases de référence sans LLM (y compris des POMDP tabulaires ayant accès à l'état privilégié).

Résultats

• Performances : Dans les environnements MiniGrid (Empty, Corners, Lava, Unlock, Four Rooms), Pinductor atteint des récompenses moyennes par épisode et des taux de victoire comparables à la base de référence à état privilégié, malgré l'utilisation d'informations strictement inférieures.
• Efficacité d'échantillonnage : Pinductor atteint de fortes performances avec très peu de trajectoires hors ligne (aussi peu que 2 à 10), correspondant à l'efficacité d'échantillonnage des méthodes d'accès à l'état.
• Qualité de la croyance : Lors de la planification, les états de croyance de Pinductor deviennent de plus en plus concentrés sur l'état caché réel à mesure que les observations s'accumulent, démontrant que les modèles appris supportent des mises à jour postérieures informatives.
• Ablations :
  • Capacité du LLM : Les performances évoluent avec la capacité du LLM ; des modèles plus faibles échouent à synthétiser des modèles de monde utilisables, tandis que des modèles plus puissants (Qwen 3.6 Plus, Claude Opus 4.7) atteignent de hautes performances.
  • Information sémantique : Le retrait des descriptions sémantiques de l'environnement dégrade les performances, indiquant que la méthode repose sur des priors de LLM ancrés dans l'information textuelle.
  • Stochasticité : La méthode reste efficace dans les variantes stochastiques des environnements, bien que les performances chutent par rapport aux paramètres déterministes.

Signification et limites

L'article positionne les priors de modèles de langage comme un outil pratique pour l'apprentissage de modèles de monde efficace en échantillonnage sous observabilité partielle. En supprimant l'exigence d'un accès à l'état privilégié, Pinductor étend la portée de l'induction de modèles guidée par les LLM à des contextes caractéristiques des déploiements réels (par exemple, robotique, jeux à information imparfaite).

Les auteurs notent modestement plusieurs limites :

• Portée : L'évaluation est restreinte aux environnements MiniGrid ; le transfert vers d'autres domaines ou des contextes réels complexes reste inexploré.
• Composantes fixes : La fonction de distance d'observation, le planificateur et le tampon de démonstration sont actuellement fixes et non optimisés par le LLM.
• Variance : La dépendance aux appels d'API LLM introduit une variance élevée dans le temps d'exécution et les résultats.
• Collecte de données : Les ensembles de données hors ligne sont collectés manuellement ; l'impact des stratégies de collecte de données automatisées n'est pas exploré.

Ce travail représente une étape vers des agents généralistes capables d'apprendre des modèles de monde internes à partir de l'expérience à la première personne dans des environnements partiellement observables.