Résumé technique : États de croyance textuels pour les modèles de monde

Énoncé du problème

Dans les environnements partiellement observés, les modèles de monde doivent maintenir une représentation latente qui résume l'historique des interactions afin de permettre la prédiction, la planification et le raisonnement. Un défi critique dans les architectures modernes basées sur les grands modèles de langage (LLM) est le problème d'identifiabilité. Dans de nombreuses conceptions existantes, l'état latent coexiste avec d'autres sources d'information (telles que l'historique complet des observations) qui peuvent se substituer à lui. Par conséquent, un modèle peut atteindre une haute précision prédictive en « contournant » l'état latent pour s'appuyer directement sur l'historique. Cela rend l'état latent non identifiable ; la performance prédictive ne contraint plus ni ne reflète la qualité de la représentation apprise.

Bien que les modèles de monde classiques imposent une médiation stricte par l'état latent — exigeant que toutes les prédictions dépendent uniquement de l'état latent et de l'action actuelle — appliquer ce principe aux contextes textuels est difficile. Les états latents textuels sont discrets et non différentiables, ce qui exclut l'entraînement variationnel standard (par exemple, l'ELBO). De plus, les décodeurs LLM expressifs entraînés avec de tels objectifs ont tendance à ignorer le goulot d'étranglement, conduisant à un effondrement de la distribution postérieure (posterior collapse). L'article traite du défi consistant à imposer une médiation stricte dans le domaine textuel afin de garantir que la qualité de la représentation est empiriquement testable et que l'état latent agit comme une statistique suffisante de l'historique.

Méthodologie

1. États latents textuels

Les auteurs proposent de représenter les états latents sous forme de chaînes de caractères textuelles discrètes, interprétables et de longueur variable (spécifiquement des listes de prédicats-arguments au format JSON) plutôt que sous forme de vecteurs continus. Cette approche offre quatre avantages :

• Alignement : Elle correspond au fondement (backbone) du LLM, évitant les conversions de modalités perteuses.
• Goulot d'étranglement adaptatif : La capacité varie selon le contenu plutôt que selon des dimensions fixes.
• Interprétabilité : Les états sont directement inspectables et peuvent être évalués par rapport à des faits réels.
• Correspondance de modalité : Les observations étant du texte sémantique, les états textuels préservent l'intégrité structurelle.

2. Architecture du modèle

Le système utilise un seul modèle de langage autorégressif préentraîné avec des paramètres partagés $\theta$ opérant dans trois étapes distinctes, définies par des prompts :

1. Encodage : $\hat{s}_t \sim p_\theta(\cdot | h_t)$, générant un état latent à partir de l'historique $h_t$.
2. Transition (Dynamique) : $\hat{s}_{t+1} \sim p_\theta(\cdot | \hat{s}_t, a_t)$, prédisant le prochain état en se basant uniquement sur l'état latent actuel et l'action.
3. Décodage : $\hat{o}_{t+1} \sim p_\theta(\cdot | \hat{s}_{t+1}, a_t)$, générant la prochaine observation à partir du nouvel état latent.

Crucialement, une fois que $\hat{s}_t$ est généré, les étapes de transition et de décodage n'ont aucun accès à l'historique original $h_t$. Cela impose une médiation stricte.

3. Entraînement via GRPO factorisé (fGRPO)

Puisque les états textuels sont non différentiables, l'optimisation par gradient à travers l'espace latent est impossible. Les auteurs traitent chaque étape de génération comme une politique stochastique et optimisent en utilisant l'apprentissage par renforcement (RL).

• Limitation du GRPO standard : Le GRPO standard (Group Relative Policy Optimization) opère sur une continuation autorégressive unique, ce qui permettrait au modèle d'accéder à l'historique via le contexte partagé du prompt, violant ainsi la médiation stricte.
• Solution fGRPO : Les auteurs introduisent le GRPO factorisé, une extension structurée en arbre. Pour un historique donné, le modèle échantillonne $A$ candidats pour les états latents, puis $B$ candidats pour l'état suivant par encodage, et $C$ candidats pour les observations par transition. Cela forme un arbre où les récompenses sont calculées aux feuilles (comparaison entre les prédictions et les observations réelles) et propagées vers le haut. Cette structure garantit que les étapes de transition et de décodage sont strictement conditionnées par les états latents échantillonnés, et non par l'historique original.

4. Conception de la récompense

Le signal de récompense combine la précision prédictive avec une régularisation structurelle pour encourager des états compacts et suffisants :

• Précision de l'observation ($R_{obs}$) : Score F1 au niveau des faits entre les faits extraits des observations prédites et réelles.
• Validité du format ($R_{fmt}$) : Une vérification binaire assurant que l'état latent est une structure JSON valide.
• Récompenses auxiliaires :
  • Support ($R_{sup}$) : Encourage la cohérence entre l'observation prédite et les faits sous-jacents de l'état.
  • Déduplication ($R_{dedup}$) : Pénalise les faits sémantiquement redondants.
  • Ablation ($R_{abl}$) : Mesure la fraction de faits dont la suppression dégrade la prédiction, encourageant la rétention de l'information strictement nécessaire.

Contributions clés

1. Formalisation de la médiation stricte : L'article prouve que sous médiation stricte, une précision prédictive optimale implique que l'état latent est une statistique suffisante de l'historique (Proposition 1). Inversement, dans les architectures « fuyantes » (leaky) où le contournement de l'historique est permis, une précision optimale peut être atteinte avec un état latent non informatif (Proposition 2).
2. Garanties théoriques sur le déploiement (rollout) : La médiation stricte aligne structurellement les conditions d'entraînement et d'inférence. Les auteurs montrent que cela empêche la croissance géométrique de l'erreur observée dans les déploiements basés sur l'historique ou les modèles fuyants, permettant une propagation d'erreur bornée sous des hypothèses de contraction (Proposition 3).
3. Algorithme fGRPO : L'introduction du GRPO factorisé, qui permet d'entraîner des états latents textuels discrets et non différentiables sous des contraintes de médiation stricte sans objectifs variationnels.
4. Validation empirique : Des expériences sur TextWorld et ScienceWorld démontrent que la médiation stricte produit des représentations à la fois prédictives et identifiables.

Résultats expérimentaux

Les auteurs ont évalué leur approche par rapport à trois bases de référence :

• Sans état (Stateless) : Prédit directement à partir de l'historique (limite supérieure de précision, pas de représentation explicite).
• État fuyant (LeakyState) : Utilise un état latent textuel mais permet le contournement de l'historique pendant la prédiction.
• État strict par plongement (StrictState-Emb) : Utilise une médiation stricte mais avec des plongements (embeddings) continus (entraînement variationnel).

Principaux résultats :

• Précision prédictive : StrictState-Text égale la précision de prédiction à un pas (obs.F1) des bases de référence LeakyState et Stateless, confirmant que la médiation stricte ne sacrifie pas la performance.
• Qualité de la représentation : À précision prédictive égale, StrictState-Text atteint un F1 au niveau de l'état nettement plus élevé (gains allant jusqu'à 57 % dans ScienceWorld et 30 % dans TextWorld pour des tâches complexes) par rapport à LeakyState. Cela confirme que les modèles fuyants apprennent des états non informatifs qui reposent sur le contournement de l'historique.
• Stabilité du déploiement (rollout) : La médiation stricte améliore considérablement la performance des déploiements multi-étapes. Les gains en F1 au niveau de l'état augmentent avec l'horizon de prédiction, atteignant 98 % d'amélioration à l'horizon 9 sur TextWorld. Cela valide la thèse théorique selon laquelle la médiation stricte atténue la propagation de l'erreur cumulative.
• Ablation : La suppression des récompenses auxiliaires (déduplication, ablation, support) dégrade la performance à long terme, indiquant que ces composants sont critiques pour apprendre des états compacts et suffisants.

Signification et affirmations

L'article affirme que la médiation stricte de l'état latent est une condition nécessaire pour rendre la qualité de la représentation empiriquement testable dans les modèles de monde. Sans elle, la précision prédictive est un mauvais indicateur de la qualité de la représentation car le modèle peut « tricher » en accédant directement à l'historique.

En réussissant à imposer une médiation stricte dans le domaine textuel via fGRPO, les auteurs démontrent que :

1. L'identifiabilité est réalisable : Il est possible d'apprendre des états latents discrets et interprétables où la qualité de la représentation est directement diagnostiquable par la performance prédictive.
2. Les états textuels sont efficaces : Les états textuels de longueur variable offrent un goulot d'étranglement plus flexible et interprétable que les plongements à dimension fixe pour des faits discrets et compositionnels.
3. La stabilité est améliorée : La médiation stricte aligne l'entraînement et l'inférence, empêchant l'accumulation d'erreurs qui affecte les architectures fuyantes ou sans état lors de déploiements à long terme.

Les auteurs notent que leur évaluation se concentre sur la qualité de la représentation plutôt que sur le contrôle ou la planification en aval, et que les expériences sont limitées à des environnements synthétiques et instrumentés (TextWorld et ScienceWorld). Ils reconnaissent des limites structurelles, telles que la charge de la compression reposant entièrement sur un encodeur à passage unique et la dépendance à l'extraction de faits structurés pour les récompenses auxiliaires. Cependant, ce travail établit un fondement méthodologique pour construire des modèles de monde fiables et interprétables dans des contextes textuels.