Résumé Technique : Prédiction de Buts Latents à partir du Langage pour la Planification Basée sur Modèle

Énoncé du Problème

L'apprentissage par renforcement (RL) basé sur des modèles utilisant des modèles de monde (WM) offre un paradigme prometteur pour un contrôle efficace en termes d'échantillonnage en simulant des trajectoires futures dans un espace latent compact. Cependant, ces systèmes font face à deux goulots d'étranglement fondamentaux :

1. Spécification du But : Définir des buts optimisables est difficile. Les cibles visuelles (images) fournissent des gradients locaux précis mais offrent une faible orientation pour les buts lointains et sont peu pratiques à obtenir pour des tâches complexes. Le langage offre de la flexibilité mais souffre d'un alignement intermodal bruyant dans les modèles contrastifs ou d'une inefficacité computationnelle dans les grands modèles génératifs, qui sont mal adaptés à l'échantillonnage haute fréquence requis par la planification basée sur modèle.
2. Planification à Long Horizon : La planification sur de longs horizons est entravée par l'accumulation d'erreurs de prédiction. De petites inexactitudes dans la dynamique latente s'accumulent lors des déroulements (rollouts), dégradant la fiabilité des trajectoires imaginées. Les méthodes existantes contournent souvent cela en augmentant l'abstraction temporelle (sauts de trames) ou en restreignant l'évaluation à des horizons courts, ce qui limite leur applicabilité aux tâches complexes et temporellement étendues.

Les approches actuelles peinent à combiner la précision des objectifs basés sur l'image avec la flexibilité de la spécification basée sur le langage tout en maintenant la robustesse contre les erreurs de prédiction sur de longs horizons.

Méthodologie : LAGO

Les auteurs introduisent LAGO (Latent Goal Prediction from Language), un cadre conçu pour prédire des séquences d'états de buts intermédiaires à partir d'instructions linguistiques et de déroulements conditionnés par l'action au sein du même espace latent.

Architecture

LAGO est construit sur une Architecture de Prédiction d'Encastrement Conjoint (JEPA) opérant dans un espace latent partagé. Il supporte deux modes de fonctionnement via un prédicteur unique $\pi(\cdot)$ :

1. Prédiction de Transition de l'Étape Suivante : Conditionné par des actions de bas niveau pour prédire l'état latent immédiat suivant.
2. Prédiction de Sous-but : Conditionné par des instructions linguistiques et un scalaire d'achèvement $\rho$ (estimant la progression de la tâche) pour prédire des sous-buts latents intermédiaires.

Composants Clés :

• Encodeur de Vision : Utilise un DINOv2 ViT gelé pour encoder les observations RGB en jetons de patchs (patch tokens).
• Conditionnement Multi-Modal : Les instructions linguistiques sont encodées et projetées dans un espace de conditionnement partagé. Un scalaire d'achèvement $\rho \in [0, 1]$ est également projeté. Un encodage spécifique au mode distingue le conditionnement par action du conditionnement par sous-but.
• Entraînement Unifié : Le modèle est entraîné conjointement en utilisant un objectif d'erreur quadratique moyenne (MSE). Il minimise l'erreur entre l'état prédit et l'état réel (en utilisant le conditionnement par action) et entre le sous-but prédit et le sous-but réel (en utilisant le conditionnement par langage et $\rho$).

Stratégie de Planification

LAGO transforme la planification à long horizon en une séquence d'objectifs localement tractables :

1. Génération de Sous-buts : Étant donné un état actuel et une instruction linguistique, LAGO génère $K$ sous-buts latents à des scalaires d'achèvement uniformément espacés ($\rho_k = k/K$). Crucialement, ces sous-buts sont prédits indépendamment de l'état actuel (de manière non-autorégressive) pour éviter l'accumulation d'erreurs.
2. Re-prédiction en Ligne : Les sous-buts sont re-prédits à chaque étape du Contrôle Prédictif de Modèle (MPC), permettant à l'agent de s'adapter à son état évolutif.
3. Coût de Trajectoire Soft Minimum (JLAGO) : Pour évaluer les séquences d'actions candidates, LAGO emploie une fonction de coût de type minimum doux (soft-minimum). Au lieu d'exiger qu'une trajectoire atteigne un sous-but spécifique à un instant précis, elle mesure le meilleur alignement atteint entre chaque sous-but et n'importe quel pas de temps le long du déroulement. Cela est contrôlé par un paramètre de température $\tau$, permettant une convergence fluide vers les sous-buts plutôt que des critères de complétion discrets et fragiles.

Contributions Clés

1. Cadre LAGO : Un modèle de monde entraîné pour mapper les instructions en langage naturel directement vers des états cibles au sein de son propre espace latent, comblant le fossé entre la précision visuelle et la flexibilité linguistique.
2. Décomposition Dynamique de Sous-buts : Une extension de la prédiction de but pour générer des séquences de sous-buts latents intermédiaires. L'approche utilise une re-prédiction continue en ligne et un coût de trajectoire soft-minimum pour permettre une planification robuste à long horizon sans détection explicite de complétion de sous-but.
3. Protocole d'Évaluation Basé sur la Distance : Une méthode d'évaluation systématique qui fait varier la difficulté de la tâche en fonction de la distance vers le but. Cela révèle que les méthodes précédentes se dégradent fortement au-delà de leur horizon de planification effectif, tandis que LAGO reste robuste.

Résultats Expérimentaux

Les auteurs ont évalué LAGO à travers quatre environnements : TwoRoom (navigation 2D), Kingdom (navigation ilde avec des configurations dynamiques et des dangers irréversibles), OGBench Cube (manipulation), et OGBench Scene (manipulation complexe).

• Robustesse à Long Horizon : Dans les environnements TwoRoom, Kingdom et OGBench Cube, les bases de référence de type image-goal (DINO-WM, Temporal Straightening, LeWM) ont totalement échoué à mesure que la difficulté de la tâche (distance) augmentait (par exemple, chutant à un taux de succès de 0 % à des difficultés élevées). En revanche, LAGO a maintenu des taux de succès élevés (par exemple, 90 % de succès à la difficulté 115 dans TwoRoom).
• Langage vs Buts Visuels : LAGO, conditionné par des buts textuels, a nettement surpassé les bases de référence de buts linguistiques (LIV, PE-Core, Robo-Dopamine). Par exemple, dans Kingdom, LAGO a atteint un taux de succès de 96,9 % contre 52,6 % pour la base de référence LIV affinée.
• Efficacité : LAGO a démontré une haute efficacité d'inférence (environ 11 ms par observation) comparée aux grands modèles de récompense génératifs comme Robo-Dopamine (environ 451 ms), ce qui le rend viable pour un MPC en temps réel.
• Études d'Ablation : Les performances sont restées stables pour $K \ge 4$ sous-buts. La température $\tau$ du soft-min s'est révélée robuste dans une plage raisonnable.

Signification et Revendications

L'article affirme que LAGO comble avec succès le fossé entre la précision des buts basés sur l'image et la flexibilité du contrôle guidé par le texte. En ancrant le langage dans l'espace latent du modèle de monde et en décomposant les tâches en sous-buts intermédiaires, le cadre atténue les erreurs de prédiction cumulatives.

Les auteurs déclarent que leur travail permet une planification robuste et précise à long horizon uniquement à partir du langage, évitant la dégradation brutale observée dans les méthodes précédentes lorsque les horizons de planification s'étendent au-delà de la portée immédiate. Ils soulignent que cela est réalisé sans nécessiter de supervision d'action ou de récompense pendant la phase de planification, en s'appuyant plutôt sur le guidage structuré des sous-buts latents prédits. Ce travail est présenté comme une étape vers la résolution de défis de planification de plus en plus complexes en combinant les forces des modalités visuelles et linguistiques au sein d'un cadre de planification unique et efficace.