The Objective Is the Bottleneck: Latent World Models Encode What Their Planners Cannot Use

Imaginez que vous appreniez à un robot à naviguer dans un labyrinthe. Pour ce faire, le robot construit une « carte mentale » du monde à l'intérieur de son cerveau. Cette carte n'est pas une image ; c'est un résumé mathématique compressé de ce à quoi le monde ressemble à un instant donné. Les scientifiques appellent cela un « modèle de monde latent ». Le robot apprend cette carte en regardant des vidéos de lui-même en mouvement et en essayant de prédire ce qui se passera ensuite. S'il peut prédire l'avenir avec précision, nous supposons qu'il comprend le monde. Une fois qu'il possède cette carte, le robot utilise un « planificateur » — un algorithme de prise de décision — pour déterminer le meilleur chemin vers un objectif, comme trouver un coffre au trésor. La grande question dans ce domaine a toujours été : si le robot échoue à atteindre un objectif lointain, est-ce parce que sa carte mentale est floue et imprécise, ou est-ce parce que son outil de prise de décision est défectueux ? Ce document plonge dans ce mystère, testant si le problème réside dans la vision du robot ou dans son boussole.

Les chercheurs de cet article ont étudié un robot spécifique naviguant dans un environnement simple à deux pièces. Ils ont découvert que la « carte mentale » du robot était en fait incroyablement nette et précise, même pour regarder loin dans le futur. Cependant, le robot continuait d'échouer à atteindre des objectifs qui étaient éloignés. La découverte surprenante est que le robot n'échouait pas parce qu'il ne pouvait pas voir le chemin ; il échouait parce que la « boussole » qu'il utilisait pour mesurer la distance était cassée. Le robot essayait de minimiser un score mathématique spécifique (la distance au carré entre son état mental actuel et l'objectif), mais ce score cessait de faire sens après un certain point. C'était comme un GPS qui vous dit que vous vous rapprochez de votre destination alors que vous roulez en fait dans la direction opposée.

L'article montre que la carte interne du robot pouvait encore prédire l'état du monde 75 étapes à l'avance avec très peu d'erreur — bien au-delà des 25 étapes que le robot essayait de planifier. Le problème n'était pas la carte, mais la fonction d'objectif, la règle que le planificateur utilisait pour juger du succès. Les chercheurs ont découvert que la façon standard de mesurer la distance dans l'esprit du robot « saturait » puis « s'inversait ». Cela signifie qu'une fois que l'objectif était situé à plus de 120 unités, le fait de s'éloigner de l'objectif réduisait en réalité le score de coût du robot, le trompant en lui faisant croire qu'il progressait. L'information sur l'endroit où se trouvait l'objectif et comment y parvenir était toujours pleinement présente dans le cerveau du robot, mais le planificateur du robot l'ignorait car il regardait la mauvaise métrique.

Pour corriger cela, les chercheurs n'ont pas réentraîné le robot ni lui ont donné un matériel plus puissant. Au lieu de cela, ils ont simplement remplacé la boussole cassée par une nouvelle. Ils ont appris au planificateur à se soucier de la « joignabilité » (puis-je réellement y arriver ?) plutôt que de la simple « proximité » (à quel point cela semble-t-il proche ?). Ils ont fait cela en entraînant un petit assistant à prédire combien d'étapes il faudrait pour passer d'une image à une autre, plutôt que de simplement mesurer la distance entre deux points dans un espace mathématique. Cette nouvelle approche a été un immense succès. Avec les paramètres originaux du robot, le taux de réussite pour atteindre des objectifs situés à 100 étapes est passé d'un dérisoire 26 % à un spectaculaire 98 %. Plus impressionnant encore, le robot pouvait atteindre 92 % de ces objectifs lointains avec seulement un tiers du budget de temps habituel.

Cependant, cette réparation n'est pas une solution miracle qui fonctionne partout. Lorsque les chercheurs ont essayé la même correction sur les poids publiés par les auteurs originaux, elle n'a amélioré le succès que de 14 % à 34 %, restant loin des 70 % obtenus par une méthode linéaire plus simple. La raison de cet échec est que la « carte mentale » du modèle original dérive trop loin de la réalité lorsqu'il imagine le futur. La nouvelle boussole a été entraînée sur des images vidéo réelles, mais le planificateur score des images imaginées. Comme les prédictions du modèle original étaient si inexactes, les images imaginées étaient trop différentes des images réelles pour que la nouvelle boussole fonctionne correctement. Cela souligne une règle cruciale : un coût de planification appris doit être entraîné sur le type exact de données « imaginées » que le planificateur utilisera réellement, sinon il échouera lorsque le prédicteur dérivera.

L'étude a également révélé une étrange particularité : le « meilleur » planificateur n'était pas celui qui possédait la carte la plus précise. En fait, un planificateur utilisant une fonction de coût qui était moins bonne pour prédire la distance spatiale exacte planifiait mieux. C'est parce que le nouveau coût a appris à facturer un supplément pour traverser un mur, alors que l'ancien ne se souciait pas des murs du tout. L'ancien planificateur pensait que deux pièces étaient proches parce qu'elles étaient physiquement proches l'une de l'autre, ignorant la porte. Le nouveau planificateur comprenait qu'il fallait passer par la porte, ce qui en fait un meilleur navigateur. L'article conclut que pour la planification à long terme, le goulot d'étranglement n'est pas la capacité à prédire l'avenir, mais la capacité à définir ce que signifie réellement « arriver là ». Si votre boussole pointe dans la mauvaise direction, aucune vision parfaite ne vous aidera à trouver votre destination.