Dans la quête consistant à apprendre aux machines comment se déplacer dans le monde physique, les chercheurs s'appuient depuis longtemps sur une stratégie qui imite la prévoyance humaine : imaginer l'avenir avant d'agir. Au lieu de réagir aveuglément à chaque nouvelle sensation, un robot construit un modèle mental de son environnement, une carte interne simplifiée qui prédit ce qui se passera s'il tend le bras, pousse ou tourne. Cette carte mentale permet à la machine de simuler des milliers de séquences de mouvements possibles en une fraction de seconde, choisissant le chemin qui mène le plus directement à un résultat souhaité, comme faire glisser un bloc à un endroit précis ou saisir une tasse. Pour que ces simulations fonctionnent, le robot doit traduire les données visuelles brutes de sa caméra en une représentation compacte et abstraite, un code caché qui capture l'essence de la scène sans s'encombrer de détails inutiles. Le défi a toujours été de s'assurer que ce code interne ne soit pas seulement une bonne description du monde, mais aussi un bon guide pour l'action.

Une étude récente menée par des chercheurs de Simple AI et de l'Université des sciences et technologies de Chine révèle une faille subtile mais critique dans la manière dont ces cartes mentales sont actuellement construites. Ils ont découvert que le modèle interne d'un robot peut être parfaitement précis pour décrire ce qu'il voit — savoir exactement où se trouve un objet et à quoi il ressemble — tout en échouant pourtant à guider le robot vers la solution correcte. Le problème réside dans la géométrie de l'imagination du robot. Lorsque le robot compare différents futurs possibles, il mesure la distance entre son état actuel et l'objectif au sein de cet espace abstrait. Si les distances dans ce monde caché ne correspondent pas à la difficulté réelle des tâches dans le monde physique, le robot choisira le mauvais chemin, même s'il comprend parfaitement la scène. Les chercheurs ont découvert qu'en ajoutant un type spécifique d'entraînement qui enseigne au robot à lier ses actions directement aux changements dans sa carte interne, ils pouvaient corriger ce décalage géométrique. Cet ajustement n'a pas changé ce que le robot savait du monde, mais il a fondamentalement amélioré la façon dont il utilisait ce savoir pour planifier, conduisant à des taux de réussite nettement plus élevés dans des tâches de manipulation complexes.

Le cœur du problème est une distinction entre savoir et décider. Imaginez un robot essayant de pousser un bloc à travers une table. Son modèle interne crée un code caché pour chaque position possible du bloc. Pour décider de ce qu'il doit faire, le robot calcule la distance entre son code actuel et le code de la position cible. Dans un système bien fonctionnel, la distance la plus courte dans ce code caché devrait correspondre au chemin le plus facile ou le plus direct dans le monde réel. Cependant, les chercheurs ont découvert que les méthodes d'entraînement standard produisent souvent un code caché où les distances sont trompeuses. Un chemin qui semble court dans l'esprit du robot pourrait en réalité être une impasse, tandis qu'un chemin qui semble long pourrait être la solution correcte. Cela se produit parce que l'entraînement se concentre sur la création d'un code qui soit une bonne description des données visuelles, mais il ne garantit pas que les relations spatiales au sein de ce code correspondent aux conséquences physiques des actions du robot.

Pour prouver cela, l'équipe a développé un moyen de mesurer l'alignement entre le classement interne des plans par le robot et les résultats réels de ces plans. Ils ont testé cela en générant de nombreuses séquences de mouvements aléatoires et en comparant la façon dont le modèle du robot les classait par rapport à leurs performances réelles dans un environnement simulé. Ils ont constaté que, bien que le modèle du robot puisse décoder avec précision l'état du monde à partir de son code interne, le classement des plans était souvent médiocre. Dans certains cas, le modèle préférait systématiquement une séquence d'actions qui échouait dans le monde réel par rapport à une autre qui réussissait, simplement parce que la métrique de distance interne était déformée. Ce désalignement n'était pas un manque d'information ; le robot connaissait les faits, mais sa règle interne était déformée.

Les chercheurs ont ensuite introduit une nouvelle méthode d'entraînement appelée DA-LeWM pour corriger cette distorsion. Ils ont ajouté deux tâches d'apprentissage spécifiques au programme d'entraînement du robot. La première tâche exigeait que le robot prédise l'action qu'il a effectuée en se basant uniquement sur le changement de son état interne, forçant ainsi le code à préserver l'information sur le mouvement. La seconde tâche demandait au robot de prédire l'action nécessaire pour atteindre un objectif spécifique à partir de son état actuel, liant ainsi le code interne directement à l'objectif. Ces ajouts étaient légers et ne modifiaient ni l'architecture fondamentale du modèle ni la manière dont le robot planifie au moment du test. Au lieu de cela, ils agissaient comme une lentille corrective durant la phase d'apprentissage, façonnant la géométrie de l'espace interne afin que les distances entre les points reflètent véritablement la difficulté des tâches.

Les résultats de cet ajustement ont été frappants. Dans des simulations impliquant la poussée d'objets, l'atteinte de cibles et la navigation dans des pièces, la nouvelle méthode a permis au robot d'apprendre beaucoup plus vite et d'atteindre des taux de réussite bien plus élevés que la norme précédente. Sur une tâche consistant à pousser un bloc, le taux de réussite est passé d'environ 49 % à plus de 92 %, une amélioration massive obtenue sans modifier l'algorithme de planification lui-même. Le robot n'est pas devenu plus intelligent en termes de ce qu'il peut voir ou décrire ; il est devenu plus efficace dans l'utilisation de ce qu'il sait. Les chercheurs ont observé que le code interne est devenu meilleur pour classer les futurs potentiels, garantissant que le robot choisisse systématiquement le chemin menant au succès. Cette amélioration s'est vérifiée à travers différents types de tâches, de la simple poussée à la navigation plus complexe, suggérant que l'alignement géométrique du modèle interne est une exigence universelle pour une planification efficace.

Crucialement, l'étude a écarté l'idée que la meilleure performance provenait simplement du fait que le robot apprenait plus de détails sur l'environnement. Les chercheurs ont vérifié la capacité du robot à décoder des informations telles que la position des objets ou la valeur d'un état, et ont constaté que ces scores restaient presque identiques entre l'ancienne et la nouvelle méthode. La différence résidait purement dans la manière dont le robot organisait cette information pour la prise de décision. Cette découverte remet en question une hypothèse courante dans le domaine selon laquelle si un modèle peut décrire avec précision le monde, il sera naturellement capable de le contrôler. L'étude démontre qu'un modèle peut être informationnellement parfait mais géométriquement défaillant, et que la correction de la géométrie est essentielle pour la performance dans le monde réel.

Les chercheurs ont également examiné comment le processus de planification du robot évoluait lorsqu'il cherchait le meilleur chemin. Ils ont découvert que la nouvelle méthode aidait le robot à maintenir une préférence claire pour les bons plans, même lorsqu'il réduisait ses choix aux candidats les plus prometteurs. Dans les anciens modèles, le classement interne devenait souvent confus lorsque le robot se concentrait sur les options les plus intéressantes, le faisant perdre le fil. Le nouvel entraînement maintenait la cohérence des distances internes, permettant au robot de sélectionner avec confiance la séquence d'actions correcte, même dans les phases finales de la planification. Cette stabilité était la clé de la capacité du robot à converger rapidement et de manière fiable vers une solution.

Bien que l'étude ait été menée dans des environnements simulés, les implications pour la robotique physique sont significatives. Les travaux suggèrent que pour que les robots maîtrisent des tâches complexes, leurs modèles internes doivent être entraînés non seulement pour voir, mais pour comprendre les conséquences du mouvement d'une manière qui s'aligne sur le monde physique. En s'assurant que la carte interne du robot respecte la véritable géométrie de l'action, les ingénieurs peuvent construire des systèmes plus robustes et plus efficaces. Les chercheurs reconnaissent que leurs conclusions sont basées sur des simulations spécifiques et que des travaux supplémentaires sont nécessaires pour voir comment ces principes se comportent face au chaos imprévisible du monde réel. Cependant, le lien clair entre la forme de la représentation interne et le succès des actions du robot offre une nouvelle direction pratique pour l'avenir des systèmes autonomes. La voie à suivre n'est pas nécessairement de construire des modèles plus vastes ou plus complexes, mais de construire des modèles dont la logique interne est parfaitement alignée avec la réalité qu'ils sont censés naviguer.