Memory as Plans: World-Action Modeling with Memory-Grounded Planning

Les robots ont longtemps été les maîtres de l'instant présent. Si vous placez une tasse devant un bras robotique, il peut l'atteindre, la saisir et la soulever avec une précision impressionnante. Cette capacité repose sur une règle simple : le robot décide de son prochain mouvement en se basant entièrement sur ce qu'il voit à l'instant même. Cependant, le monde réel est rarement aussi simple. De nombreuses tâches exigent qu'un robot se souvienne de choses qui ne sont plus visibles. Imaginez demander à un robot de trouver un bouton spécifique qui était recouvert il y a quelques minutes, ou d'échanger deux objets qu'il a vus à des endroits différents plus tôt dans la journée. Pour réussir, la machine doit conserver une image mentale du passé, et pas seulement du présent. C'est le défi de la manipulation dépendante de la mémoire, un obstacle qui a empêché les robots d'accomplir des tâches complexes et multi-étapes dans nos foyers et nos lieux de travail.

Pendant des années, les chercheurs ont tenté de résoudre ce problème en alimentant le robot avec de plus en plus d'historique vidéo. Ils fournissaient à la machine une fenêtre croissante de chaque image qu'elle avait vue, espérant que si elle voyait assez de choses, elle se souviendrait de ce dont elle avait besoin. Mais cette approche se heurte à un mur infranchissable. À mesure que l'historique s'allonge, l'ordinateur qui fait fonctionner le robot ralentit, finissant par s'arrêter complètement parce qu'il manque de mémoire. D'autres équipes ont tenté de résumer le passé en une courte liste de mots, mais ce faisant, elles jetaient souvent les détails fins — la couleur exacte d'un objet ou sa position précise — qui sont cruciaux pour la réussite. Le résultat était un compromis : soit le robot était rapide mais oublieux, soit il était détaillé mais trop lent pour être utile.

Une nouvelle approche, développée par une équipe de chercheurs, change entièrement de stratégie. Au lieu de forcer le robot à relire constamment tout son historique pendant qu'il bouge, ils lui apprennent à créer un plan d'abord. Considérez cela comme la différence entre lire une carte en conduisant et avoir un navigateur qui vous donne une seule instruction claire pour la prochaine étape du voyage. Les chercheurs appellent leur système MaP-WAM. Il fonctionne en décomposant une tâche longue en segments plus petits. Avant que le robot ne commence à bouger, il consulte sa mémoire à long terme — des instantanés épars et soigneusement sélectionnés du passé — et rédige un plan spécifique pour l'étape suivante. Ce plan comprend à la fois une description de ce qu'il faut faire et un guide visuel de ce à quoi la scène devrait ressembler pendant que le robot travaille.

Une fois ce plan rédigé, le robot l'exécute sans avoir besoin de revoir l'intégralité de l'historique. Il a seulement besoin de regarder la vue actuelle et le plan qu'il vient de créer. Cela permet de garder la « mémoire de travail » du robot petite et rapide, lui permettant de fonctionner de manière fluide même lorsque la tâche s'allonge. Pour s'assurer que le robot ne se perde pas ou ne dévie pas de sa trajectoire, le système suit également ses progrès. Il vérifie constamment sa position actuelle par rapport au guide visuel du plan. Si le robot constate qu'il est légèrement en retard ou en avance par rapport à là où il devrait être, il ajuste son horloge interne pour correspondre au plan, corrigeant ainsi les erreurs avant qu'elles ne s'accumulent. Cela crée une boucle fermée où le robot planifie, agit, vérifie ses progrès, puis met à jour sa mémoire pour l'étape suivante, tout en maintenant sa charge de calcul constante.

L'équipe a testé cette méthode à la fois dans des simulations informatiques et sur un véritable bras robotique. Dans les simulations, qui impliquaient des tâches comme l'échange de blocs ou la recherche de boutons cachés, le nouveau système a réussi 83,3 % du temps, surpassant les méthodes précédentes qui peinaient avec la mémoire. Sur un vrai robot, il a atteint un taux de réussite de 88 % sur une tâche exigeant que le robot trouve un bouton spécifique, et un taux de réussite de 68 % sur une tâche exigeant qu'il appuie sur des boutons selon une séquence spécifique. Crucialement, à mesure que les tâches devenaient plus longues et que l'historique des actions passées augmentait, le temps nécessaire au robot pour décider de son prochain mouvement restait sensiblement le même, oscillant autour de 827 millisecondes. En revanche, les anciennes méthodes qui tentaient de traiter l'intégralité de l'historique des images sont devenues si lentes et gourmandes en mémoire qu'elles ont planté après environ 1 700 images.

Les chercheurs ont découvert que la clé de ce succès n'était pas seulement d'avoir de la mémoire, mais de savoir comment l'utiliser. En convertissant des historiques longs et complexes en plans compacts et ancrés dans la mémoire, ils ont permis au robot de conserver des preuves visuelles détaillées sans le coût d'un traitement en temps réel. Ils ont également découvert que le suivi explicite des progrès était essentiel ; sans cela, le robot confondait souvent des moments visuellement similaires, comme appuyer sur un bouton ou le relâcher, ce qui entraînait des erreurs répétées. Le système a prouvé qu'un robot n'a pas besoin de porter tout son passé dans sa tête pour agir avec sagesse ; il a seulement besoin de savoir comment transformer ce passé en un plan clair et actionnable pour le présent. Ce passage d'une mémoire réactive à une planification proactive offre une voie prometteuse vers des robots capables de gérer les réalités complexes et multi-étapes de la vie humaine.