LePlanner: An Iterative Amortized Controller For World Models

Dans la quête de la construction de machines capables de se déplacer dans le monde réel, les scientifiques s'appuient depuis longtemps sur une stratégie appelée « modèles de monde » (world models). Imaginez un robot qui ne se contente pas de réagir à ce qu'il voit sur le moment, mais qui construit une simulation mentale du fonctionnement du monde. Avant de bouger le moindre muscle, il exécute des milliers de scénarios imaginaires dans son esprit, testant différentes actions pour voir laquelle mène au résultat souhaité. Cette approche permet à un agent de planifier à l'avance, tout comme un humain visualisant un chemin à travers une pièce bondée avant de faire un pas. Cependant, il existe un goulot d'étranglement persistant dans ce processus. Pour que ces simulations mentales soient utiles, le robot doit soit passer un temps considérable à calculer chaque trajectoire possible, ce qui le rend lent et pataud, soit s'appuyer sur une habitude simple, apprise au préalable, qui fonctionne bien dans des situations faciles mais échoue souvent lorsque la tâche devient complexe ou nécessite un contact physique précis.

Des chercheurs de l'Institut indien de technologie de Roorkee ont développé une nouvelle méthode appelée LePlanner qui comble cette lacune. Ils ont créé un système qui apprend à affiner ses propres plans par une série d'ajustements itératifs rapides, plutôt que par un calcul de force brute ou une imitation rigide. L'équipe a entraîné ce système sur quatre environnements simulés différents, allant d'un bras robotique poussant un objet en forme de T à un personnage naviguant à travers deux pièces connectées. Dans ces tests, LePlanner a atteint des taux de réussite allant jusqu'à 100 pour cent sur certaines tâches, égalant les performances des méthodes de planification les plus coûteuses en calcul, tout en nécessissant des centaines de fois moins d'invocations de prédicteur. La clé de ce succès a été un changement dans la manière dont le système a été enseigné pour atteindre son objectif. Au lieu de lui dire d'arriver exactement à la fin d'une fenêtre de temps fixe, le système a été récompensé pour avoir atteint la cible le plus tôt possible et pour y être resté. Ce simple changement dans l'entraînement a empêché le robot d'hésiter ou de retarder son arrivée, lui permettant de prendre des décisions rapides et fiables dans des situations physiques complexes sans avoir besoin de s'arrêter pour recalculer chaque mouvement.

Le défi central que les chercheurs ont abordé est un compromis fondamental dans la planification de l'intelligence artificielle. Une famille de méthodes, appelées planificateurs basés sur la recherche (search-based planners), fonctionne en générant des centaines ou des milliers de trajectoires futures potentielles et en évaluant chacune d'elles pour trouver la meilleure option. Bien que ces méthodes soient très précises, elles sont incroyablement lentes car elles doivent exécuter le modèle de monde des milliers de fois pour chaque décision prise par le robot. Cette latence élevée signifie que le robot réagit trop lentement pour des tâches en temps réel. D'un autre côté, les méthodes basées sur des politiques (policy-based methods) apprennent à associer directement une situation à une action en une seule étape. Elles sont rapides mais fragiles ; elles échouent souvent lorsque la tâche implique des interactions physiques complexes, comme pousser ou saisir, car elles mémorisent simplement les actions observées dans les données d'entraînement et ne peuvent pas s'adapter lorsque la situation change légèrement. Les chercheurs ont constaté qu'aucune de ces approches n'offrait la combinaison idéale de vitesse et de robustesse nécessaire pour un contrôle fiable dans un espace mental appris.

Pour résoudre cela, l'équipe a introduit un contrôleur itératif qui amortit le processus de planification. Au lieu de lancer une recherche massive ou de se fier à une supposition unique, le système part d'un plan initial puis l'affine quelques fois, un peu comme une personne esquissant un itinéraire sur une carte puis ajustant les virages à mesure qu'elle réfléchit plus profondément au terrain. Cet affinement se fait par un processus appris où le système observe son propre futur imaginé, vérifie sa proximité avec l'objectif et effectue de petites corrections au plan. Crucialement, l'ensemble de ce processus est entraîné pour être rapide et efficace, ne nécessitant qu'une poignée de calculs par décision. Le système utilise un modèle de monde gelé, ce qui signifie que la compréhension sous-jacente de la physique et de la vision est maintenue constante et pré-entraînée, tandis que le contrôleur de planification apprend à naviguer au sein de cette compréhension fixe. Cette séparation permet aux chercheurs d'améliorer la stratégie de planification sans avoir à réentraîner l'ensemble du système de vision, rendant le processus à la fois stable et efficace.

Une partie importante de l'article se concentre sur un mode de défaillance subtil mais critique trouvé dans les systèmes de planification précédents, que les auteurs nomment « procrastination de réinitialisation d'horizon » (horizon-reset procrastination). Dans de nombreuses configurations de planification standard, le système est entraîné pour atteindre un objectif à la toute fin d'une période de temps fixe. Lorsque le robot exécute son plan dans le monde réel, il n'effectue que les premières étapes avant de s'arrêter pour replanifier le moment suivant. Parce que l'échéance se réinitialise constamment avec chaque nouveau plan, le système développe l'habitude de s'approcher de l'objectif sans jamais vraiment l'atteindre, repoussant constamment l'heure d'arrivée dans le futur. Les chercheurs ont démontré que ce comportement cause l'échec du robot même lorsqu'il est physiquement capable d'atteindre la cible. Pour corriger cela, ils ont introduit un nouvel objectif d'entraînement appelé « arrivée et maintien » (arrival-and-hold). Cette méthode récompense le système pour avoir atteint l'objectif au moment le plus précoce possible et pour y être resté, plutôt que d'attendre une échéance fixe. En enseignant au système la valeur de l'arrivée immédiate et de la stabilité, ils ont éliminé le comportement de procrastination, permettant au robot d'exécuter des plans cohérents et efficaces, quel que soit le rythme auquel il réévalue son chemin.

Les résultats de ces expériences ont été frappants. Lors de tests impliquant un bras robotique poussant un objet en forme de T vers un emplacement spécifique, le nouveau système a atteint un taux de réussite de 98 pour cent lorsqu'il replanifiait après chaque mouvement. Cette performance est comparable aux méthodes de recherche lentes et lourdes, mais elle est obtenue avec une fraction de l'effort de calcul. Plus précisément, le nouveau système a nécessité environ 2 250 fois moins de transitions de prédicteur (rollouts latents) par décision que les méthodes de recherche traditionnelles. Dans d'autres tâches, comme un bras robotique tendant vers une cible ou un personnage naviguant à travers une porte, le système a atteint des taux de réussite de 100 pour cent et 92 pour cent respectivement. Ces chiffres indiquent que le système n'est pas seulement plus rapide, mais aussi plus fiable dans des environnements complexes riches en contacts, là où les stratégies simples d'imitation échouent généralement. Les chercheurs ont noté que la performance du système restait stable même lorsque la fréquence de la replanification changeait, suggérant que le comportement appris était robuste et non dépendant d'un calendrier spécifique.

L'étude a également souligné l'importance de maintenir les actions du système dans le domaine de ce qu'il a déjà rencontré. Les chercheurs ont ajouté une contrainte qui empêche le planificateur de suggérer des actions trop éloignées de la distribution des données d'entraînement. Cela a agi comme un garde-fou, garantissant que le robot ne tente pas d'effectuer des manœuvres impossibles ou dangereuses que le modèle de monde pourrait halluciner. Malgré cette contrainte, le système ne se contentait pas de copier les actions des données d'entraînement ; il construisait activement de nouveaux plans pour atteindre les objectifs. Dans un test, la première action prédite par le système était significativement différente de la démonstration experte sur laquelle il avait été entraîné, et pourtant, il a atteint l'objectif avec une grande précision. Cela prouve que le système apprend à résoudre la tâche par le raisonnement plutôt que par la simple mémorisation d'une séquence de mouvements.

Les chercheurs ont validé leurs découvertes par des tests rigoureux à travers quatre environnements distincts, utilisant un ensemble commun de conditions de départ pour assurer une comparaison équitable entre la nouvelle méthode et les approches existantes. Ils ont mesuré non seulement le taux de réussite, mais aussi le temps nécessaire pour prendre chaque décision, constatant que le nouveau système était entre 3 et 49 fois plus rapide que les méthodes de recherche traditionnelles selon la tâche. L'étude comprenait également des visualisations détaillées du futur imaginé par le robot, montrant que les simulations mentales du système étaient assez précises pour guider les actions réelles. Dans le cas du robot naviguant à travers une porte, le système a correctement prédit le passage par la porte, alors que d'autres méthodes se sont souvent retrouvées bloquées ou ont halluciné une collision avec le mur. Ces vérifications visuelles ont confirmé que les améliorations n'étaient pas de simples artefacts statistiques, mais reflétaient une réelle amélioration de la façon dont le système comprenait et planifiait son environnement.

En fin de compte, ce travail démontre qu'une part importante du raisonnement complexe requis pour la planification peut être apprise et compressée dans une politique itérative légère. En combinant la puissance prédictive d'un modèle de monde avec un objectif d'entraînement raffiné qui encourage l'arrivée opportune, les chercheurs ont créé un contrôleur qui est à la fois rapide et robuste. Le système ne nécessite pas d'optimisation en ligne ou de calcul intensif au moment de la décision, ce qui le rend adapté aux applications en temps réel où la vitesse est critique. Bien que les expériences actuelles aient été menées dans des environnements simulés, les principes suggèrent une voie vers un contrôle robotique plus efficace et plus capable dans le monde réel. Le succès de LePlanner indique que l'avenir de la planification robotique ne réside peut-être pas dans des ordinateurs plus rapides ou des recherches plus complexes, mais dans des manières plus intelligentes et plus efficaces d'apprendre à penser.