Les robots capables de marcher sur des terrains accidentés, de pousser des objets lourds ou de naviguer dans des pièces encombrées ne relèvent plus de la science-fiction, mais leur apprendre à le faire est un défi redoutable. Pour qu'une machine se déplace efficacement, elle doit constamment coordonner ses membres avec le monde physique, en décidant exactement quand et où placer un pied ou une main. Traditionnellement, les ingénieurs ont tenté de résoudre ce problème en programmant chaque mouvement possible à la main, un processus fastidieux qui échoue souvent lorsque le robot rencontre quelque chose d'inattendu. Plus récemment, les scientifiques se sont tournés vers une méthode appelée apprentissage par renforcement, où un robot apprend par essais et erreurs, tout comme un enfant apprenant à marcher. Le robot tente un mouvement, voit s'il tombe ou réussit, et ajuste ses règles internes pour faire mieux la fois suivante. Cependant, ce processus d'apprentissage est incroyablement coûteux. Il nécessite de vastes quantités de puissance informatique et de temps, surtout lorsque le robot doit apprendre à voir son monde à travers des caméras plutôt que de se fier uniquement à des capteurs internes. Le robot doit apprendre à traduire ce qu'il voit en actions physiques, une tâche qui mène souvent à des mouvements maladroits et involontaires si l'entraînement n'est pas guidé avec soin.

Une équipe de chercheurs de l'Université Yale et de l'Université de Sydney a développé une nouvelle approche pour résoudre ce problème, permettant aux robots d'apprendre des comportements visuels complexes beaucoup plus rapidement et plus de manière plus fiable qu'auparavant. Ils ont créé un système qu'ils appellent "Sampling-Guided Policy Search" (Recherche de politique guidée par échantillonnage). Au lieu de laisser le robot errer aveuglément à travers des millions de tentatives aléatoires, ce système utilise un outil de planification intelligent pour générer d'abord une esquisse grossière du mouvement correct. Considérez cet outil de planification comme un entraîneur qui effectue une simulation rapide dans sa tête pour déterminer la meilleure séquence d'étapes pour une tâche spécifique, comme franchir une haie ou pousser une caisse. Le robot utilise ensuite cette esquisse comme point de départ. Les chercheurs ont découvert qu'en combinant ce guidage initial avec une méthode permettant au robot d'apprendre directement à partir d'images de caméra, ils pouvaient entraîner des robots hautement capables en une fraction du temps habituellement requis.

Le cœur de leur découverte réside dans la manière dont ils gèrent le processus d'apprentissage. Dans de nombreuses tentatives précédentes, les chercheurs entraînaient un robot en utilisant des données internes parfaites sur son propre corps et son environnement, puis tentaient d'enseigner à une seconde version du robot à apprendre uniquement à partir de ce qu'une caméra voit. Ce processus en deux étapes était lent et résultait souvent en un robot incapable de gérer les imperfections du monde réel. La nouvelle méthode élimine l'intermédiaire. Elle entraîne le robot à apprendre directement à partir d'images de profondeur — des données visuelles qui montrent à quelle distance se trouvent les objets — tout en utilisant simultanément l'outil de planification pour affiner les objectifs du robot. Le système fonctionne selon un cycle : il génère un mouvement cible, laisse le robot tenter de le suivre, puis utilise l'outil de planification pour corriger la cible si le robot s'écarte légèrement de la trajectoire. Ce va-et-vient constant garantit que le robot n'apprend pas seulement à imiter un chemin parfait, mais aussi à se remettre de ses erreurs et à s'adapter aux changements de terrain ou au poids des objets qu'il transporte.

Les chercheurs ont testé ce système sur deux types différents de robots : un robot quadrupède semblable à un chien et un robot humanoïde bipède. Dans les simulations, le robot quadrupède a appris à trotter sur un terrain plat, à ramper sous une poutre basse et à sauter par-dessus une haie. Le robot humanoïde a appris à pousser une caisse lourde sur le sol et à porter une boîte en courant. Ce qui a rendu ces résultats particulièrement impressionnants, c'est que les robots ont appris ces compétences en utilisant une seule carte graphique, un composant informatique standard que l'on trouve dans de nombreux ordinateurs de jeu. Par le passé, l'entraînement de tels comportements complexes aurait nécessité des supercalculateurs massifs ou des semaines de simulation continue. Ici, le système a appris à effectuer ces tâches en quelques heures seulement. Les chercheurs ont également montré que l'outil de planification faisait plus que simplement fournir un point de départ ; il améliorait activement le processus d'apprentissage tout au long de l'entraînement, aidant le robot à découvrir des manières plus efficaces de se déplacer et à éviter de prendre de mauvaises habitudes.

Pour prouver que cette méthode fonctionne dans le monde réel, les chercheurs ont pris le logiciel entraîné et l'ont installé sur un robot quadrupède physique sans effectuer aucun ajustement supplémentaire. C'est ce qu'on appelle le transfert "zero-shot", ce qui signifie que le robot n'avait jamais vu le monde réel auparavant, mais qu'il pouvait immédiatement exécuter les tâches qu'il avait apprises dans la simulation. Le robot a réussi à trotter dans une pièce, à ramper sous une barrière et à grimper sur une boîte, tout en utilisant uniquement sa caméra embarquée pour voir où il allait. Il n'avait besoin d'aucun capteur externe, de caméras de capture de mouvement ou de guidage humain pour naviguer. Le robot prenait ses propres décisions sur le moment de baisser son corps pour ramper ou de lever ses pattes pour sauter, réagissant instantanément aux obstacles devant lui. Cela a démontré que le processus d'apprentissage avait créé une compréhension robuste du mouvement capable de survivre à la nature désordonnée et imprévisible du monde réel.

L'étude a également souligné pourquoi les méthodes précédentes échouaient souvent. Lorsque les chercheurs tentaient d'entraîner un robot sans le guidage de l'outil de planification, le robot développait souvent des mouvements étranges et non coordonnés. Par exemple, lorsqu'on demandait à un robot entraîné sans ce guidage de trotter, il pouvait traîner les pieds d'une manière qui ne ressemblait en rien à une démarche appropriée. L'outil de planification a agi comme un stabilisateur, garantissant que le robot apprenne le bon rythme et la bonne coordination dès le début. Cela était particulièrement important pour les tâches impliquant un contact avec l'environnement, comme pousser un objet lourd. Sans le guidage, le robot pourrait pousser dans la mauvaise direction ou perdre l'équilibre. Avec le guidage, il a appris à coordonner son corps et ses bras pour déplacer l'objet de manière fluide et efficace.

L'un des aspects les plus significatifs de ce travail est la manière dont il traite l'information visuelle. Les robots ont souvent du mal à apprendre à partir d'images de caméra car le processus consistant à transformer une image en une commande physique est mathématiquement difficile. Les chercheurs ont résolu cela en séparant le traitement visuel des calculs physiques. Cela a permis au robot d'apprendre à partir des images sans être freiné par les mathématiques complexes du fonctionnement de la caméra. Au lieu de cela, il s'est concentré sur l'apprentissage de la relation entre ce qu'il voyait et la façon dont il devait bouger. Cette séparation a rendu le processus d'apprentissage beaucoup plus rapide et plus stable, permettant au robot d'apprendre des compétences complexes comme porter une boîte en courant sans tomber.

Les chercheurs ont également exploré comment combiner différentes compétences en un seul robot. Ils ont entraîné des experts distincts pour le trot, le rampant et le saut, puis ont appris à un seul robot à basculer entre ces comportements de lui-même. Lorsque le robot voyait une poutre basse, il savait qu'il devait ramper. Lorsqu'il voyait une haie, il savait qu'il devait sauter. Il n'avait pas besoin qu'un humain lui dise quel mode utiliser ; il regardait simplement le monde et choisissait la bonne action. Cette capacité à composer différents comportements en un système unique et flexible est une avancée majeure pour la robotique. Cela signifie que les robots pourraient potentiellement naviguer dans des environnements complexes, passant d'un terrain plat à des obstacles et inversement, sans avoir besoin d'un nouveau programme pour chaque nouvelle situation.

Le succès de cette méthode suggère une nouvelle voie pour l'avenir de la robotique. En utilisant un outil de planification pour guider le processus d'apprentissage, les chercheurs peuvent enseigner aux robots des tâches physiques complexes beaucoup plus rapidement qu'auparavant. Cette approche réduit le besoin de puissances de calcul massives et permet aux robots d'apprendre directement à partir de ce qu'ils voient. Bien que les expériences actuelles aient été menées en simulation et sur un seul robot physique, les résultats indiquent que cette méthode pourrait être étendue pour enseigner aux robots des tâches encore plus difficiles, comme la manipulation d'outils ou la navigation dans des espaces bondés. La clé réside dans le fait que l'apprentissage n'a pas besoin d'être une recherche aveugle de la bonne réponse ; il peut être un voyage guidé où un planificateur intelligent aide le robot à trouver son chemin.

En fin de compte, ce travail démontre que l'écart entre la simulation et la réalité peut être comblé plus efficacement qu'on ne le pensait auparavant. Les robots n'ont pas seulement appris à imiter un chemin parfait ; ils ont appris à s'adapter, à se rétablir et à prendre des décisions basées sur ce qu'ils voyaient. Le robot quadrupède, autrefois une simple simulation, est devenu une machine réelle capable de mouvement autonome dans un espace physique. Il a rampé, trotté et sauté avec une fluidité qui suggérait une compréhension profonde de son propre corps et du monde qui l'entoure. Il ne s'agit pas seulement d'une réussite technique ; c'est une étape vers un avenir où les robots pourront se déplacer librement et en toute sécurité aux côtés des humains, accomplissant des tâches qui exigent à la fois force et dextérité. Les chercheurs ont montré qu'avec le bon guidage, les machines peuvent apprendre à se déplacer avec la grâce et l'adaptabilité que nous considérons comme naturelles.