Imaginez un monde où les ordinateurs apprennent à faire des choses de la même manière qu'un bambin apprend à marcher : en tombant, en se relevant et en essayant encore. C'est le cœur de l'apprentissage par renforcement (Reinforcement Learning - RL), une branche de l'intelligence artificielle où un « étudiant » (l'algorithme) apprend en interagissant avec un « environnement » et en recevant des récompenses pour les bons mouvements. Pendant des années, la majeure partie de cet apprentissage s'est déroulée à l'intérieur des ordinateurs, dans des mondes virtuels parfaits et sans friction appelés simulations. C'est comme s'entraîner au basket dans un jeu vidéo où le ballon ne rebondit jamais de travers et le panier ne bouge jamais. Bien que cela soit excellent pour l'entraînement, c'est un peu comme essayer d'apprendre le surf uniquement dans une piscine ; quand vous arrivez enfin dans l'océan réel, les vagues sont désordonnées, le sable est granuleux et les règles sont différentes. La grande question pour les scientifiques est la suivante : comment faire pour que ces cerveaux numériques apprennent directement sur de vrais robots, sans avoir besoin d'une simulation parfaite au préalable ?

Ce document, intitulé « The Open Ant: A Robot Platform for Reinforcement Learning Research », présente une solution conçue pour combler ce fossé. Les auteurs ont construit un robot physique qui ressemble et agit exactement comme un célèbre robot virtuel appelé « Gymnasium Ant », mais de manière économique, facile à réparer et suffisamment simple pour être utilisé par des chercheurs qui ne sont pas des experts en robotique. Ils ont découvert que ce robot peut apprendre à marcher seul dans le monde réel en environ une heure, en utilisant deux méthodes d'apprentissage très différentes. Ils ont également montré que les compétences apprises dans une simulation informatique peuvent être transférées au robot réel, bien que le classement de performance du robot change légèrement lorsqu'il atteint le sol réel. Plus important encore, ils ont prouvé qu'une équipe d'étudiants ayant peu d'expérience en robotique pouvait construire, réparer et apprendre de ce robot en seulement quelques jours, suggérant que la barrière pour réaliser des expériences de robotique dans le monde réel est enfin en train de tomber.

Le robot qui ressemble à un personnage de jeu vidéo

Pendant longtemps, l'apprentissage par renforcement a été une superstar dans le monde des jeux vidéo et des simulations. C'est la technologie derrière les ordinateurs capables de battre les humains dans des jeux complexes comme le Go ou le Backgammon. Mais lorsque les scientifiques tentent de transférer ces algorithmes dans le monde réel — pour apprendre à un robot à marcher, à voler ou à saisir des objets — cela devient complexe. La vie réelle est pleine de surprises : les câbles s'emmêlent, les moteurs surchauffent et le sol n'est pas parfaitement lisse. À cause de cela, de nombreux chercheurs s'en tiennent aux simulations, où ils peuvent lancer des milliers d'expériences en une seconde sans rien casser. Mais il y a un piège : ce qui fonctionne parfaitement dans une simulation échoue souvent dans la réalité.

Les auteurs de ce document voulaient changer cela. Ils se sont demandé : « Pouvons-nous fabriquer un robot si facile à utiliser et à réparer qu'un chercheur qui ne sait que coder des simulations puisse commencer à faire des expériences dans le monde réel ? » Pour répondre à cela, ils ont créé l'Open Ant.

L'Open Ant est un robot à quatre pattes, en forme de fourmi ou de araignée, inspiré par un robot virtuel très populaire utilisé dans la recherche appelé le « Gymnasium Ant ». Dans le monde virtuel, cette fourmi est un modèle mathématique qui apprend à marcher vers l'avant. L'Open Ant est la version physique de ce même personnage. Il possède un corps rond et quatre pattes, chacune dotée de deux articulations (une hanche et un genou), actionnées par des moteurs. L'équipe a fait quelques choix intelligents pour rester simple :

• Pas de soudure : Vous n'avez pas besoin d'être un magicien de l'électronique pour le construire. Il utilise des pièces que l'on peut acheter dans le commerce.
• Alimentation par prise : Au lieu de se soucier de batteries lourdes, il se branche sur une prise murale, de sorte qu'il peut fonctionner pendant des heures sans s'arrêter.
• Corps imprimé en 3D : Si une patte se casse (ce qui arrive quand les robots apprennent à marcher), vous pouvez simplement en imprimer une nouvelle. C'est comme avoir une roue de secours pour votre voiture, mais vous imprimez la roue vous-même.

Le robot coûte environ 2 200 $ à construire avec des pièces de haute qualité, ou environ 500 $ si vous utilisez des moteurs plus bon marché et plus fragiles (une version qu'ils appellent « Physical Ant Lite »). Il est petit, environ un tiers de la taille de la version virtuelle, mais assez robuste pour encaisser les chocs.

Apprendre à marcher en une heure

Le grand test était : ce robot peut-il réellement apprendre à marcher de lui-même, en partant de zéro connaissance ? Les chercheurs ont mis en place un jeu simple pour le robot. Au lieu de simplement marcher vers l'avant (ce qui nécessiterait de ramener le robot au point de départ chaque fois qu'il heurterait un mur), ils ont fait marcher le robot d'avant en arrière à l'intérieur d'un cercle. Une caméra située au-dessus surveillait le robot et lui donnait une « récompense » (un point) chaque fois qu'il se déplaçait dans la bonne direction. Si le robot s'approchait trop près du bord du cercle, l'objectif s'inversait, et il devait faire demi-tour et marcher dans l'autre sens. Cela signifiait que le robot pouvait continuer à apprendre indéfiniment sans avoir besoin d'un humain pour le réinitialiser.

Ils ont testé deux algorithmes d'apprentissage très différents sur le robot :

1. SARSA(λ) : Une méthode plus simple et plus ancienne qui apprend en essayant différents mouvements et en se souvenant de ce qui a fonctionné.
2. SAC (Soft Actor-Critic) : Une méthode plus moderne et complexe qui utilise des réseaux de neurones profonds (comme le cerveau d'une IA de deep learning).

Les résultats ont été impressionnants. En utilisant l'algorithme plus simple SARSA(λ), le robot a appris à marcher de manière compétente en environ une heure d'expérience directe. Ce n'était pas une marche parfaite de niveau olympique, mais elle était régulière et pouvait atteindre des vitesses de 2 à 4 cm/s. Il en fut de même avec l'algorithme plus complexe SAC. Lors de cinq essais distincts, le robot a appris à marcher de manière fiable en environ une heure. C'est un événement majeur car cela montre que vous n'avez pas besoin d'un supercalculateur ou de mois d'entraînement pour mettre un robot en mouvement ; vous pouvez le faire directement sur le matériel.

Le tour de magie du « Sim-to-Real » (et ses ratés)

Une astuce courante en robotique consiste à entraîner un robot dans une simulation d'abord, puis à copier ce « cerveau » dans le robot réel. C'est ce qu'on appelle le « Sim-to-Real ». Les chercheurs ont tenté l'expérience avec l'Open Ant. Ils ont entraîné 2 304 « cerveaux » différents dans la simulation virtuelle, puis les ont testés sur le robot réel sans entraînement supplémentaire.

Voici ce qu'ils ont découvert :

• Cela fonctionne, mais pas parfaitement : Presque tous les cerveaux simulés pouvaient faire marcher le robot réel dans la bonne direction. Cela signifie que la simulation était une copie assez fidèle de la réalité pour enseigner les bases.
• Le classement a changé : C'est la partie délicate. Le robot qui était le « meilleur » marcheur dans la simulation n'était pas nécessairement le meilleur dans le monde réel. En fait, le meilleur performeur de la simulation s'est avéré n'être que le sixième meilleur sur le robot réel. Cela suggère que, bien que les simulations soient utiles, elles ne peuvent pas prédire parfaitement comment un robot se comportera dans le monde réel désordonné. Si vous choisissez simplement le « meilleur » cerveau de la simulation et que vous l'installez sur un robot réel, vous pourriez être surpris.

Pourquoi cela importe pour tout le monde

La partie la plus excitante de ce document n'est pas seulement que le robot marche ; c'est que le robot est accessible. Les auteurs voulaient voir si des chercheurs ordinaires, qui ne travaillent généralement qu'avec du code, pouvaient manipuler un vrai robot. Ils ont emmené l'Open Ant dans une école d'hiver pour des étudiants et des chercheurs ayant très peu d'expérience en robotique.

Le résultat ? En trois jours, cinq équipes différentes d'étudiants ont réussi à construire les robots, à les contrôler et même à transférer des compétences de la simulation à la réalité. Un groupe d'étudiants locaux a noté qu'une fois qu'ils avaient compris comment les pièces s'assemblaient, ils pouvaient assembler l'ensemble du robot en moins de deux heures. S'ils essayaient sans guide, cela leur prenait quatre à six heures, mais ils pouvaient corriger leurs erreurs et continuer.

Le document souligne également la facilité avec laquelle on peut réparer le robot quand les choses tournent mal. Pendant les expériences, les pieds du robot se sont usés et une patte s'est même cassée. Comme les pièces sont imprimées en 3D et que la conception est en open-source, l'équipe a pu imprimer un nouveau pied ou renforcer une patte cassée en quelques minutes. Ils ont même ajouté des « chaussettes » faites d'un matériau souple et adhérent (TPU) aux pieds du robot pour empêcher le glissement et l'usure.

L'essentiel

Le document sur l'« Open Ant » ne prétend pas avoir résolu tous les problèmes de la robotique. Il ne dit pas que les robots peuvent désormais faire tout ce que les humains peuvent faire. Au contraire, il propose un outil pratique et en open-source qui permet à davantage de personnes d'essayer. Il démontre qu'avec un peu de conception intelligente — en utilisant des pièces standard, l'impression 3D et des tâches simples — on peut abaisser la barrière à l'entrée pour les expériences de l'IA dans le monde réel.

Les auteurs suggèrent que cette plateforme permet aux chercheurs de ne plus se soucier de la « charge de travail » liée à la construction de robots pour se concentrer sur la science de l'apprentissage. Que vous soyez un étudiant, un amateur ou un scientifique chevronné, l'Open Ant prouve que l'apprentissage par l'expérience physique n'est plus un luxe réservé aux laboratoires dotés d'équipements coûtant des millions de dollars. C'est quelque chose qui peut se faire dans une salle de classe, un garage ou un petit bureau, avec un robot capable d'apprendre à marcher le temps de préparer une tasse de café.