Les bras robotiques deviennent de plus en plus courants dans les usines et les laboratoires, chargés de tâches délicates comme l'assemblage d'électronique ou le tri d'objets. Pour que ces machines fonctionnent bien, elles ont besoin d'un « cerveau » capable de décider exactement comment bouger ses articulations en fonction de ce que voient ses caméras. Ce processus de prise de décision se produit en une fraction de seconde, de manière répétée, tandis que le robot réagit à un monde changeant. Le défi réside dans le fait que le monde réel est désordonné et imprévisible. Une vue unique d'un bloc sur une table pourrait permettre plusieurs façons différentes de le saisir, selon les mouvements précédents du robot ou de légers changements d'éclairage. Pour gérer cette incertitude, les chercheurs ont développé des systèmes qui ne se contentent pas de choisir une seule réponse, mais apprennent plutôt une gamme d'actions possibles et valides. Les systèmes les plus performants à ce jour utilisent une méthode qui fonctionne comme un sculpteur lent et méticuleux : ils partent d'une supposition aléatoire et la raffinent progressivement, étape par étape, jusqu'à ce que l'action paraisse parfaite. Bien que cette approche produise des mouvements de haute qualité, elle est lente. Le robot doit faire fonctionner son cerveau informatique de nombreuses fois pour chaque mouvement qu'il effectue, créant un délai qui le rend trop lent pour les tâches rapides en temps réel ou pour l'apprentissage de nouvelles compétences par essais et erreurs.

Une équipe de chercheurs a maintenant trouvé un moyen de rendre ces cerveaux robotiques intelligents tout aussi capables, mais nettement plus rapides. Ils ont développé un nouveau système qui produit les mêmes plans d'action de haute qualité et à options multiples en un seul instant, plutôt qu'en prenant des dizaines d'étapes pour les affiner. Dans leurs travaux, ils ont montré qu'en modifiant la façon dont le robot apprend pendant l'entraînement, ils pouvaient lui apprendre à sauter entièrement le processus de raffinement lent. Au lieu d'apprendre à corriger ses erreurs après les avoir commises, le robot apprend à donner la bonne réponse dès la première tentative. Testée sur une suite de douze tâches robotiques différentes, cette nouvelle méthode a atteint un taux de réussite moyen plus élevé que les anciens systèmes plus lents, tout en réduissant le temps nécessaire pour prendre une décision de cent calculs informatiques à un seul. Cette accélération n'est pas seulement une amélioration théorique ; sur un robot physique à deux bras dans un laboratoire réel, le nouveau système a accompli 82 % de ses tâches, contre 59 % pour la meilleure méthode précédente en une seule étape, tout en réagissant assez vite pour contrôler le robot en temps réel.

Le cœur de cette percée réside dans la façon dont le robot apprend à partir d'exemples. Les méthodes traditionnelles qui produisent des actions de haute qualité reposent souvent sur un processus appelé débruitage itératif. Imaginez un robot essayant de trouver la meilleure façon de ramasser une tasse. Les anciens systèmes pourraient partir d'une position de main complètement aléatoire, puis rapprocher lentement la main de la tasse, vérifier leur travail, la rapprocher à nouveau, et répéter ce cycle de nombreuses fois jusqu'à ce que la main soit à l'emplacement parfait. Cela garantit que le robot trouve une bonne solution, mais cela prend du temps. La nouvelle approche, que les chercheurs appellent une politique basée sur la dérive (drift-based policy), inverse cette logique. Au lieu de raffiner la réponse pendant le moment de l'action, le robot apprend à internaliser l'intégralité du processus de correction pendant qu'il est en cours d'entraînement. Pendant l'entraînement, le système est confronté à de nombreux exemples de mouvements réussis et apprend à prédire comment une supposition aléatoire dériverait vers une réponse correcte. Il apprend à absorber ces corrections dans ses propres paramètres internes afin que, lorsqu'il est enfin déployé, il n'ait pas besoin de suivre ces étapes lentes et incrémentales. Il produit simplement l'action finale corrigée immédiatement.

Pour prouver l'efficacité de cette idée, les chercheurs l'ont testée sur une grande variété de défis. Ils ont commencé par un ensemble standard de douze tâches de simulation impliquant la poussée de blocs, le levage d'objets et la manipulation d'outils. Les anciens systèmes multi-étapes nécessitaient que l'ordinateur exécute son réseau cent fois pour décider d'un seul mouvement. Le nouveau système effectue le même travail en une seule exécution. Le résultat est un système non seulement cent fois plus rapide, mais aussi légèrement plus performant globalement, atteignant un taux de réussite moyen de 83 % contre 79 % pour les méthodes plus lentes. Cela a démontré que la vitesse ne se faisait pas au détriment de la qualité ; le robot était tout aussi bon pour la tâche, mais beaucoup plus efficace.

Les chercheurs ont ensuite poussé le système plus loin pour voir s'il pouvait gérer des environnements tridimensionnels plus complexes où le robot voit le monde comme un nuage de points plutôt que comme une image plate. Ils l'ont testé sur trente-sept tâches différentes, allant de la manipulation simple d'objets à des tâches de dextérité difficiles comme utiliser un marteau ou tourner une poignée de porte. Dans ces tests, le nouveau système a de nouveau surpassé les meilleures méthodes existantes conçues pour la vitesse en une seule étape. Il a atteint un taux de réussite moyen de 88,4 %, battant de manière significative le meilleur système précédent en une seule étape. Cela a montré que la méthode était suffisamment robuste pour gérer la complexité de la vision 3D du monde réel sans nécessiter le lent raffinement multi-étapes qui était auparavant considéré comme nécessaire pour des tâches aussi difficiles.

Cependant, un robot qui est bon pour copier des démonstrations humaines n'est pas toujours bon pour résoudre de nouveaux problèmes ou se remettre de ses erreurs. Pour remédier à cela, les chercheurs ont ajouté une seconde étape à leur cadre de travail, permettant au robot d'apprendre via l'apprentissage par renforcement en ligne. Il s'agit d'un processus par lequel le robot tente d'améliorer ses performances en interagissant avec l'environnement et en recevant un retour sur son succès, plutôt qu'en se contentant de copier de vieilles vidéos. Le défi ici était que les algorithmes d'apprentissage standards nécessitent généralement que le système calcule la probabilité de chaque action possible, ce qui est difficile pour ces générateurs rapides en une seule étape. L'équipe a résolu ce problème en créant une interface spéciale qui permettait au robot d'apprendre de ses expériences tout en conservant sa nature rapide en une seule étape. Ils ont constaté que cette approche permettait au robot d'affiner ses compétences efficacement, améliorant ses performances sur des tâches pour lesquelles il avait été initialement entraîné uniquement sur des démonstrations humaines.

Le test final a sorti le système de la simulation informatique pour l'amener sur un robot physique dans un laboratoire réel. Ils ont monté le système sur un robot à deux bras, similaire à un humain, et lui ont demandé d'effectuer des tâches comme soulever un bloc, porter une canette et déplacer des objets entre les deux bras. Le robot devait réagir aux informations visuelles provenant des caméras en temps réel, sans intervention humaine. Le système fonctionnait avec un délai moyen de seulement 9,5 millisecondes entre la perception du monde et le mouvement du bras, une vitesse suffisante pour un contrôle à haute fréquence. Lors d'une série d'essais, le robot a réussi 123 tentatives sur 150, soit un taux de réussite de 82 %. En comparaison, le meilleur système précédent en une seule étape n'a réussi que 89 tentatives sur 150, soit 59 %. Les échecs qui se sont produits étaient principalement dus à des problèmes physiques comme le glissement de l'objet ou la collision des deux bras, plutôt qu'à un échec du système de prise de décision lui-même.

Ce travail suggère que le compromis entre vitesse et intelligence dans le contrôle robotique n'est pas aussi figé qu'on le pensait autrefois. En déplaçant la charge du raffinement du moment de l'action vers le temps de l'apprentissage, il est possible de créer des contrôleurs robotiques qui sont à la fois hautement capables et incroyablement rapides. Les chercheurs ont démontré qu'un robot n'a pas besoin de passer du temps à réfléchir à ses options étape par étape pour prendre une bonne décision ; il peut apprendre à prendre la bonne décision instantanément. Cela ouvre la voie à des robots capables d'opérer à la vitesse des réflexes humains, apprenant et s'adaptant en temps réel aux environnements complexes et imprévisibles de notre monde. Le code de ce nouveau système a été mis à la disposition d'autres chercheurs, permettant à la communauté de construire sur cette base de contrôle génératif rapide.