Enseigner à un robot comment effectuer des tâches physiques délicates dans le monde réel est une entreprise notoirement difficile. Contrairement aux programmes informatiques qui s'exécutent dans un vide numérique parfait, les machines physiques doivent naviguer dans un environnement désordonné où un seul faux mouvement peut briser une pièce, endommager la machine ou simplement bloquer le mécanisme. Pour apprendre à éviter ces pièges, les robots s'appuient traditionnellement sur l'apprentissage par renforcement, un processus d'essais et d'erreurs où la machine tente une action, voit ce qui se passe et ajuste son comportement en fonction d'un signal de récompense. Cependant, dans le monde physique, ce processus est lent et dangereux. Si un robot tente d'insérer une fiche dans une prise et échoue, il peut bloquer le mécanisme ou rayer la surface. De plus, la « récompense » du succès est souvent rare ; le robot peut essayer des milliers de fois avant d'insérer accidentellement la fiche, ce qui rend le processus d'apprentissage incroyablement inefficace. Pour accélérer les choses, les chercheurs se sont précédemment tournés vers des enseignants humains, montrant au robot comment accomplir une tâche ou le guidant physiquement lorsqu'il est bloqué. Mais cette approche présente un défaut majeur : elle nécessite la présence et la vigilance d'un humain pour chaque session d'entraînement, ce qui est épuisant, coûteux et impossible à passer à l'échelle.

Une équipe de chercheurs a développé un nouveau système appelé AutoSERL qui résout ce problème en enseignant à un robot en utilisant une seule démonstration, sans avoir besoin qu'un humain le surveille par la suite. Le système fonctionne en prenant un exemple enregistré d'un humain accomplissant avec succès une tâche et en transformant cet enregistrement en un ensemble de règles automatiques qui guident l'apprentissage du robot. Les chercheurs ont testé cela sur six tâches difficiles différentes, telles que l'insertion de fiches, l'accrochage d'objets sur des crochets et le tirage de tiroirs. Dans chaque cas, le robot a appris à accomplir la tâche parfaitement en utilisant seulement cet exemple initial, surpassant finalement les systèmes qui ont été entraînés avec vingt exemples ou ceux qui dépendaient d'une supervision humaine constante. L'innovation clé est que le robot apprend à reconnaître quand il s'écarte de la trajectoire ou reste bloqué, et il se corrige automatiquement en se référant à la démonstration unique, remplaçant ainsi le besoin d'un enseignant humain.

Le défi central que les chercheurs ont abordé était de savoir comment garder un robot en sécurité et sur la bonne voie sans qu'un humain ne surveille constamment. Dans les méthodes précédentes, un humain intervenait chaque fois que le robot commettait une erreur, déplaçant physiquement celui-ci vers une position sûre ou le guidant vers l'objectif. Cette approche de « l'humain dans la boucle » fonctionnait bien mais n'était pas pratique pour un entraînement à long terme. Le nouveau système, AutoSERL, automatise ce processus d'intervention. Il commence par une trajectoire de démonstration unique, qui est simplement un enregistrement de la main du robot se déplaçant du début d'une tâche jusqu'à sa fin. À partir de cet enregistrement unique, le système extrait trois mécanismes spécifiques pour guider le robot pendant qu'il apprend.

Le premier mécanisme est une fenêtre glissante qui agit comme un rail de guidage mobile. Pendant que le robot tente la tâche, le système compare constamment la position actuelle du robot à le chemin montré dans la démonstration unique. Si le robot s'éloigne trop de la trajectoire correcte, le système le ramène doucement vers le point le plus proche de la ligne de démonstration. Crucialement, ce guide ne tire le robot que vers l'avant le long du chemin ; il ne le tire jamais vers l'arrière vers un endroit qu'il a déjà visité. Cela empêche le robot de rester bloqué dans une boucle, oscillant d'avant en arrière au même endroit, ce qui est un mode d'échec courant lorsque les robots tentent d'apprendre des tâches difficiles par eux-mêmes. Comme la démonstration originale a été enregistrée en toute sécurité, suivre son chemin garantit également que le robot évite de heurter des obstacles dans l'environnement.

Le deuxième mécanisme gère les situations où le robot est physiquement bloqué, peut-être parce qu'une pièce est coincée ou que le robot tient un objet sous un angle maladroit. Le système surveille les progrès du robot et peut détecter s'il a cessé de bouger ou s'il lutte pour interagir avec un objet. Lorsqu'un tel cas se présente, le système guide automatiquement le robot vers un point de récupération spécifique et sûr défini dans la démonmentation originale. À partir de là, il rejoue le segment de la démonstration qui montre comment passer avec succès de ce point sûr à l'étape suivante de la tâche. Cela permet au robot de se remettre d'une impasse instantanément, sans attendre qu'un humain remarque le problème et intervienne.

Le troisième mécanisme est une règle pour savoir quand arrêter d'aider. Le but de l'entraînement est que le robot finisse par apprendre la tâche par lui-même, donc le système est conçu pour désactiver le guidage automatique une fois que le robot a suffisamment appris. Le système compte combien de fois il doit intervenir pendant une session d'entraînement. Si le robot termine la tâche avec succès avec très peu d'interventions, le système suppose que le robot a appris la compétence et désactive tout guidage ultérieur. Cela permet au robot d'explorer et de affiner ses propres mouvements sans être contraint par la démonstration, garantissant qu'il développe une politique robuste et indépendante.

Les chercheurs ont testé ce cadre sur deux bras robotiques effectuant six tâches distinctes. Ces tâches ont été choisies car elles nécessitent un contact physique précis et laissent très peu de place à l'erreur. Les tâches comprenaient l'insertion d'une fiche dans une prise, l'insertion d'une clé USB, l'accrochage d'un distributeur de ruban correcteur, d'un cintre et d'une cuillère sur un crochet, et le tirage d'un tiroir muni d'un crochet. Dans les tâches d'insertion, le robot entraîné avec AutoSERL en utilisant une seule démonstration a atteint un taux de réussite de 100 pour cent. Comparé à d'autres méthodes, les résultats sont clairs. Un système entraîné avec vingt démonstrations n'a pas réussi à atteindre le même niveau de succès dans le même laps de temps. Un système qui se contentait de copier les mouvements de l'humain sans apprendre a échoué à s'adapter à de petits changements de position. Même un système qui reposait sur l'intervention d'un humain chaque fois que le robot se retrouvait bloqué a mis plus de temps à apprendre la tâche, ou a nécessité un temps égal pour obtenir des résultats comparables à l'automatisation.

L'étude a également examiné la capacité du robot à gérer les changements dans l'environnement. Dans un test, les chercheurs ont déplacé de quelques centimètres la position de départ de l'objet que le robot devait brancher. Même avec ce changement, le robot entraîné avec AutoSERL a appris plus rapidement et a été plus performant qu'un robot entraîné sans le guidage automatisé. Cela suggère que le système ne se contente pas de mémoriser le chemin exact emprunté par l'humain ; il apprend la logique sous-jacente de la tâche et peut s'adapter à de nouveaux points de départ. Les chercheurs ont également constaté que le système était robuste face à différentes conditions de départ aléatoires, atteignant systématiquement des taux de réussite élevés quel que soit l'initialisation de l'entraînement.

Bien que les résultats soient impressionnants, les chercheurs reconnaissent que le système a des limites. Le mécanisme de récupération repose sur les informations contenues dans cette démonstration unique. Si un robot rencontre un mode de défaillance qui n'a jamais été présenté dans l'enregistrement original, le système pourrait ne pas savoir comment récupérer. Par exemple, si le robot se retrouve bloqué d'une manière totalement différente de la tâche originale, le guide automatisé pourrait ne pas avoir de solution. Les chercheurs suggèrent que les travaux futurs pourraient impliquer l'utilisation de multiples démonstrations pour créer un système de récupération plus robuste capable de gérer une plus grande variété d'erreurs. De plus, le système actuel est conçu pour des tâches où la main du robot se déplace dans six degrés de liberté, et il n'est pas encore clair à quel point il fonctionnerait pour des actions plus complexes impliquant de nombreuses pièces mobiles.

Malgré ces limites, les conclusions représentent une étape significative vers la rendre l'apprentissage robotique pratique. En remplaçant le besoin d'un enseignant humain par un système intelligent et automatisé qui apprend à partir d'un seul exemple, les chercheurs ont démontré que les robots peuvent être enseignés pour des tâches physiques difficiles de manière efficace et sécurisée. Le système comble avec succès le fossé entre la sécurité du guidage humain et l'indépendance requise pour qu'un robot apprenne par lui-même. Dans les six tâches testées, l'approche automatisée n'a pas seulement égalé la performance de l'entraînement supervisé par l'humain, mais a souvent surpassé les autres bases de comparaison automatisées, prouvant qu'une seule démonstration bien structurée suffit à débloquer le potentiel de l'apprentissage robotique dans le monde réel.