Les robots ont longtemps lutté pour comprendre la différence entre une commande et une réalité. Pendant des décennies, les ingénieurs pouvaient programmer une machine pour déplacer son bras avec une précision parfaite, mais cette machine ne pouvait pas comprendre une phrase simple comme « ramasse la tasse rouge ». Ces dernières années, un nouveau type d'intelligence artificielle est apparu pour combler ce fossé. Ces systèmes, connus sous le nom de modèles vision-langage-action, sont entraînés sur des quantités massives de données pour comprendre comment les mots, les images et les mouvements physiques se connectent. Ils peuvent observer une scène, lire une requête et décider de ce qu'ils doivent faire, offrant un aperçu d'un futur où l'on pourra dire aux robots quoi faire en anglais courant plutôt que par des instructions codées. Cependant, un problème persistant demeure : ces modèles sont souvent entraînés sur un robot spécifique dans un environnement contrôlé, et lorsque les chercheurs tentent de les utiliser sur une machine différente, même légèrement différente, le robot échoue souvent. Il peut parfaitement comprendre les mots, mais rater l'acte physique de saisir un objet, ou pire, il peut oublier comment suivre les instructions lorsqu'il est forcé d'apprendre une nouvelle tâche.

Une équipe de chercheurs de l'Université de l'Illinois à Urbana-Champaign a trouvé un moyen de résoudre cela sans avoir besoin de collecter des milliers d'heures de nouvelles démonstrations humaines. Ils ont découvert que lorsqu'un robot échoue à accomplir une tâche, ses tentatives ratées contiennent tout de même des informations précieuses. En laissant le robot essayer de faire des choses par lui-même et en apprenant de ces tentatives, ils peuvent lui enseigner de nouvelles compétences tout en préservant sa capacité à comprendre le langage. Leur approche implique un processus en deux étapes. D'abord, ils prennent un « cerveau » de robot pré-entraîné et lui montrent une petite quantité de données d'expert — seulement quatorze minutes d'un humain guidant le robot à travers une tâche spécifique, comme ramasser un cube. Cela enseigne au robot les compétences motrices fines nécessaires pour cette machine spécifique. Mais s'ils s'arrêtent là, le robot oublie tout ce qu'il savait auparavant, comme placer un objet ailleurs ou manipuler différents types d'articles. Pour résoudre cela, les chercheurs laissent le robot s'exercer seul en utilisant les instructions qu'il comprend déjà. Ils ont demandé au robot d'essayer diverses tâches qu'il avait déjà vues, ont enregistré ce qu'il faisait, et ont utilisé ces enregistrements comme données d'entraînement supplémentaires. Cette méthode, qu'ils appellent apprentissage auto-supervisé, permet au robot de répéter ses anciennes compétences tout en apprenant de nouvelles, empêchant ainsi efficacement l'oubli de ce qu'il savait déjà.

Les résultats de cette expérience ont été frappants. Lorsque l'équipe a testé leur méthode sur un vrai robot à deux bras, le robot a appris à ramasser des objets et à les placer dans des paniers avec des taux de réussite élevés, même pour des tâches qu'on ne lui avait jamais explicitement enseignées par un humain. Dans un ensemble de tests, un robot entraîné uniquement sur des démonstrations humaines pour ramasser des objets a complètement oublié comment les placer, échouant à déplacer l'objet vers un contenant 100 % du temps. Lorsque les chercheurs ont ajouté les propres données de pratique auto-générées du robot à l'entraînement, le taux de réussite pour le placement d'objets est passé à 55 %, et la capacité du robot à suivre les instructions s'est considérablement améliorée. Le robot n'a pas seulement appris à saisir des choses ; il a appris à comprendre la phrase complète, sachant quand s'arrêter après avoir ramassé quelque chose et quand se déplacer vers un second emplacement pour le déposer. Cela était vrai même lorsque les objets étaient nouveaux ou que la disposition des articles dans la pièce était différente de ce que le robot avait vu auparavant.

Les chercheurs ont également testé cette idée dans un environnement simulé, un monde numérique où les robots peuvent apprendre rapidement sans le risque de briser du matériel. Dans ces simulations, ils ont constaté qu'entraîner le robot sur de nouvelles tâches en utilisant uniquement des données humaines provoquait la perte de sa capacité à effectuer les anciennes tâches, les taux de réussite chutant de plus de 90 % à moins de 17 %. En mélangeant les propres données de pratique auto-générées du robot, ils ont récupéré la capacité d'effectuer les anciennes tâches, faisant remonter les taux de réussite à plus de 70 %, tout en améliorant les performances sur les nouvelles tâches. Cela suggère que les propres tentatives du robot, même lorsqu'elles échouent, portent une sorte de mémoire du monde physique qui l'aide à rester flexible. L'équipe a noté que cette approche est particulièrement utile car elle ne nécessite pas l'accès aux ensembles de données massifs originaux utilisés pour entraîner le robot, qui sont souvent gardés secrets par les entreprises qui les créent. Au lieu de cela, le robot génère son propre matériel d'apprentissage directement sur le plancher de l'usine ou dans la maison.

L'une des découvertes les plus surprenantes fut la manière dont cette méthode préservait la capacité du robot à gérer des tâches pour lesquelles il n'avait pas été entraîné. Les chercheurs ont testé une compétence appelée « pousser », qui ne faisait pas partie des données d'entraînement, ni pour les démonstrations humaines, ni pour les pratiques auto-générées. Un robot entraîné uniquement sur des données humaines pour ramasser et placer des objets avait tendance à ignorer l'instruction de pousser et essayait plutôt de ramasser l'objet, échouant ainsi à la tâche. Le robot entraîné avec la méthode auto-supervisée, cependant, comprenait correctement l'instruction de pousser et exécutait le mouvement 70 % du temps. Cela indique que l'approche auto-supervisée aide le robot à conserver sa compréhension plus large du mouvement, plutôt que de la remplacer par un ensemble étroit d'habitudes. Les chercheurs ont observé que le robot pouvait même gérer des situations complexes, comme se retourner pour regarder derrière lui lorsqu'un objet n'était plus en vue, un comportement que le robot entraîné uniquement sur des données humaines ne présentait pas.

L'étude met en lumière un changement fondamental dans la manière dont les robots peuvent être adaptés à de nouveaux environnements. Au lieu de considérer les échecs d'un robot comme un bruit inutile, les chercheurs les ont traités comme une ressource. En utilisant les propres actions du robot comme une forme de répétition, ils ont créé un système qui est à la fois adaptable et robuste. L'équipe a démontré qu'avec un tout petit peu de guidage humain, combiné à la propre pratique du robot, une seule politique peut apprendre à effectuer une grande variété de tâches sur une nouvelle machine. Cette approche résout le problème de « l'oubli catastrophique », où l'apprentissage de quelque chose de nouveau provoque la perte de tout ce que le système savait auparavant. Les chercheurs ont découvert que cette méthode fonctionne non seulement pour des tâches simples comme empiler des blocs, mais aussi pour des tâches complexes impliquant beaucoup de contacts, comme insérer des engrenages dans un panneau mobile, où le taux de réussite est passé de 30 % à 90 %.

Bien que la méthode soit puissante, les chercheurs reconnaissent qu'elle n'est pas parfaite. Le robot hérite parfois de petits défauts de ses propres données auto-générées, comme rester bloqué dans une boucle consistant à ramasser et reposer un objet, ou traîner le bord d'un panier en essayant de placer du linge à l'intérieur. Ces problèmes surviennent parce que le robot apprend de ses propres tentatives imparfaites. Pour éviter les comportements dangereux, les chercheurs ont filtré manuellement les pires exemples avant de les utiliser pour l'entraînement, mais ils ont noté que l'automatisation de ce processus serait une étape nécessaire pour passer à l'échelle technologique. Malgré ces limites, ce travail offre une voie prometteuse pour rendre les robots plus pratiques et plus faciles à déployer. Il suggère que la clé d'un robot polyvalent ne réside pas seulement dans la collecte de plus de données humaines, mais dans l'enseignement à la machine comment apprendre de ses propres expériences, lui permettant de transporter ses connaissances avec elle lorsqu'elle passe d'une tâche à une autre.