Dans les recoins tranquilles de la robotique moderne, une nouvelle génération de machines apprend à accomplir des tâches délicates, allant de l'empilement de blocs au versement de liquides, guidée par des modèles capables de voir le monde et de comprendre le langage. Ces systèmes, souvent appelés modèles vision-langage-action, sont conçus pour prendre une commande telle que « ramasse la tasse » et la traduire en une série de mouvements physiques. Cependant, apprendre à un robot à bouger n'est que la moitié de la bataille ; l'autre moitié consiste à déterminer s'il l'exécute réellement bien. Traditionnellement, les scientifiques jugeaient ces robots en les regardant tenter une tâche encore et encore sur une table physique, comptant combien de fois ils réussissaient et combien de fois ils échouaient. Cette méthode est lente, épuisante pour les opérateurs humains qui doivent réinitialiser la scène après chaque tentative, et souvent trop grossière pour saisir les différences subtiles entre un succès maladroit et un succès gracieux. Si un robot fait tomber une tasse mais parvient à la ramasser à nouveau, ou s'il vacille violemment avant de poser un objet, un simple label « succès » ou « échec » passe entièrement à côté de l'histoire.

Une équipe de chercheurs a proposé une autre façon de juger ces machines, une approche qui s'éloigne du comptage des têtes pour se concentrer sur l'observation de la performance globale. Leur approche, appelée R2S-Eval, combine deux idées puissantes pour créer un système d'évaluation plus efficace et plus perspicace. Premièrement, ils construisent un jumeau numérique de l'environnement de test du monde réel, une simulation qui est soigneusement calibrée pour correspondre aux mouvements du robot physique et aux objets avec lesquels il interagit. Au lieu de forcer le robot à effectuer des milliers d'essais sur une vraie table, ce qui prendrait des jours de travail humain, l'équipe exécute ces essais à l'intérieur de ce monde informatique de haute fidélité. Cela leur permet de générer des centaines de clips vidéo du robot tentant des tâches en une fraction du temps. La seconde partie de leur méthode consiste à utiliser un système d'intelligence artificielle entraîné à comprendre à la fois les images et le langage pour regarder ces vidéos. Plutôt que de simplement vérifier si la tâche a été accomplie, cette IA agit comme un juge humain, comparant des paires de clips vidéo pour décider quelle performance était la meilleure, la plus fluide ou la plus contrôlée. En agrégeant ces comparaisons par paires, le système produit un classement des politiques du robot qui reflète la qualité du comportement, et non seulement le résultat final.

Les chercheurs ont testé ce pipeline sur une plateforme de robot à deux bras équipée de mains dextres et de plusieurs caméras, lui demandant d'accomplir sept tâches de table différentes, telles que ramasser une balle et la placer dans une boîte, ou empiler des blocs. Ils ont comparé six modèles de contrôle de robot différents, allant de systèmes complexes et volumineux à des systèmes plus petits et plus efficaces. Dans la configuration traditionnelle, l'évaluation de ces modèles nécessiterait que le robot tente chaque tâche des centaines de fois dans le monde réel, avec un opérateur humain surveillant constamment le matériel et réinitialisant les objets. L'équipe a constaté que leur nouvelle méthode pouvait générer les données vidéo nécessaires dans un environnement simulé qui était si étroitement ajusté pour correspondre au monde réel que le comportement du robot dans l'ordinateur était presque identique à son comportement sur la table. Lorsqu'ils ont fait fonctionner le robot dans le monde réel, les taux de réussite des différents modèles étaient très proches des taux observés dans la simulation, avec une différence moyenne d'environ deux points de pourcentage. Cela a confirmé que le jumeau numérique était un substitut fiable de la machine physique, permettant aux chercheurs de sauter les essais matériels fastidieux sans perdre en précision.

Une fois les vidéos collectées, l'équipe s'est tournée vers le juge d'intelligence artificielle pour classer les modèles. Elle a montré à l'IA des paires de vidéos de différents robots effectuant la même tâche et lui a demandé de choisir laquelle semblait la meilleure. L'IA a pris en compte des facteurs tels que la fluidité du mouvement du robot, s'il a hésité, et les progrès réalisés même s'il a finalement échoué. Les résultats ont montré que les classements de l'IA concordaient avec les préférences humaines dans 92 % des cas, une amélioration significative par rapport au simple comptage des succès. Plus important encore, le système a révélé des nuances qu'un test binaire de réussite ou d'échec aurait manquées. Par exemple, dans une expérience, deux robots ont tous deux réussi une tâche, mais l'un l'a fait d'un seul mouvement fluide tandis que l'autre a fait tomber l'objet et a dû réessayer. Une évaluation traditionnelle aurait marqué les deux comme réussis, mais le nouveau système a correctement identifié la performance la plus fluide comme étant supérieure. De même, lorsque deux robots ont tous deux échoué, le système a pu distinguer celui qui avait fait une véritable tentative et s'était bloqué de celui qui avait à peine bougé.

L'étude a également quantifié l'effort humain économisé par cette approche. Dans une évaluation conventionnelle, le temps requis par un opérateur humain croît de manière linéaire avec le nombre d'essais ; si un chercheur souhaite tester un robot vingt fois sur une tâche, il doit consacrer vingt fois plus d'efforts à installer et à réinitialiser la scène. Les chercheurs ont estimé que l'exécution d'une évaluation complète de six modèles sur sept tâches avec vingt essais chacune nécessiterait près de vingt-sept heures de travail humain continu. En transférant la charge de travail lourde vers la simulation calibrée et le juge d'IA automatisé, le pipeline R2S-Eval a éliminé totalement la nécessité de cette opération matérielle répétée. Le système a produit des classements stables qui ne fluctuaient pas de manière erratique à mesure que davantage de données étaient ajoutées, suggérant que la méthode est suffisamment robuste pour être utilisée comme un outil standard pour comparer les futurs designs de robots.

Les conclusions suggèrent que l'avenir de l'évaluation des robots réside moins dans le comptage des succès que dans la compréhension de la qualité du parcours. En utilisant une simulation qui reflète la réalité et une IA capable d'apprécier les subtilités du mouvement, les chercheurs peuvent désormais évaluer les politiques de robot avec un niveau de détail qui était auparavant impossible sans une armée d'observateurs humains. Ce travail ne prétend pas avoir résolu tous les problèmes de la robotique, ni suggère que les simulations sont des remplacements parfaits du monde physique dans tous les contextes. Cependant, il démontre que pour l'objectif spécifique de classer et d'améliorer les comportements robotiques, un environnement numérique soigneusement calibré combiné à une analyse vidéo intelligente peut fournir des informations fiables, détaillées et alignées sur les préférences humaines. Ce changement permet aux scientifiques de passer de la métrique grossière de « est-ce que ça a marché ? » à la question plus significative de « à quel point cela a-t-il bien fonctionné ? », ouvrant la voie à des robots qui ne sont pas seulement fonctionnels, mais véritablement habiles.