From Pixels to Registers: A Multi-Modal Testing Framework for Chained Perception, Control and Firmware

Les robots qui apprennent à voir le monde apprennent souvent les mauvaises choses. Lorsque les ingénieurs entraînent un robot à l'aide de photographies, la machine apprend à reconnaître des textures spécifiques, des conditions d'éclairage et la nuance exacte du sol de sa salle d'entraînement. Si le robot est ensuite déplacé dans une nouvelle pièce avec un éclairage différent ou un motif de sol différent, il échoue souvent, non pas parce qu'il ne peut pas voir la forme d'un obstacle, mais parce que les pixels sont différents. La solution standard a consisté à fournir au robot de plus en plus d'images variées, en espérant qu'il finisse par apprendre à ignorer les distractions. Cependant, une nouvelle approche suggère une voie différente : au lieu d'apprendre au robot à ignorer le bruit, il suffit de supprimer le bruit avant même qu'il ne le voie. En supprimant la couleur, la texture et les ombres, et en présentant au robot un contour épuré du monde, les chercheurs peuvent lui apprendre à se concentrer sur la géométrie qui importe réellement pour le mouvement.

Un chercheur a construit un système de test pour prouver que cette idée fonctionne, créant un pont entre ce que voit un robot et la façon dont il se déplace. Son travail se concentre sur un processus en deux étapes. Dans la première étape, un programme informatique prend une photographie réaliste et la convertit en un simple dessin au trait associé à une carte identifiant les objets par numéro. Cette abstraction élimine tout le désordre visuel. Dans la deuxième étape, un système de contrôle apprend à conduire le robot en utilisant uniquement ces contours nets. Comme le système de contrôle ne voit jamais de photographie, il ne peut pas apprendre accidentellement à dépendre d'une couleur de sol spécifique ou d'une ombre. Il apprend seulement la forme du monde. Pour tester cela, le chercheur a construit un simulateur qui génère ces images alignées et, de manière cruciale, exécute le logiciel de commande réel du robot à l'intérieur de l'ordinateur. Cela leur permet de voir si le cerveau du robot peut traduire un croquis simple en commandes physiques réelles qui fonctionnent sur une machine.

Le chercheur a découvert que cette méthode produit des données exploitables, même avec une très petite quantité de celles-ci. Ils ont entraîné un réseau de perception sur seulement 479 images pour transformer des photos en dessins au trait. Bien que le réseau ne soit pas parfait pour dessiner chaque ligne, il a réussi à captir les formes et les silhouettes essentielles de la scène. Plus important encore, ils ont testé une politique de contrôle qui n'avait jamais vu de photographie de sa vie. Cette politique a été entraînée pour imiter un conducteur expert qui connaissait l'emplacement exact de chaque objet. Lorsque la politique de contrôle n'a reçu que les dessins au trait et les cartes sémantiques, elle a guidé avec succès le robot vers son objectif dans tous les scénarios de test, huit sur huit. En revanche, un robot qui avançait simplement tout droit sans braquer a échoué à atteindre l'objectif dans ces mêmes scènes. Cela a prouvé que l'entrée visuelle simplifiée contenait suffisamment d'informations pour que le robot puisse naviguer efficacement, bien que l'auteur avertisse que ces résultats proviennent d'une expérience à petite échelle et doivent être considérés comme la preuve que l'appareil produit des données exploitables plutôt que comme des résultats compétitifs.

Le chercheur a également découvert que ses hypothèses initiales sur les raisons pour lesquelles le système pourrait échouer étaient incorrectes. Il avait d'abord suspecté que le robot échouait parce qu'il manquait de données d'entraînement, mais doubler la quantité de données a en fait aggravé les performances. Il a ensuite suspecté que le « cerveau » du robot était trop petit pour comprendre les images, mais le vrai problème était la façon dont le robot traitait l'information. Le système faisait la moyenne de toute l'image en un seul nombre, ce qui lui indiquait si l'objectif était visible mais pas où il se trouvait. Une fois qu'ils ont modifié le système pour qu'il garde une trace de la position horizontale des objets, le robot est passé d'un échec total à un succès systématique. Cela a mis en évidence que pour qu'un robot puisse diriger, il doit savoir de quel côté se trouve l'objectif, et pas seulement que l'objectif existe.

Pour s'assurer que les commandes du robot fonctionnaient réellement, le chercheur a construit une porte de test rigoureuse qui vérifiait le logiciel du robot à un niveau très bas. Ils ont exécuté les mêmes commandes à travers deux systèmes différents : l'un simulant le résultat physique de la rotation d'un moteur, et un autre simulant les registres électroniques à l'intérieur du contrôleur du moteur lui-même. Ils ont découvert que les deux systèmes ne concordaient pas toujours. Par exemple, lorsqu'on demandait au robot de se déplacer très lentement, la simulation simple disait qu'il bougerait un tout petit peu, mais la simulation électronique détaillée montrait que le moteur ne bougerait pas du tout car la commande était trop faible pour surmonter la résistance interne du moteur. Cela a révélé que les simulations simples peuvent masquer des échecs critiques qui n'apparaissent que lorsque le logiciel interagit avec la physique réelle du matériel.

Malgré ces succès, le chercheur note prudemment que ses résultats sont spécifiques à cette simulation contrôlée. Le robot a été testé dans un environnement virtuel, et la preuve finale — montrant que cette méthode fonctionne mieux que l'entraînement traditionnel basé sur des photos lorsque le monde réel change — n'a pas encore été démontrée. Le système qu'ils ont construit est un outil pour tester cette idée, et non la réponse finale elle-même. Ils ont montré qu'un robot peut apprendre à conduire en utilisant uniquement des croquis et que leur cadre de test peut détecter des erreurs subtiles dans le logiciel que d'autres méthodes ignorent. Ce travail transforme une idée théorique en une expérience mesurable, prouvant qu'en simplifiant ce qu'un robot voit, nous pouvons rendre sa compréhension du monde plus robuste et son contrôle plus fiable.