Geo-Reflex: Geometry-Gated Spiking Visuomotor Policy Learning for High-Frequency Robot Manipulation

Les robots qui se déplacent avec une vitesse et une précision semblables à celles de l'humain sont confrontés à un problème fondamental : leurs yeux et leurs muscles ne parlent pas la même langue. Les caméras qui donnent au robot sa vue ne mettent généralement à jour leur vision du monde que dix à trente fois par seconde, tandis que les moteurs qui contrôlent ses articulations doivent ajuster leur position des centaines de fois par seconde pour rester stables et en sécurité. Pendant des années, les ingénieurs ont tenté de résoudre ce problème en forçant les données visuelles lentes et les données musculaires rapides à s'aligner parfaitement dans le temps, ce qui revient essentiellement à faire attendre le robot que la caméra rattrape son retard avant qu'il puisse bouger. Cette approche gaspille l'information rapide et instantanée qui indique précisément à un robot quand il est sur le point de toucher quelque chose, ce qui conduit souvent à des actions maladroites ou retardées.

Une équipe de chercheurs de l'Université de la ville de Dongguan a proposé une autre façon de gérer ce décalage, en traitant la vision et le mouvement du robot comme deux flux distincts mais connectés, plutôt que comme un seul bloc de données synchronisées. Ils ont développé un nouveau système de contrôle appelé Geo-Reflex, qui utilise un type d'informatique inspirée du cerveau pour permettre aux articulations du robot, en mouvement rapide, de réagir instantanément tout en utilisant les images plus lentes de la caméra uniquement pour décider où porter son attention. Au lieu de fournir au robot une image complète du monde à chaque fois qu'il bouge, le système examine la forme et les contours des objets dans la vue de la caméra pour définir un niveau de sensibilité. Lorsque le bras du robot se déplace près d'un bord tranchant ou d'un coin, le système devient extrêmement sensible aux minuscules changements de position du bras. Lorsque le bras se déplace sur un espace plat et vide, le système ignore le bruit visuel et se concentre uniquement sur le mouvement fluide. Cela permet au robot de se déplacer à grande vitesse sans attendre une nouvelle image de la caméra, tout en utilisant l'information visuelle pour guider sa main précisément là où elle doit aller.

Les chercheurs ont testé cette idée sur un ensemble de données de mouvements réels de robots enregistrés à partir d'un bras humanoïde équipé d'une caméra de détection de profondeur. Ils ont comparé leur nouveau système à plusieurs méthodes existantes, y compris des modèles d'intelligence artificielle standard qui attendent des données synchronisées et d'autres réseaux inspirés du cerveau qui n'utilisent pas ce filtrage visuel spécial. Les résultats ont montré que la nouvelle approche était nettement plus précise pour prédire les mouvements corrects du bras. Dans leurs tests, le système a commis moins d'erreurs que la meilleure méthode précédente par une marge faible mais constante, et il était bien plus précis que les réseaux standards inspirés du cerveau qui tentent de traiter toutes les données à la fois. Plus important encore, le nouveau système était beaucoup plus efficace. Il n'activait ses signaux internes que lorsque cela était nécessaire, spécifiquement lorsque le bras du robot se trouvait à proximité des bords géométriques des objets, plutôt que de s'activer constamment. Cette activité sélective a réduit le nombre de signaux que l'ordinateur devait traiter d'environ trente-cinq pour cent par rapport aux anciennes méthodes, suggérant que le robot pourrait fonctionner plus rapidement et consommer moins d'énergie.

Pour comprendre pourquoi cela fonctionne, il est utile de regarder comment le système traite l'information. La caméra prend une image et la décompose immédiatement pour trouver les contours des objets, ignorant les couleurs et les textures qui pourraient être distrayantes. Ces contours sont ensuite utilisés pour ajuster le « seuil » des neurones de prise de décision internes du robot. Considérez ce seuil comme une porte qui contrôle la facilité avec laquelle un neurone peut envoyer un signal. Dans les zones où la caméra voit un bord net, la porte est abaissée, rendant le neurone très sensible aux petits mouvements du bras du robot. Dans les zones où la caméra voit un arrière-plan plat et sans relief, la porte est relevée, indiquant au neurone d'ignorer les fluctuations mineures. Cela signifie que les articulations à mouvement rapide du robot peuvent continuer à mettre à jour leur position des centaines de fois par seconde, mais que le système visuel n'intervient pour affiner l'action que lorsque la géométrie de la scène l'exige. Le système comprend également un chemin direct pour les parties fluides et prévisibles du mouvement, garantissant que le robot ne surréagit pas au bruit visuel.

L'étude a également testé la capacité du système à résister lorsque l'entrée visuelle est désordonnée ou bruitée, simulant un éclairage médiocre ou une distorsion de la caméra. Dans ces conditions difficiles, le nouveau système a maintenu sa précision bien mieux que les autres, ne se dégradant que de moitié par rapport aux réseaux standards inspirés du cerveau. Cela suggère qu'en se concentrant uniquement sur la structure géométrique du monde plutôt que sur les données brutes de pixels, le robot devient plus robuste face aux erreurs visuelles qui confondent souvent les autres systèmes. De plus, lorsque les chercheurs ont simulé un scénario où le robot devait prédire une séquence de mouvements futurs basés sur son état actuel, le nouveau système a accumulé les erreurs beaucoup plus lentement que la concurrence. Cela indique que la méthode aide le robot à maintenir une compréhension stable de ses actions au fil du temps, ce qui est crucial pour les tâches nécessitant de longues chaînes de mouvements précis.

Les chercheurs reconnaissent que leur travail a été testé à l'aide de données enregistrées à partir d'un robot plutôt que sur un robot vivant effectuant des tâches dans le monde réel, de sorte que les résultats montrent la capacité du système à prédire des actions plutôt qu'à prouver qu'il peut saisir avec succès des objets dans un environnement physique. Cependant, la cohérence des résultats à travers de multiples tests et l'amélioration évidente de l'efficacité suggèrent que cette façon de combiner vision et mouvement est une direction prometteuse pour l'avenir. En laissant l'horloge interne rapide du robot fonctionner indépendamment tout en utilisant la caméra plus lente uniquement pour fixer les règles de l'engagement, Geo-Reflex offre une solution pratique au décalage temporel qui a longtemps limité la vitesse et la dextérité des robots. Les conclusions suggèrent que pour que les robots se déplacent aussi fluidement que les humains, ils devront peut-être cesser d'essayer de voir et de bouger exactement à la même vitesse, et plutôt apprendre à laisser leurs yeux guider leurs mains uniquement lorsque la forme du monde l'exige.