Les robots capables de naviguer dans une pièce encombrée, de ramasser un outil spécifique et de le tendre à un humain nécessitent une sorte d'intelligence qui mêle la vision, la compréhension et le mouvement. Pendant des années, des chercheurs ont construit des systèmes combinant un cerveau visuel puissant, capable de reconnaître des objets et de lire des instructions, avec un module de contrôle distinct qui traduit ces pensées en mouvements précis des bras et des mains du robot. Cette approche en deux parties a permis aux machines d'accomplir des tâches de plus en plus complexes, allant de l'empilement de blocs à l'assemblage de dispositifs simples. Cependant, une question critique persistait : la partie du robot qui déplace réellement les membres voit-elle le monde de la même manière que la partie qui pense ? Si l'information visuelle se perd ou s'estompe lors de son passage du cerveau « pensant » au corps « mobile », le robot peut comprendre qu'une tasse est sur une table, mais peut échouer à la saisir parce qu'il ne parvient pas à juger précisément la distance ou la forme de l'objet.

Une équipe de chercheurs a identifié exactement où se produit cette rupture et a conçu une solution pour la corriger. Ils ont découvert que, dans les systèmes robotiques avancés actuels, la dernière couche d'information visuelle transmise au module de contrôle est fortement biaisée vers le langage et les noms d'objets, tandis que les détails cruciaux sur la profondeur et l'espace tridimensionnel sont laissés de côté. Pour résoudre ce problème, ils ont développé une nouvelle méthode appelée V-Link, qui agit comme un pont pour récupérer ces détails spatiaux perdus avant que le robot ne tente de bouger. En enseignant explicitement au système à séparer et à préserver à la fois le « quoi » (l'identité de l'objet) et le « où » (sa position exacte dans l'espace 3D), les chercheurs ont permis aux robots d'accomplir des tâches de manipulation délicates avec des taux de réussite nettement plus élevés. Lors de tests impliquant à la fois des simulations informatiques et des robots humanoïdes réels, cette approche a permis aux machines de réaliser des tâches avec lesquelles elles éprouvaient auparavant des difficultés, comme actionner un interrupteur ou naviguer dans des environages complexes, prouvant que la restauration de la richesse complète de la perception visuelle est essentielle pour une action robotique précise.

Le cœur du problème réside dans la structure des cerveaux de robots modernes. Ces systèmes utilisent généralement un grand modèle pré-entraîné pour traiter les images et le langage, générant un ensemble final de caractéristiques qui résument la scène. Ce résumé est ensuite transmis à un contrôleur distinct qui décide de la manière dont le robot doit bouger. Les chercheurs ont découvert que, bien que ce résumé soit excellent pour identifier les objets, il est étonnamment médiocre pour transmettre la réalité géométrique de la scène. Lorsqu'ils ont testé la capacité du contrôleur à estimer la profondeur ou à segmenter des objets sur la base de ce seul résumé, les résultats étaient faibles. Le contrôleur semblait prendre un raccourci, s'appuyant sur les étiquettes sémantiques des objets plutôt que sur leur forme physique et leur distance. Cela s'apparente à un conducteur qui connaît le nom de chaque rue mais ne peut pas juger la distance du véhicule devant lui ; la connaissance est là, mais l'application pratique fait défaut.

Pour remédier à cela, les chercheurs ont introduit un mécanisme qui force le système à apprendre et à préserver explicitement deux types distincts d'informations visuelles : l'une axée sur la géométrie de la scène et l'autre sur sa signification sémantique. Ils ont ajouté des jetons (tokens) apprenables spéciaux — essentiellement des questions dédiées que le système se pose lui-même — dans l'étape de traitement visuel. Un ensemble de jetons est entraîné pour se concentrer entièrement sur la profondeur et les relations spatiales, tandis que l'autre se concentre sur l'identification des objets et de leurs catégories. Crucialement, ces jetons sont entraînés à l'aide de tâches auxiliaires pendant le processus d'apprentissage, telles que la prédiction de la carte de profondeur d'une scène ou la segmentation de différents objets, mais ces tâches supplémentaires sont supprimées une fois que le robot est déployé. Cela garantit que le robot apprend à intérioriser ces détails spatiaux et sémantiques sans avoir besoin d'effectuer les calculs supplémentaires en temps réel.

Une fois ces représentations spécialisées apprises, elles sont injectées dans le module de contrôle du robot par une voie soigneusement conçue. Le système ne se contente pas de mélanger toutes les informations ensemble ; il utilise une approche asymétrique où l'information sémantique complète les données visuelles standards, tandis que l'information spatiale bénéficie d'un canal dédié pour conditionner les mouvements du robot. Cette conception garantit que le contrôleur ne peut ignorer la géométrie 3D de la scène. Le résultat est un robot qui non seulement sait ce qu'il regarde, mais comprend également exactement où il se trouve dans l'espace par rapport à son propre corps.

L'impact de cette récupération a été immédiat et mesurable à travers une variété de scénarios exigeants. Dans une série de simulations impliquant des tâches telles que le déplacement d'objets, le placement d'articles et la prise de contact avec des surfaces, la nouvelle méthode a nettement surpassé les modèles de pointe précédents. Sur un test de référence, le taux de réussite a bondi de plus de trente pour cent, et sur un autre, il s'est amélioré de près de dix-neuf pour cent. L'amélioration n'était pas seulement une question de rapidité d'exécution des tâches ; il s'agissait de la capacité à gérer une manipulation fine nécessitant une perception précise de la profondeur. Lors de tests en conditions réelles avec un robot humanoïde, le système a complété avec succès des tâches d'allumage et d'extinction autonomes avec des taux de réussite respectifs de quatre-vingt-dix-huit pour cent et quatre-vingt-quatorze pour cent, un saut substantiel par rapport au modèle de base.

Peut-être plus important encore, cette amélioration s'est faite presque sans coût pour la vitesse du robot. Les chercheurs ont calculé que la nouvelle méthode n'ajoutait qu'une fraction de milliseconde au temps nécessaire pour que le robot prenne une décision. Cette efficacité est vitale pour la robotique pratique, où les délais peuvent entraîner une instabilité ou un échec. En récupérant les représentations visuelles perdues sans ralentir le système, les chercheurs ont démontré que le goulot d'étranglement de la manipulation robotique n'était pas un manque de puissance de calcul, mais un fossé dans la manière dont l'information visuelle était transférée de la perception à l'action. Ces travaux suggèrent que pour que les robots maîtrisent véritablement le monde physique, ils doivent avoir accès à tout le spectre des indices visuels, garantissant que leur compréhension d'une scène soit aussi riche et détaillée que leur capacité à s'y mouvoir.