Les robots luttent depuis longtemps pour se déplacer avec la grâce fluide d'une main humaine. Alors que l'intelligence artificielle moderne peut désormais écrire de la poésie, diagnostiquer des maladies et générer des images éblouissantes, donner à une machine la capacité de manipuler physiquement le monde reste un défi tenace. Le cœur du problème réside dans la manière dont les ordinateurs comprennent le mouvement. Contrairement au texte, qui est composé de lettres distinctes, ou aux images, qui sont composées de pixels, les actions physiques d'un bras robotique sont des flux de données continus. Un bras robotique ne passe pas simplement d'une position à une autre ; il traverse un nombre infini de petites positions intermédiaires. Pour enseigner à un robot en utilisant les puissants modèles de langage qui pilotent l'IA d'aujourd'hui, les ingénieurs doivent d'abord traduire ce mouvement fluide et continu en une série d'étapes discrètes, un peu comme si l'on transformait un fleuve en mouvement en un chapelet de perles individuelles. Ce processus de traduction est connu sous le nom de tokenisation. Si la traduction est trop grossière, le robot perd les détails fins de son mouvement, ce qui entraîne des actions saccadées et imprécises qui échouent lors de tâches délicates. Si la traduction est trop complexe, l'ordinateur ne peut pas la traiter assez rapidement pour réagir en temps réel.

Pendant des années, les chercheurs ont tenté de résoudre ce problème de traduction, mais les méthodes existantes forcent souvent un pion carré dans un trou rond. Certaines approches traitent chaque mouvement comme une simple liste de catégories fixes, ignorant ainsi la subtilité du rythme et des relations entre les étapes. D'autres tentent de compresser les données en regroupant les mouvements, mais elles perdent souvent les détails spécifiques nécessaires à un contrôle précis, comme l'angle exact d'un poignet ou la pression douce d'une pince. Cette perte de détails crée un goulot d'étranglement, empênant les robots d'apprendre des compétences complexes comme l'empilement d'objets fragiles ou l'assemblage de pièces complexes. Le résultat est un robot capable d'exécuter des tâches larges et simples, mais qui trébuche face aux exigences nuancées du monde réel.

Une équipe de chercheurs a maintenant proposé une nouvelle façon de gérer cette traduction, offrant une méthode qui préserve la richesse du mouvement tout en gardant les données suffisamment compactes pour être traitées par l'IA moderne. Ils appellent leur système M2Tok, un outil conçu pour décomposer le flux continu d'actions du robot en un format que les modèles de langage peuvent comprendre sans perdre la dynamique de précision requise pour le succès. Au lieu de traiter tout le corps du robot comme un bloc de données unique et monolithique, leur approche divise le mouvement en canaux séparés et spécialisés. Imaginez un bras robotique qui doit bouger l'épaule, le coude, le poignet et la pince tous en même temps. Les anciennes méthodes tenteraient de compresser tous ces mouvements différents en un seul code, forçant souvent le système à choisir entre la précision pour le bras et la précision pour la pince. La nouvelle méthode, cependant, sépare ces mouvements en groupes distincts, permettant à l'IA de se concentrer sur les nuances spécifiques de chaque partie de manière indépendante.

Les chercheurs y sont parvenus en divisant les données de mouvement du robot en plusieurs têtes, où chaque tête est responsable d'un aspect différent du mouvement. Une tête pourrait suivre la position du bras, tandis qu'une autre suit l'ouverture et la fermeture de la pince. Crucialement, chacune de ces têtes utilise son propre dictionnaire indépendant de codes de mouvement. En utilisant plusieurs dictionnaires travaillant en parallèle, le système crée un nombre immense de combinaisons possibles, bien plus que ce qu'un dictionnaire unique pourrait jamais offrir. Cette puissance combinatoire permet au système de représenter une plus grande variété de mouvements avec une grande précision. C'est similaire à la façon dont un musicien peut créer une infinité de mélodies en combinant un ensemble limité de notes sur différents instruments ; le nouveau système combine des ensembles limités de codes de mouvement sur différents « instruments » du corps du robot pour recréer des actions complexes avec une fidélité remarquable.

Pour tester cette idée, les chercheurs ont entraîné leur système sur une large collection de tâches robotiques simulées, allant du martelage d'un bloc à la saisie de diverses bouteilles et au placement de récipients sur des assiettes. Ils ont comparé leur nouvelle méthode à plusieurs techniques existantes utilisées dans le domaine. Les résultats ont montré un avantage clair pour la nouvelle approche. Dans une série de douze tâches de simulation différentes, le robot utilisant la nouvelle méthode a réussi 51 % de ses tentatives, surpassant de manière significative la méthode suivante la plus performante, qui n'a réussi que 45 % des cas. L'amélioration était encore plus spectaculaire dans les tâches exigeant une haute précision. Par exemple, dans une tâche consistant à déplacer une canette vers une marmite, la nouvelle méthode a réussi presque deux fois plus souvent que la précédente meilleure approche. Dans une autre tâche impliquant le placement d'une boîte de burger et de frites sur un plateau, la nouvelle méthode a atteint un taux de réussite de 64 %, alors que la précédente meilleure méthode n'a réussi que 52 %.

Les chercheurs ont également testé le système sur un autre ensemble d'environnements simulés pour voir si les compétences pouvaient être transférées à de nouvelles situations. Ici, la nouvelle méthode a de nouveau démontré une performance supérieure, atteignant un taux de réussite de 28 % contre 21 % pour l'alternative de tête. La différence la plus frappante est apparue dans une tâche nécessitant au robot de ramasser une aubergine et de la placer dans un panier. L'aubergine est un objet de forme irrégulière difficile à saisir, et les méthodes précédentes ont totalement échoué à résoudre cette tâche. La nouvelle méthode, cependant, a réussi 33 % du temps, suggérant que sa capacité à capturer les détails fins lui a permis de gérer la géométrie complexe de l'objet là où les autres ne le pouvaient pas.

Pour s'assurer que ces résultats n'étaient pas seulement le produit de la simulation, l'équipe a pris leurs modèles entraînés et les a testés sur de vrais robots. Ils ont utilisé une plateforme mobile équipée de quatre bras robotiques et d'une caméra, demandant aux robots d'accomplir trois tâches différentes : faire sonner une cloche, placer un récipient sur une assiette et ramasser différentes bouteilles. Il s'agissait de tests "zero-shot", ce qui signifie que les robots n'avaient jamais vu ces objets ou environnements réels spécifiques auparavant ; ils devaient se fier entièrement à ce qu'ils avaient appris dans la simulation. La nouvelle méthode a de nouveau surpassé les autres, atteignant un taux de réussite moyen de 33 % sur les trois tâches, contre un maximum de 28 % pour la meilleure alternative. Les preuves visuelles de ces tests ont montré que les robots identifiaient avec succès la position des objets et exécutaient des opérations de saisie précises, confirmant que la traduction de haute qualité des données de mouvement tenait bon lorsque les robots quittaient l'ordinateur pour entrer dans le monde physique.

Au-delà de la précision, les chercheurs ont également examiné la vitesse à laquelle le système pouvait fonctionner. Pour qu'un robot soit utile, il doit prendre des décisions assez rapidement pour réagir à son environnement. La nouvelle méthode a permis au robot de fonctionner à une fréquence de plus de 8 hertz, ce qui signifie qu'il peut prendre plus de huit décisions chaque seconde. C'est une amélioration significative par rapport aux anciennes méthodes qui fonctionnaient à seulement 2 hertz. De plus, lorsque les chercheurs ont optimisé le système pour la vitesse à l'aide d'un moteur de traitement spécialisé, le robot a pu atteindre une fréquence de 56 hertz, dépassant de loin la vitesse requise pour la plupart des tâches de manipulation en temps réel. Cette combinaison de haute précision et de haute vitesse suggère que la nouvelle méthode pourrait être une solution pratique pour le déploiement de robots avancés dans des environnements dynamiques.

Le succès de ce travail repose sur un changement fondamental dans la manière dont les données de mouvement sont traitées. En rejetant l'idée que tout mouvement doit être compressé en un code unique et uniforme, les chercheurs ont permis au système de respecter la nature unique des différentes parties du corps du robot. La séparation du mouvement en canaux indépendants, combinée à l'utilisation de plusieurs dictionnaires spécialisés, a créé un système capable de capturer les détails subtils et à haute fréquence du mouvement que les méthodes précédentes manquaient. Cette approche n'a pas nécessité de modifier l'architecture sous-jacente des modèles de langage qui pilotent les robots ; elle a plutôt fourni un meilleur moyen de les alimenter en données. Le résultat est un robot capable de comprendre et d'exécuter des tâches physiques complexes avec un niveau de dextérité auparavant hors de portée, comblant ainsi le fossé entre l'intelligence numérique des modèles de langage et la réalité physique du monde qu'ils sont censés naviguer.