Hybrid Visual Perception and LLM Framework for Service Robot Planning and Navigation

Les robots de service ne sont plus seulement un concept du futur ; ils commencent à apparaître dans les hôpitaux, les hôtels et les espaces publics, chargés de guider les gens et d'accomplir des tâches simples. Pour que ces machines soient véritablement utiles, elles doivent faire plus que simplement suivre un chemin préprogrammé. Elles doivent comprendre ce qu'un humain leur demande de faire, voir le monde qui les entoure pour éviter les obstacles ou trouver des objets spécifiques, puis déterminer comment se déplacer pour accomplir la tâche. Le défi a longtemps été de savoir comment combiner ces trois capacités — comprendre le langage, voir l'environnement et planifier le mouvement — en un seul système suffisamment intelligent pour être utile, mais assez petit et rapide pour fonctionner sur l'ordinateur embarqué propre à un robot.

Pendant des années, les chercheurs ont tenté de résoudre ce problème en construisant des systèmes d'intelligence artificielle massifs et tout-en-un qui essaient de tout faire à la fois. Ces systèmes, souvent appelés modèles de vision-langage, sont incroyablement puissants car ils peuvent regarder une image et lire une phrase simultanément. Cependant, ils sont aussi incroyablement lourds, nécessitant des quantités de puissance de calcul qui ne rentrent tout simplement pas dans un petit robot alimenté par batterie. Cela crée un dilemme : un robot assez intelligent pour comprendre des instructions complexes mais trop lent pour réagir en temps réel, ou un robot rapide mais trop stupide pour comprendre ce qu'il voit.

Une équipe de chercheurs d'Indonésie, du Japon et de Belgique a proposé une autre voie. Au lieu de forcer un seul cerveau géant à tout faire, ils ont construit un système qui divise le travail en deux parties spécialisées qui communiquent entre elles. Dans leur nouveau cadre, un système visuel léger et rapide gère le travail de détection d'objets, tandis qu'un modèle de langage distinct gère la compréhension des instructions et la planification. Cette séparation permet au robot de fonctionner sur un petit ordinateur embarqué sans avoir besoin d'un serveur externe massif. Les chercheurs ont testé cette approche sur un robot guide conçu pour aider les gens à naviguer dans les bâtiments publics, et ils ont constaté qu'en séparant les tâches, le robot pouvait comprendre des commandes complexes, trouver des objets et se déplacer vers des lieux spécifiques avec une grande précision, tout en réagissant beaucoup plus vite que les systèmes tout-en-un.

Le robot utilisé est construit sur une base mobile standard mais est équipé d'une caméra unique et d'une puce informatique compacte connue sous le nom de Jetson Orin Nano. Cette puce est assez puissante pour faire fonctionner des logiciels modernes mais assez petite pour s'adapter à un robot qui doit se déplacer librement sans être relié à une prise murale. Les chercheurs ont programmé le système pour accepter des commandes en langage naturel provenant d'un humain, telles que « Va au bureau d'accueil et cherche une personne ». Lorsque le robot reçoit une telle commande, la partie linguistique du système la décompose en une liste d'étapes. Elle décide que le robot doit se déplacer vers un lieu spécifique, puis chercher une personne. Crucialement, elle indique à la partie visuelle exactement ce qu'elle doit chercher, plutôt que de demander au système visuel de deviner ce qui pourrait être important.

Cette division du travail est la clé de la vitesse du système. Dans les systèmes traditionnels tout-en-un, l'ordinateur doit traiter l'image entière et la phrase entière en même temps, ce qui prend beaucoup de temps. Dans cette nouvelle configuration, le modèle de langage décide rapidement que le robot doit chercher une « personne », puis il envoie une instruction simple et courte au détecteur visuel pour trouver uniquement cet objet spécifique. Le détecteur visuel, qui est conçu pour être très rapide, scanne le flux de la caméra et signale s'il voit une personne. Comme le système visuel ne perd pas de temps à analyser chaque chose dans la pièce, et que le système linguistique ne perd pas de temps à interpréter les pixels, l'ensemble du processus se déroule beaucoup plus rapidement. Les chercheurs ont mesuré cette différence de vitesse et ont constaté que leur système divisé était entre trois et vingt fois plus rapide que les systèmes tout-en-un, selon que l'ordinateur fonctionnait localement ou se connectait à un serveur cloud.

Pour voir si cette approche fonctionnait réellement dans le monde réel, l'équipe a mené une série de tests. D'abord, ils ont testé la capacité du robot à suivre des commandes de mouvement seules, en lui demandant d'aller à la pièce la plus proche ou au bureau d'accueil. Lors de ces tests, le robot a réussi à planifier son itinéraire et est arrivé à la bonne destination 96 % du temps. Ensuite, ils ont ajouté la composante visuelle, demandant au robot d'aller à un endroit puis de trouver un objet spécifique, comme une borne d'incendie, une chaise ou une personne. Dans ces scénarios plus complexes, où le robot devait naviguer puis chercher, le système a réussi 84 % du temps. Les rares échecs survenus étaient généralement dus au fait que la caméra unique du robot avait du mal à juger exactement à quelle distance il se trouvait d'un objet, provoquant un arrêt légèrement trop tôt ou trop tard, plutôt qu'à cause d'une mauvaise compréhension de la commande ou d'un échec de détection de l'objet.

Les chercheurs ont également sorti le système de la simulation informatique pour le placer sur le robot physique réel dans le hall d'un bâtiment. Ils lui ont donné les mêmes types de commandes, et le robot a accompli les tâches de manière fiable, naviguant dans l'espace, s'arrêtant pour chercher des personnes et répondant à l'utilisateur. Ce test en conditions réelles a confirmé que le système pouvait gérer le désordre d'un environnement réel, y compris les passants et les changements de luminosité, sans nécessiter de changements structurels du logiciel. Les résultats ont montré que le robot pouvait interpréter la voix d'un humain, déterminer où aller, trouver ce qui était nécessaire et exécuter la tâche, le tout en fonctionnant sur un petit ordinateur qui tient sur le robot lui-même.

L'étude suggère que l'avenir des robots de service ne dépendra peut-être pas de la création de cerveaux plus gros et plus complexes pour les robots, mais plutôt de l'organisation de leur façon de penser. En séparant la tâche de voir de celle de raisonner, les chercheurs ont démontré qu'un robot peut être à la fois hautement capable et efficace. Bien que les systèmes tout-en-un soient impressionnants, ils sont souvent trop lourds pour une utilisation pratique sur des robots mobiles. Cette approche hybride offre une voie de passage où les robots peuvent être déployés dans les hôpitaux, les hôtels et les bureaux pour assister les gens, en réagissant rapidement aux instructions et en se déplaçant en toute sécurité dans des espaces bondés. Ce travail ne prétend pas avoir résolu tous les problèmes de la robotique, mais il fournit une méthode claire et prouvée pour créer des robots assez intelligents pour aider et assez rapides pour être utiles.