Language-Guided Generation for Personalized Inspection Planning

Les robots qui se déplacent dans le monde dépendent depuis longtemps d'opérateurs humains pour tracer leurs trajectoires, indiquer ce qu'il faut regarder et décider de l'ordre dans lequel visiter différents endroits. Pour un drone inspectant un pont ou un submersible scannant une épave, cela signifie généralement qu'un humain doit d'abord cartographier la zone, puis définir manuellement chaque point précis que le robot doit voir, et enfin calculer un itinéraire qui les relie tous sans provoquer de collision. Ce processus est lent, nécessite des connaissances spécialisées et rend difficile pour les non-experts de simplement dire à une machine ce qu'ils veulent voir. Bien que les robots soient devenus plus performants récemment pour suivre des instructions vocales afin de se frayer un chemin dans des lieux inconnus, ils éprouvent toujours des difficultés lorsque l'objectif est d'inspecter efficacement un environnement connu sur la base d'une simple description. Le défi consiste à traduire l'intention de haut niveau d'un humain — comme « vole à l'intérieur du stade et regarde le terrain » — en une trajectoire de vol précise et fluide qu'une machine peut réellement exécuter.

Une équipe de chercheurs a développé une nouvelle méthode qui permet aux robots de générer ces plans d'inspection directement à partir de descriptions textuelles, sans nécessiter d'entraînement spécialisé ni d'exemples préalables. Leur approche utilise un type d'intelligence artificielle connu sous le nom de modèle de vision-langage, capable de comprendre simultanément les images et les mots. Au lieu de contraindre un humain à programmer chaque point de passage, le système prend une carte 3D d'un environnement et une phrase décrivant la tâche. Il détermine ensuite exactement où le robot doit se rendre pour voir les objets mentionnés dans le texte, dans quel ordre et sous quel angle. Les chercheurs ont testé ce système à la fois dans des simulations informatiques et dans des environnements réels, notamment un drone volant à l'intérieur d'un laboratoire pour vérifier la présence d'objets spécifiques. Les résultats montrent que le robot peut créer de manière cohérente des trajectoires de vol qui correspondent aux instructions de l'utilisateur, en visitant les bons emplacements dans la bonne séquence tout en maintenant une trajectoire fluide et efficace.

Le cœur de ce nouveau système est un processus en trois étapes qui comble le fossé entre une phrase simple et un plan de vol complexe. Premièrement, le système lit le texte de l'utilisateur et idente les points d'intérêt spécifiques, tels qu'un terrain de football ou une série de sièges, ainsi que toute instruction concernant la position du robot par rapport à ces objets. Il construit ensuite une carte numérique des positions possibles que le robot pourrait occuper au sein de l'environnement. Pour chaque position potentielle, le système demande à l'intelligence artificielle d'examiner six vues différentes de la scène depuis cet emplacement et de décider si l'objet cible est visible et si le robot est dans la position correcte pour le voir. Cette étape est cruciale car elle garantit que le robot ne se contente pas de voler près d'un objet, mais qu'il se positionne réellement pour obtenir une vue claire, en respectant des contraintes telles que « voler au-dessus » ou « regarder sur le côté ».

Une fois que le système a identifié tous les emplacements valides où le robot peut voir les objets requis, il doit déterminer la manière la plus efficace de tous les visiter. Cela implique de résoudre un problème de routage complexe pour déterminer le meilleur ordre de visite des lieux, en veillant à ce que si l'utilisateur a dit « allez d'abord au terrain, puis aux tribunes », le robot suive cette séquence. Le chemin initial généré par cette étape est souvent saccadé et inefficace, semblable à une série de lignes droites reliant des points. Pour y remédier, le système utilise à nouveau l'intelligence artificielle pour lisser la trajectoire. Il teste si le robot peut se déplacer légèrement entre deux points pour créer une ligne plus droite et plus fluide sans perdre de vue la cible ou heurter un obstacle. Ce raffinement itératif se poursuit jusqu'à ce que le chemin soit aussi fluide que possible, garantissant que le robot puisse le parcourir en toute sécurité et rapidement.

Enfin, le système convertit cette série de points lissés en une trajectoire continue et fluide qu'un véritable robot peut suivre. Il calcule la vitesse exacte et les changements de direction nécessaires pour passer d'un point à l'autre sans saccades ni arrêts, créant ainsi un chemin mathématiquement optimisé pour l'efficacité. Lors de leurs expériences, les chercheurs ont utilisé un petit drone pour tester cette méthode dans une pièce réelle. Ils ont demandé au drone de voler vers un logo spécifique au sol, puis de vérifier si une porte était fermée. Le drone a réussi à reconstruire la pièce, à planifier la trajectoire de vol basée sur le texte et à exécuter la mission, n'atterrissant qu'après avoir terminé l'inspection. Le système s'est avéré capable de gérer des instructions complexes, telles que visiter plusieurs lieux dans un ordre spécifique ou maintenir une orientation particulière par rapport à un objet, le tout sans aucune intervention humaine lors de la phase de planification.

Les chercheurs ont constaté que leur méthode fonctionne bien dans une variété d'environnements, des modèles numériques fabriqués à la main aux scans réels de bâtiments et de monuments. Ils ont testé le système avec différents modèles d'intelligence artificielle et ont découvert que les modèles les plus avancés pouvaient comprendre correctement les relations spatiales, comme savoir si un point est « à l'intérieur » ou « au-dessus » d'un objet, avec une grande précision. Le système a également démontré qu'il pouvait gérer différents niveaux de qualité d'image, maintenant ses performances même lorsque les données visuelles étaient moins claires, ce qui est courant pour les caméras montées sur de petits drones. Bien que le processus nécessite une puissance de calcul importante pour analyser les images et générer la trajectoire, l'équipe a montré que cela peut être fait relativement rapidement, ce qui en fait une solution pratique pour des applications réelles.

Ce travail représente une étape importante vers une plus grande accessibilité et adaptabilité des robots. En supprimant le besoin de planification de trajectoire manuelle et en permettant aux utilisateurs de simplement décrire ce qu'ils veulent voir, le système ouvre la voie aux non-experts pour déployer des robots d'inspection dans des domaines allant du génie civil à l'expertise marine. Les chercheurs reconnaissent que le système dépend encore d'ordinateurs distants puissants pour traiter les données visuelles, ce qui pourrait soulever des préoccupations en matière de confidentialité, et que l'intelligence artificielle peut parfois commettre des erreurs dans la compréhension des relations spatiales complexes. Cependant, ils suggèrent que ces problèmes pourraient être résolus en faisant fonctionner le système sur des appareils locaux ou en entraînant les modèles sur des données plus spécifiques. En fin de compte, l'étude démontre que les robots peuvent désormais comprendre et agir sur des instructions en langage naturel pour accomplir des tâches d'inspection complexes, transformant une simple phrase en une mission précise et exécutable.