PRISM: Multimodal Terrain Mapping for Rover Navigation in Unstructured Environments

Imaginez un robot rover tentant de traverser un paysage sauvage et rocheux où il n'y a pas de routes, pas de panneaux de signalisation et aucun signal GPS pour le guider. C'est le défi quotidien des robots envoyés explorer des endroits comme Mars ou la nature sauvage sur Terre. Pour survivre, ces robots ont besoin d'une « conscience situationnelle » — une façon sophistiquée de dire qu'ils doivent savoir exactement ce qui se trouve sous leurs roues et ce qui les attend. S'ils confondent une zone de sable mou avec un sol solide, ils pourraient s'enliser. S'ils pensent qu'une pente raide est plate, ils pourraient se renverser.

Habituellement, les robots s'appuient sur des caméras qui voient la lumière visible (comme nos yeux) et des capteurs de profondeur qui mesurent la distance (comme le sonar d'une chauve-souris). Mais dans la nature, regarder simplement comme un humain n'est pas toujours suffisant. Parfois, deux choses peuvent paraître identiques à l'œil, mais sembler complètement différentes au toucher ou à la chaleur. C'est là qu'intervient une sorte de « super-vision » : la combinaison de la vision standard et de l'imagerie thermique. Les caméras thermiques perçoivent la chaleur, ce qui peut révéler si le sol est du sable sec ou de la terre compactée, même s'ils ont la même couleur apparente. La grande question que se posent les scientifiques est la suivante : pouvons-nous apprendre aux robots à fusionner ces différents sens pour prendre des décisions plus sûres et plus intelligentes dans les environnements les plus chaotiques ?

---

L'idée majeure de l'article : Donner aux robots un « sens de la chaleur »

Dans cet article, une équipe de chercheurs présente un nouveau système appelé PRISM (Perception for RGB, Infrared, and Spatial Mapping). Considérez PRISM comme une paire de lunettes de haute technologie pour un robot rover qui lui permet de voir le monde en trois dimensions à la fois : couleur, profondeur et chaleur.

La plupart des robots d'aujourd'hui sont comme des personnes portant des bandeaux sur les yeux qui ne peuvent voir qu'en noir et blanc ou en couleurs standards. Ils peuvent voir un rocher, mais ils ne peuvent pas dire s'il s'agit d'une pierre lisse et glissante ou d'un énorme bloc dentelé et dangereux simplement en regardant. PRISM change la donne en ajoutant une caméra thermique à la combinaison. C'est comme donner au robot une paire de lunettes de vision nocturne qui détectent également la chaleur corporelle. Cela permet au robot de distinguer des types de terrains qui paraissent identiques pour une caméra normale mais qui ont des propriétés thermiques différentes. Par exemple, un sol sablonneux meuble peut chauffer plus vite au soleil qu'un sol dur et compacté. Une caméra standard voit les deux comme de la « terre brune », mais une caméra thermique voit la différence de température, aidant ainsi le robot à savoir quel chemin est sûr pour rouler.

Comment cela fonctionne : Le cerveau et les yeux du robot

Les chercheurs ont construit une « suite de capteurs » personnalisée pour leur robot de test, le RAT (Rover Autonomy Testbed). Cette configuration comprend une caméra 3D standard (qui voit la couleur et la profondeur) et une caméra thermique, toutes deux montées dans un boîtier spécial imprimé en 3D pour qu'elles soient parfaitement alignées.

La magie opère dans le logiciel, plus précisément grâce à un nouveau modèle d'IA qu'ils appellent OmniUnet. Vous pouvez imaginer OmniUnet comme un chef cuisinier très intelligent qui goûte une soupe. Au lieu de simplement goûter la saveur (la couleur), le chef ressent aussi la température (la chaleur) et la texture (la profondeur) tout en même temps. En combinant ces trois « ingrédients », l'IA peut créer une carte détaillée du terrain. Elle ne dit pas seulement « il y a du sol » ; elle dit : « cette zone est de l'herbe », « cette zone est un rocher » et « cette zone est un buisson dangereux ».

Une fois que l'IA identifie le terrain, le système construit une Carte de Traversabilité (Traversability Map). C'est comme une carte de jeu vidéo où chaque carré se voit attribuer un « score de difficulté ».

• Obstacles : Les éléments comme les falaises abruptes ou les objets méconnaissables reçoivent un score de « coût infini », disant au robot : « Ne pas aller ici ! »
• Traversable : Les chemins sûrs reçoivent un score faible.
• Le rebondissement : Le système est assez intelligent pour réaliser que parfois, un patch d'herbe haute ressemble à un mur solide pour une caméra 3D, mais l'IA sait qu'il ne s'agit que d'herbe et laisse le robot passer à travers. Inversement, il peut repérer un rocher qui semble petit mais qui est en réalité trop haut pour être franchi, le signalant comme un danger.

Le test en conditions réelles : Conduire dans la nature

Pour prouver qu'il ne s'agissait pas seulement d'une simulation informatique, l'équipe a emmené son robot dans le monde réel. Ils l'ont testé dans deux endroits différents :

1. La semi-désert de Bardenas : Une zone sèche et rocheuse en Espagne qui ressemble beaucoup à la surface de Mars.
2. LAENTIEC : Un terrain d'essai à l'Université de Málaga avec de la terre, du gravier et de l'herbe.

Ils n'ont pas seulement fait rouler le robot sur un ordinateur ; ils l'ont installé sur un rover physique et l'ont laissé rouler de manière autonome. Le robot devait s'arrêter tous les 5 mètres pour mettre à jour sa carte et planifier sa prochaine étape, tout en fonctionnant sur un petit ordinateur économe en énergie (un Jetson Orin Nano) qui est conçu pour les robots, et non pour les supercalculateurs.

Ce qu'ils ont découvert

Les résultats sont prometteurs. L'IA OmniUnet a été capable d'identifier correctement les types de terrain avec une grande précision.

• Sur le jeu de données de Bardenas (rochers et sable semblables à Mars), le système a correctement classé les pixels environ 80,37 % du temps. Il était particulièrement efficace pour repérer le sol « compact » (le type le plus sûr) avec une précision de 77,44 %.
• Sur le jeu de données LAENTIEC (la zone herbeuse et terreuse), il a été encore plus performant, atteignant 92,85 % de précision.

Cependant, l'article est honnête quant aux limites. Le système a eu un peu plus de mal à identifier les rochers, ne les identifiant correctement que 18,40 % du temps lors des tests à Bardenas. Les auteurs suggèrent que c'est parce que les rochers peuvent avoir des signatures thermiques très différentes selon le soleil et les ombres, ce qui les rend difficiles à repérer de manière constante par l'IA.

L'essentiel à retenir

PRISM n'est pas une baguette magique qui résout tous les problèmes de navigation des robots, mais c'est une étape importante en avant. Les auteurs démontrent qu'en ajoutant la vision thermique à la combinaison, les robots peuvent voir le monde plus clairement que jamais, distinguant les chemins sûrs des dangers cachés que les caméras standard ne voient pas. Ils ont démontré avec succès que ce système complexe peut fonctionner sur de petits ordinateurs à faible consommation, prouvant que les rovers autonomes pourraient un jour naviguer dans les terrains difficiles et non structurés de Mars ou de la Terre sans avoir besoin d'un humain pour les diriger à chaque étape. Le code et les données qu'ils ont utilisés sont désormais ouverts à tous pour étude, ouvant la voie aux futurs robots capables d'apprendre grâce à leurs yeux « détecteurs de chaleur ».