Investigating the performance of novel class discovery (NCD) approach for semantic segmentation on realworld SLAM LiDAR point cloud data

Dans le monde moderne de la cartographie, une technologie appelée LiDAR est devenue un outil puissant pour percevoir la forme tridimensionnelle de notre environnement. En émettant de rapides impulsions de lumière et en mesurant le temps qu'elles mettent pour rebondir, ces capteurs créent de vastes nuages de millions de points individuels, chacun représentant un endroit spécifique sur un bâtiment, un arbre ou le sol. Bien que ces données soient incroyablement détaillées, les interpréter automatiquement est une tâche difficile. Les ordinateurs sont souvent entraînés à ne reconnaître que les objets qu'on leur a déjà présentés, tels que des routes, des maisons ou des arbres. Si l'ordinateur rencontre quelque chose de nouveau, comme un type de clôture unique ou un tas de débris de construction, il force souvent cet objet dans l'une de ses catégories connues, même si l'ajustement est médiocre. Cette limitation signifie que dans des environnements réels complexes, les cartes automatisées peuvent omettre des détails importants ou les identifier de manière erronée. Pour résoudre ce problème, les chercheurs exploreent une méthode appelée « découverte de classes inédites » (novel class discovery), qui vise à apprendre aux ordinateurs non seulement à reconnaître ce qu'ils connaissent, mais aussi à remarquer quand quelque chose de nouveau apparaît et à regrouper ces nouvelles choses par eux-mêmes.

Une équipe de chercheurs de l'Université Gadjah Mada en Indonésie s'est lancée dans le test de cette idée en utilisant des données capturées à partir d'un appareil portatif se déplaçant dans un environnement extérieur. Contrairement aux scanners stationnaires, cet appareil, connu sous le nom de système LiDAR SLAM, permet à une personne de traverser un campus tout en permettant au capteur de cartographier simultanément la zone et de suivre sa propre position. Cela crée un enregistrement continu et fluide du monde, mais cela introduit également des défis tels que des variations de densité de points et de légères erreurs de position qui ne se produisent pas dans des environages de laboratoire contrôlés. Les chercheurs se sont concentrés sur une zone spécifique du campus universitaire, couvrant environ dix-huit hectares, qui comprenait un mélange de bâtiments, de végétation et de surfaces pavées. Ils ont parcouru quinze chemins différents dans cette zone, collectant une quantité massive de données brutes de nuages de points représentant la complexité réelle d'un espace extérieur.

La première étape de leur travail a consisté à nettoyer ces données brutes et à apprendre à un modèle informatique à reconnaître les trois éléments principaux qui les intéressaient : le sol, la végétation et les bâtiments. Ils ont étiqueté manuellement une partie des données pour servir de guide, montrant à l'ordinateur à quoi ressemblaient ces trois catégories. Une fois le modèle entraîné, ils ont testé sa capacité à identifier ces objets connus à travers l'ensemble du jeu de données. Les résultats ont été encourageants pour le sol, que le modèle a identifié avec une très grande précision. La végétation a également été bien reconnue, bien que les bordures où les arbres rencontrent les bâtiments aient parfois provoqué de la confusion. Les bâtiments se sont révélés être les plus difficiles, probablement parce que leurs formes varient considérablement et que le scanner portatif a parfois manqué des parties de murs ou de toits en raison de l'angle de la marche. Malgré ces imperfections, le modèle a réussi à apprendre à distinguer les trois catégories principales à travers ce terrain complexe.

Le véritable test, cependant, fut ce qui s'est passé ensuite. Les chercheurs ont demandé au modèle d'examiner les points pour lesquels il n'était pas confiant et de les traiter comme « inconnus ». Au lieu de forcer ces points incertains dans les catégories sol, végétation ou bâtiment, le système était conçu pour les regrouper en de nouveaux clusters distincts. C'est le cœur de l'approche de la découverte de classes inédites : laisser l'ordinateur trouver ses propres groupes pour les choses qu'il ne comprend pas. Le modèle a identifié un faible pourcentage des points totaux comme étant inconnus, soit environ neuf pour cent des données. Il a ensuite trié ces points inconnus en trois nouveaux groupes. Lorsque les chercheurs ont examiné ce que contenaient réellement ces nouveaux groupes, ils ont constaté un mélange de succès et de limites. L'un des nouveaux groupes a réussi à isoler certains objets distincts, tels que des poteaux électriques et des câbles, qui étaient effectivement différents des catégories principales.

Cependant, l'étude a révélé que cette méthode n'est pas encore parfaite pour les données extérieures réelles. Une partie importante des points placés dans ces nouveaux groupes « inconnus » appartenait en réalité aux catégories connues. Par exemple, des fragments de bâtiments ou des parties d'arbres dont le modèle n'était pas sûr ont été incorrectement regroupés avec les nouveaux objets. Cela s'est produit parce que le modèle initial n'était pas assez confiant dans ses propres prédictions, ce qui a conduit à étiqueter par erreur des parties d'objets connus comme de nouvelles découvertes. Les chercheurs ont constaté que la qualité de ces nouveaux groupes dépendait fortement de la capacité du modèle à comprendre les trois catégories originales. Si le modèle éprouvait des difficultés avec un bâtiment spécifique ou un buisson dense, ces erreurs se répercutaient dans le système, créant des nouveaux groupes désordonnés qui n'étaient pas de véritables nouveaux objets, mais plutôt des morceaux confus d'anciens objets.

L'étude a également souligné comment la nature physique des données affectait les résultats. Comme le capteur était en mouvement, la densité des points changeait en fonction de la vitesse de marche de l'opérateur ou de sa proximité avec un objet. Dans les zones où les points étaient rares ou bruités, le modèle avait plus de mal à faire la distinction entre un objet connu et un nouvel objet. De plus, les chercheurs ont dû décider d'un nombre fixe de nouveaux groupes à rechercher, et ce choix rigide a parfois forcé des objets sans rapport à être mis dans le même panier ou a divisé un seul type d'objet en plusieurs groupes. Sans guide de référence parfait pour savoir ce que devraient être ces nouveaux objets, les chercheurs se sont appuyés sur l'inspection visuelle pour juger les résultats, confirmant que si le système pouvait trouver de nouveaux modèles, ceux-ci étaient souvent instables et mêlés d'erreurs provenant des classes connues.

En fin de compte, la recherche démontre que si le concept de découverte de classes inédites est très prometteur pour la cartographie du monde réel, il fait face à des obstacles importants lorsqu'il est appliqué à des données capturées par des capteurs en mouvement dans des environnements complexes. Le système peut identifier que quelque chose est différent, mais il peine à séparer proprement cette différence du bruit et de l'incertitude des données elles-mêmes. Le succès de la découverte de nouvelles classes est profondément lié à la précision de la reconnaissance initiale des objets connus. Si l'ordinateur n'est pas sûr d'un bâtiment, il ne peut pas être sûr qu'un poteau à proximité soit quelque chose de nouveau. Les auteurs concluent que pour que cette technologie devienne fiable pour un usage réel, les modèles sous-jacents doivent être plus robustes, les méthodes pour repérer les objets inconnus doivent être plus flexibles et l'évaluation de ces nouveaux groupes doit être plus systématique. La voie à suivre consiste à affiner la manière dont ces systèmes apprennent à partir des données imparfaites et désordonnées du monde réel, afin de garantir que, lorsqu'ils découvrent quelque chose de nouveau, ils voient réellement quelque chose de nouveau, et non pas simplement une erreur.