Bootstrapping a 4D LiDAR Annotation Tool from Video Foundation Models

Les véhicules autonomes dépendent d'un flux de données constant et à haute vitesse pour comprendre le monde qui les entoure. Si les caméras capturent la richesse visuelle d'une scène, elles peuvent éprouver des difficultés en cas de mauvais temps ou de faible luminosité. Pour compenser, de nombreux systèmes de conduite autonome utilisent le LiDAR, un capteur qui émet de rapides impulsions de lumière laser pour mesurer les distances et construire une carte tridimensionnelle de l'environnement. Cette carte apparaît sous la forme d'un nuage de millions de points minuscules, chacun représentant une surface touchée par le laser. Pour rendre ces données utiles à la navigation, les ordinateurs doivent apprendre à identifier ce que ces points représentent : ce groupe de points est-il un piéton, une voiture ou un arbre ? De plus, comme le véhicule est en mouvement, le système doit suivre ces objets au fil du temps, reliant les points d'un instant à l'autre pour comprendre le mouvement et l'intention. Ce processus, appelé segmentation quadridimensionnelle, est le pilier d'une conduite autonome sûre, mais il se heurte à un obstacle majeur : les données nécessaires pour enseigner à ces systèmes sont incroyablement difficiles et coûteuses à créer.

Pour qu'un ordinateur apprenne à reconnaître des objets dans un nuage de points LiDAR, des humains doivent d'abord étiqueter manuellement des milliers de séquences, en traçant des contours autour de chaque voiture et de chaque personne dans chaque nuage de points. C'est une tâche lente, fastidieuse et sujette aux erreurs. Comme les points sont épars et dispersés dans l'espace tridimensionnel, leur étiquetage est bien moins intuitif que le dessin sur une photographie plate. En conséquence, le progrès de ces systèmes est souvent freiné non pas par l'intelligence des algorithmes, mais par le manque pur et simple de données de haute qualité et étiquetées. Les chercheurs se demandent depuis longtemps s'il existe un moyen de générer ces données d'entraînement automatiquement, peut-être en empruntant la compréhension visuelle que les ordinateurs ont déjà apprise à partir de milliards d'images et de vidéos.

Une équipe de chercheurs de la KAIST et de l'Université Chung-Ang a franchi une étape significative vers la réponse à cette question avec un nouveau cadre appelé LiDAR-SAM2. Leurs travaux démontrent qu'il est possible de créer un outil d'étiquetage puissant pour les données LiDAR 3D sans qu'un seul humain ne trace une ligne sur un nuage de points. Au lieu de s'appuyer sur l'annotation manuelle, ils ont construit un système qui traduit les capacités d'un modèle d'intelligence artificielle basé sur la vidéo dans le langage des scans laser 3D. L'idée centrale est d'utiliser un modèle de fondation, un type d'IA entraîné sur de vastes quantités de données vidéo pour suivre des objets à travers le temps, et de l'adapter pour comprendre la géométrie unique des capteurs LiDAR. Ce faisant, ils ont transformé un expert de la vidéo 2D en un superviseur LiDAR 4D.

Le processus commence par un ensemble de données synchronisées : une séquence de scans LiDAR 3D couplée à des séquences vidéo standards provenant de caméras montées sur le même véhicule. Les chercheurs injectent d'abord les séquences vidéo dans le modèle de fondation vidéo, qui excelle à identifier les objets et à suivre leurs mouvements d'une image à l'autre. Lorsqu'un utilisateur clique sur une voiture dans la première image de la vidéo, le modèle suit automatiquement cette voiture à travers toute la séquence vidéo, créant un masque qui délimite le véhicule dans chaque image subséquente. Les chercheurs prennent ensuite ces contours 2D et les projettent sur les points LiDAR 3D correspondants. Comme la caméra et le capteur laser sont calibrés pour savoir exactement comment ils sont liés, le système peut déterminer quels points laser correspondent aux pixels du masque vidéo.

Cependant, la simple projection de masques 2D sur des points 3D ne suffit pas. Une seule caméra ne peut pas voir l'intégralité du véhicule ; elle peut en voir le côté mais manquer l'arrière, ou la vue peut être obstruée par un autre objet. Pour résoudre cela, les chercheurs ont développé une méthode pour combiner les vues de plusieurs caméras et les assembler au fil du temps. Ils utilisent le mouvement connu du véhicule pour projeter ce qui a été vu à l'instant précédent dans l'instant actuel, comblant ainsi les lacunes là où la vue de la caméra était limitée. Cela crée un ensemble dense et cohérent d'étiquettes pour les points 3D, générant ainsi automatiquement un ensemble de données d'entraînement de haute qualité. Ces étiquettes générées, que les chercheurs appellent pseudo-étiquettes, sont ensuite utilisées pour entraîner un nouveau modèle spécifiquement conçu pour comprendre les données LiDAR.

Le système résultant, LiDAR-SAM2, agit comme un outil interactif. Un opérateur humain n'a besoin que de cliquer sur un objet dans la première image d'une séquence LiDAR, et le système génère automatiquement une trace cohérente et de haute qualité pour cet objet tout au long de la vidéo. Les chercheurs ont testé cette approche sur un jeu de données standard appelé SemanticKITTI, qui contient des scènes de conduite urbaine complexes. Ils ont constaté que les étiquettes générées par leur système étaient remarquablement précises, atteignant des taux de précision et de rappel élevés. Lorsqu'ils ont utilisé ces étiquette générées automatiquement pour entraîner des modèles de segmentation 3D standards, les modèles ont performé presque aussi bien que ceux entraînés sur des données minutieusement étiquetées par des experts humains. En fait, pour les tâches de segmentation sémantique, les modèles entraînés avec les étiquettes automatiques ont atteint des niveaux de performance proches de la vérité de terrain entièrement annotée par l'humain, alors même qu'aucun humain n'a jamais étiqueté manuellement les points LiDAR utilisés pour l'entraînement.

L'étude a également exploré la qualité des étiquettes elles-mêmes. En visualisant le résultat, les chercheurs ont montré que le système produit des contours nets autour des objets et maintient des identités cohérentes pour les voitures et les piétons lorsqu'ils se déplacent dans la scène. Cette cohérence est cruciale pour la conduite autonome, où un système doit savoir que la voiture qu'il a vue il y a dix secondes est la même que celle qu'il voit maintenant. Les chercheurs ont démontré que ce niveau de qualité pouvait être atteint avec un minimum d'intervention humaine, ne nécessitant que quelques clics par objet pour initialiser le suivi. Cela suggère que la lourde charge de l'annotation des données pour la compréhension de scènes 3D et 4D peut être considérablement réduite, permettant potentiellement le développement rapide de systèmes autonomes plus sûrs et plus performants sans nécessiter d'équipes massives d'étiqueteurs humains.

Ce travail conteste explicitement l'idée selon laquelle les données d'entraînement 3D de haute qualité doivent toujours provenir du travail humain. Alors que les tentatives précédentes de segmentation 4D interactive reposaient sur des ensembles de données annotés par l'homme pour apprendre au système comment suivre les objets, cette nouvelle approche minimise cette dépendance en n'exigeant que des invites minimales. Les chercheurs soutiennent qu'en exploitant la compréhension temporelle déjà présente dans les modèles de fondation vidéo, il est possible de démarrer un système d'étiquetage 3D à partir de zéro. Ils ont démontré que leur méthode n'est pas seulement une possibilité théorique, mais un outil pratique qui produit des données utilisables et de haute fidélité. Les résultats indiquent que l'écart entre les données automatisées et celles étiquetées par l'homme se réduit rapidement, offrant une voie évolutive pour la prochaine génération de systèmes de perception.

Dans le contexte plus large de l'intelligence artificielle, cette recherche met en lumière un passage vers l'utilisation d'un type de modèle puissant pour en enseigner un autre. En traitant un modèle vidéo 2D comme une source de supervision pour les données 3D, l'équipe a contourné les limitations traditionnelles du domaine 3D. Ils n'ont pas inventé une nouvelle façon de voir le monde ; ils ont plutôt trouvé un moyen de traduire ce qu'un ordinateur sait déjà de la vidéo dans le langage des scans laser. Les conclusions suggèrent que l'avenir des données de conduite autonome ne réside peut-être pas dans l'embauche de plus d'annotateurs, mais dans la construction de ponts plus intelligents entre différents types de données visuelles. À mesure que la technologie mûrira, elle pourrait permettre la création de jeux de données vastes et diversifiés pour les voitures autonomes, rendant cette technologie plus robuste et accessible. L'étude conclut qu'avec le bon cadre, le rêve d'une annotation 3D automatique et de haute qualité n'est plus un objectif lointin, mais une réalité présente.