Dans le monde de la robotique et de la cartographie numérique, les ordinateurs s'appuient sur une manière spécifique de voir le monde : un nuage de millions de petits points. Ces points, connus sous le nom de nuages de points, sont recueillis par des capteurs qui font rebondir la lumière ou le son sur des surfaces pour créer une carte tridimensionnelle d'une pièce, d'une forêt ou d'une rue de ville. Contrairement à une photographie, qui est une grille plate de pixels, un nuage de points est une collection éparpillée de points de données qui peut être irrégulière, clairsemée et organisée sans ordre particulier. Cela rend extrêmement difficile pour un ordinateur de comprendre ce qu'il regarde. Il doit déterminer où un objet se termine et un autre commence, décider si une surface est un mur ou un sol, et suivre des articles individuels comme des chaises ou des tables, tout en ignorant le fait que les points peuvent être regroupés étroitement à certains endroits et espacés à d'autres. Pendant des années, les chercheurs ont lutté pour construire un système unique capable d'accomplir toutes ces tâches à la fois sans être confus par la nature désordonnée et irrégulière des données.

Une équipe de chercheurs a proposé une nouvelle approche pour résoudre ce problème, appelée « Calculus on Clouds » (Calcul sur les Nuages). Au lieu d'essayer de forcer les points éparpillés dans une grille rigide ou une séquence spécifique, la nouvelle méthode traite les données davantage comme une collection fluide de mesures qui peuvent être sommées et analysées en fonction de leur forme et de leur densité. Les chercheurs ont construit leur système sur un cadre existant appelé OneFormer3D, qui est déjà capable d'identifier des objets et des surfaces dans l'espace 3D. Cependant, ils ont constaté que le système original traitait les groupes de points de manière trop simpliste, en faisant souvent de simples moyennes ou en choisissant simplement le plus proéminent, ce qui entraînait une perte de détails importants sur la géométrie de la scène. Pour y remédier, l'équipe a introduit trois améliorations spécifiques qui travaillent ensemble pour aider l'ordinateur à « ressentir » la forme de la pièce plutôt qu'à simplement compter les points.

La première amélioration se concentre sur la manière dont l'ordinateur regroupe les points proches. Dans l'ancienne méthode, un groupe de points représentant un mur pouvait être résumé par une simple moyenne, ce qui pouvait gommer la texture ou la légère courbure de la surface. La nouvelle méthode, que les auteurs appellent « Lean Gated Discretized Integration » (Intégration Discrétisée à Porte Étroite), attribue un poids spécifique à chaque point individuel d'un groupe en fonction de ses caractéristiques. Elle combine ensuite ces points pondérés pour créer un résumé qui respecte la géométrie locale. Cela signifie que l'ordinateur peut faire la différence entre un mur plat et un mur avec une fenêtre ou un angle, même si les points sont dispersés de manière inégale. Elle utilise un concept mathématique similaire à la mesure de l'aire sous une courbe, mais appliqué à l'espace 3D, garantissant que le résumé d'une région est sensible à la forme réelle des objets qu'elle contient.

Une fois que l'ordinateur a une bonne compréhension des groupes locaux, il doit connecter cette information à une image plus large. La deuxième amélioration, connue sous le nom de « State-Aware Gated Cross-Attention » (Attention Croisée à Porte Sensible à l'État), agit comme un pont entre les détails locaux et le contexte global. Imaginez un ordinateur essayant d'identifier une chaise ; il doit savoir non seulement à quoi ressemble la chaise de près, mais aussi qu'elle est située dans un salon, et non dans une salle de bain. Le nouveau système maintient une banque de mémoire petite et compacte de l'état de l'ensemble de la scène. Pendant que l'ordinateur traite chaque objet, il peut puiser dans cette banque pour intégrer les informations globales pertinentes. Crucialement, ce système utilise une « porte » pour décider de la quantité de contexte global à mélanger avec les détails locaux, garantissant que l'ordinateur ne soit pas submergé par trop d'informations. Cela permet au système de maintenir une compréhension cohérente de la scène tout en distinguant les objets individuels.

La dernière pièce du puzzle aborde l'ordre dans lequel l'ordinateur traite l'information. La plupart des modèles d'intelligence artificielle traitent les données de manière séquentielle, comme la lecture de mots dans une phrase. Cependant, les nuages de points 3D n'ont pas d'ordre naturel ; il n'y a pas de « premier » point ou de « dernier » point. Les chercheurs ont réalisé que, si les points eux-mêmes sont non ordonnés, les couches du réseau de traitement de l'ordinateur ont un ordre naturel, passant de caractéristiques simples à des caractéristiques complexes. Leur troisième innovation, appelée « Depth-wise Selective Scan Aggregation » (Agrégation par Balayage Sélectif en Profondeur), traite ces couches comme une séquence. Elle permet à l'ordinateur d'examiner l'information circulant à travers le réseau dans les deux sens — vers l'avant et vers l'arrière — le long de la profondeur des couches de traitement. Cela aide le système à affiner sa compréhension en vérifiant ses conclusions antérieures par rapport à ses conclusions ultérieures, créant ainsi une prédiction finale plus stable et plus précise sans jamais avoir besoin de forcer les points 3D dans une ligne artificielle.

Lorsque les chercheurs ont testé ce nouveau système sur deux ensembles de données majeurs de scans 3D intérieurs, connus sous les noms de ScanNetV2 et S3DIS, les résultats ont montré une amélioration claire par rapport à la norme précédente. La nouvelle méthode a obtenu une plus grande précision dans l'identification de la nature de chaque partie de la scène (segmentation sémantique), la séparation des objets individuels les uns des autres (segmentation d'instance) et la réalisation des deux simultanément (segmentation panoptique). Par exemple, sur le jeu de données ScanNetV2, le système a amélioré sa capacité à identifier les objets individuels par une marge faible mais constante, et sa compréhension globale de la disposition de la scène est devenue plus précise. Les chercheurs ont noté que ces gains n'étaient pas limités à un seul domaine, mais étaient répartis sur toutes les tâches, suggérant que la nouvelle approche offre une manière plus équilibrée et robuste de percevoir l'espace 3D.

L'étude comprenait également des vérifications minutieuses pour s'assurer que les améliorations étaient dues au nouveau design et non au hasard. Les chercheurs ont mené plusieurs expériences, modifiant un composant du système à la fois pour voir lesquels étaient responsables du succès. Ils ont découvert que chacun des trois nouveaux composants contribuait au résultat final, la méthode de regroupement des points et la méthode de lecture de l'état global étant particulièrement importantes. Ils ont également vérifié que le système restait stable même lorsque les données étaient pivotées ou décalées, prouvant qu'il apprenait véritablement la forme des objets plutôt que de mémoriser leur position. Bien que les améliorations aient été mesurées en petits pourcentages, les auteurs ont souligné que, dans le domaine de la vision par ordinateur, même une fraction de pourcentage peut représenter une étape significative vers la fiabilité.

Malgré ces succès, les chercheurs sont clairs sur les limites de leur travail. Le système a été testé uniquement sur des scènes intérieures, telles que des pièces et des bâtiments, et il n'a pas encore été prouvé qu'il fonctionne dans des environnements extérieurs à grande échelle comme des rues de ville ou des forêts. Ils ont également noté que, bien que le système soit efficace, il reste de la marge pour améliorer sa vitesse et son utilisation de la mémoire pour des applications en temps réel sur des appareils plus petits. Les auteurs suggèrent que les travaux futurs pourraient explorer comment appliquer ces idées à des scènes dynamiques où les objets sont en mouvement, ou comment les intégrer à d'autres types de capteurs. Pour l'instant, cependant, l'approche « Calculus on Clouds » offre une nouvelle voie prometteuse pour aider les ordinateurs à comprendre la complexité désordonnée, irrégulière et magnifique du monde tridimensionnel, allant au-delà du simple comptage pour une compréhension géométrique plus profonde de l'espace.