From Spherical to Gaussian: A Comparative Analysis of Point Cloud Cropping Strategies in Large-Scale 3D Environments

Résumé technique : De la sphère à la gaussienne : une analyse comparative des stratégies de découpage de nuages de points dans des environnements 3D à grande échelle

Énoncé du problème
Les nuages de points 3D à grande échelle, contenant souvent des centaines de millions de points, dépassent les contraintes mémoire des GPU modernes, rendant leur traitement direct par des réseaux d'apprentissage profond impossible. Par conséquent, ces scènes doivent être divisées en sous-nuages plus petits. L'approche de l'état de l'art (SOTA) prédominante utilise un découpage sphérique ou cubique, qui impose une coupure nette des données. Cette stratégie de « coupe franche » entraîne une perte significative du contexte géométrique environnant, limitant la capacité du modèle à comprendre la scène, en particulier dans les environnements extérieurs à grande échelle où les objets dépassent souvent les limites du découpage. Bien que le découpage des scènes intérieures en pièces individuelles puisse atténuer ce problème en fournissant des contextes fermés, cette approche n'est pas évolutive pour les scènes extérieures et nécessite une connaissance préalable des limites des pièces.

Méthodologie
Les auteurs proposent des stratégies de découpage alternatives qui remplacent la coupure nette du découpage sphérique par des distributions probabilistes. Au lieu de sélectionner des points sur la base d'un rayon fixe, la méthode attribue une probabilité de sélection $p$ à chaque point en fonction de sa distance euclidienne $d$ par rapport à un point central $x_c$. L'article évalue trois distributions spécifiques :

1. Exponentielle : $p = e^{-\lambda d}$
2. Gaussienne : $p = e^{-(d/\sigma_d)^2}$
3. Linéaire : $p = (d_m - d) / d_m$

Celles-ci sont comparées à la méthode sphérique standard ($p=1$ si $d < d_m$, sinon $0$). L'objectif est de maintenir un nombre de points similaire par sous-nuage tout en augmentant significativement l'étendue spatiale (le contexte) du découpage.

Pour assurer une comparaison équitable, les auteurs utilisent une carte de grille d'occupation pour sélectionner les points centraux, garantissant que les mêmes centres sont utilisés pour toutes les stratégies de découpage. L'étude emploie trois architectures distinctes d'apprentissage profond 3D de l'état de l'art :

• OA-CNNs : Un modèle basé sur la discrétisation utilisant des convolutions éparses.
• Point Transformer v3 (PTv3) : Un modèle basé sur les points utilisant des mécanismes d'attention.
• KPConvD : Un modèle basé sur les points utilisant des convolutions à points noyaux.

Les expériences ont été menées sur quatre jeux de données couvrant à la fois des environnements intérieurs (S3DIS) et extérieurs (SemanticBridge, Paris-Lille-3D, Toronto3D). Les modèles ont été entraînés à partir de zéro sans poids pré-entraînés, en utilisant uniquement les coordonnées brutes et, le cas échéant, des informations de couleur ou d'intensité.

Contributions clés

• Stratégies de découpage novatrices : L'introduction de méthodes de découpage exponentiel, gaussien et linéaire qui évitent les limites de coupe franche, préservant ainsi le contexte environnant sans augmenter le nombre total de points par sous-nuage.
• Évaluation empirique approfondie : Une analyse complète à travers plusieurs architectures et jeux de données divers (intérieurs et extérieurs) pour évaluer la robustesse et les performances de ces stratégies.
• Améliorations de l'état de l'art : Démonstration que modifier uniquement la stratégie de découpage, sans modifier l'architecture du réseau sous-jacent, peut produire de nouveaux résultats de l'état de l'art, en particulier pour les scènes extérieures à grande échelle.
• Accessibilité : Les méthodes proposées sont efficaces sur le plan computationnel, faciles à mettre en œuvre et n'introduisent pas de complexité supplémentaire au moment de l'exécution.

Résultats
Les expériences révèlent que l'efficacité de la stratégie de découpage dépend fortement de l'environnement et de l'architecture du modèle :

• Scènes extérieures : Les méthodes proposées surpassent nettement le découpage sphérique standard. Sur le jeu de données SemanticBridge, le découpage gaussien a atteint un nouveau SOTA de plus de 80 % de mIoU. Sur Paris-Lille-3D, le découpage linéaire avec des OA-CNNs a atteint plus de 84 % de mIoU. Sur Toronto3D, le découpage linéaire a produit les meilleures performances pour tous les modèles. L'amélioration est attribuée à l'inclusion d'informations contextuelles plus vastes (par exemple, distinguer les culées de pont des piliers ou identifier les marquages au sol) que les découpes sphériques tronquent souvent.
• Scènes intérieures : Sur le jeu de données S3DIS, les méthodes alternatives ont produit des résultats comparables au découpage sphérique pour les OA-CNNs et les KPConvD, bien qu'elles n'aient pas surpassé les performances des modèles entraînés sur des pièces individuelles pré-découpées (qui bénéficient de contextes entièrement fermés). Fait intéressant, le modèle PTv3 a montré une baisse de performance avec un découpage non uniforme sur les données intérieures, potentiellement dû à sa dépendance envers des distributions de points uniformes ou aux hyperparamètres spécifiques utilisés.
• Robustesse et fusion : L'étude a révélé que les modèles entraînés sur des distributions non uniformes (Gaussienne/Linéaire) sont généralement robustes aux changements de paramètres de découpage lors de l'inférence. De plus, la fusion des prédictions provenant de sous-nuages se chevauchant a systématiquement amélioré les performances finales sur tous les jeux de données, agissant comme une forme d'augmentation des données au moment du test.

Signification et affirmations
L'article affirme que la perte de contexte environnemental causée par le découpage sphérique traditionnel constitue un goulot d'étranglement critique pour la segmentation sémantique 3D dans les scènes à grande échelle. En découplant la stratégie de découpage de l'architecture d'apprentissage profond, les auteurs démontrent qu'une modification simple de la distribution des données d'entrée peut améliorer significativement les performances du modèle.

Les auteurs soulignent que leur approche est particulièrement impactante pour les environnements extérieurs où les objets sont grands et le contexte est épars. Ils soutiennent que, tandis que les scènes intérieures sont souvent délimitées par des murs (permettant un découpage basé sur les pièces), les scènes extérieures nécessitent une méthode qui capture un contexte étendu sans la pénalité computationnelle du traitement de nuages de points massifs. Le travail suggère que les recherches futures devraient explorer des méthodes d'échantillonnage de points plus sophistiquées et une sélection de centres consciente de l'incertitude, mais établit actuellement que le découpage probabiliste est une intervention hautement efficace et peu coûteuse pour améliorer la compréhension 3D.