How Sampling Strategy Affects Imbalance Mitigation in LiDAR Segmentation: A Study of Structured vs. Random Point-Based Architectures

Imaginez un monde où les voitures autonomes et les drones naviguent en « voyant » avec des faisceaux laser plutôt qu'avec des yeux. Ces machines tirent des impulsions de lumière qui rebondissent sur le sol, les bâtiments et les arbres, revenant sous la forme d'un nuage de millions de points individuels. C'est ainsi qu'elles construisent une carte tridimensionnelle de leur environnement. Cependant, ces cartes ne sont pas parfaitement équilibrées. Dans une scène urbaine typique, le laser frappe l'immense étendue plate de la route ou le côté d'un bâtiment des milliers de fois plus souvent qu'il ne frappe un petit panneau de signalisation lointain ou un piéton. Cela crée un déséquilibre sévère : l'ordinateur voit constamment les grandes choses mais remarque à peine les petits détails critiques. Si le cerveau de la machine n'est pas entraîné pour gérer cela, il pourrait ignorer avec assurance une personne debout sur le trottoir parce qu'il a été submergé par le volume colossal de données concernant la route.

Pendant des décennies, des chercheurs ont tenté de corriger des problèmes similaires dans la photographie 2D standard, où certains objets apparaissent beaucoup moins souvent que d'autres. Ils ont développé diverses astuces mathématiques pour forcer l'ordinateur à prêter plus d'attention aux éléments rares. Mais lorsque ces mêmes astuces ont été appliquées au monde chaotique et tridimensionnel des nuages de points laser, les résultats ont été déroutants. Certaines méthodes fonctionnaient, tandis que d'autres semblaient aggraver le problème. La question restait de savoir si la façon dont un ordinateur échantillonne ces points laser modifie l'efficacité de ces astuces. Une nouvelle étude menée par des chercheurs de l'Université de Chypre et du Centre d'Excellence de Recherche et d'Innovation KIOS s'est donné pour mission de répondre à cela en testant un large éventail de solutions sur des données réelles.

Les chercheurs se sont concentrés sur deux manières différentes dont les ordinateurs traitent ces nuages laser. La première méthode, utilisée dans un système appelé KPConv, agit comme un géomètre méticuleux. Elle sélectionne des points selon un motif structuré et organisé, garantissant que chaque partie de la scène est échantillonnée avec une logique géométrique spécifique. La seconde méthode, utilisée dans un système appelé RandLA-Net, est beaucoup plus chaotique ; elle saisit des points de manière totalement aléatoire, comme un enfant attrapant des poignées de sable sur une plage. L'équipe a testé les deux systèmes contre trois ensembles de données très différents : un scan aérien massif d'une ville présentant un déséquilibre extrême de 641 contre un, un scan intérieur d'un bâtiment avec un déséquilibre modéré, et un environnement synthétique généré par ordinateur. Ils ont appliqué onze stratégies différentes pour voir laquelle aidait le mieux l'ordinateur à reconnaître les objets rares.

Les résultats ont livré un verdict aussi surprenant que clair. L'instinct le plus courant dans le domaine — consiste simplement à dire à l'ordinateur de donner plus de poids aux objets rares en fonction de leur fréquence d'apparition — s'est avéré être un désastre. Lorsque les chercheurs ont utilisé cette pondération standard par « fréquence inverse », la performance de l'ordinateur a chuté de manière significative, parfois de l'ordre de 12 %. Dans les cas les plus graves, le système a échoué de manière catastrophique, manquant complètement de petits objets comme des poteaux et des clôtures. L'étude a explicitement écarté cette approche populaire, montrant qu'augmenter aveuglément l'importance des classes rares confond en réalité le modèle et dégrade sa capacité à voir le monde correctement.

Au lieu de cela, l'étude a révélé que la meilleure solution dépend entièrement de la manière dont l'ordinateur échantillonne les données. Pour le système structuré, semblable à un géomètre, l'approche la plus simple était souvent la meilleure. Utiliser une pondération uniforme, où chaque classe est traitée de manière égale sans aucun ajustement mathématique spécial, a donné des résultats presque aussi bons que les formules les plus complexes et sur mesure. La différence était si infime — moins de 2 % — que l'effort supplémentaire pour calculer des poids complexes n'offrait aucun avantage réel. La méthode d'échantillonnage structuré semblait gérer naturellement le déséquilibre suffisamment bien pour que l'ordinateur n'ait pas besoin d'être forcé de prêter attention aux éléments rares.

Cependant, l'histoire était différente pour la méthode d'échantillonnage aléatoire et chaotique. Parce que ce système rejette la structure géométrique naturelle de la scène, il est beaucoup plus sensible au déséquilibre. Ici, l'approche simple et uniforme a échoué, accusant un retard de jusqu'à 4,6 % par rapport aux techniques spécialisées. Pour ce type d'architecture, les chercheurs ont découvert qu'une fonction de perte spécifique appelée LDAM, qui ajuste la manière dont l'ordinateur apprend de ses erreurs, offrait une amélioration notable. Pourtant, même ici, la prudence était de mise. D'autres formules complexes qui fonctionnaient bien en photographie 2D ont fait échouer le système aléatoire aussi lamentablement que la pondération simple l'avait fait pour le système structuré.

Les chercheurs ont également examiné la « forme » du processus d'apprentissage pour comprendre pourquoi ces différences se produisaient. Ils ont découvert que pour le système structuré, la difficulté de la tâche d'apprentissage était liée au degré de déséquilibre des données ; plus les données étaient déséquilibrées, plus le chemin d'apprentissage devenait abrupt et difficile. Mais pour le système aléatoire, la difficulté était dictée par la complexité physique de la scène elle-même. Dans les environnements intérieurs encombrés avec de nombreux objets fins comme des chaises et des tables, le chemin d'apprentissage devenait accidenté et difficile à naviguer, quel que soit le nombre d'objets rares présents. Cela suggère que la méthode aléatoire peine car elle perd le contexte structurel qui aide l'ordinateur à donner un sens à la scène.

En fin de compte, ce travail fournit un guide pratique pour les ingénieurs concevant ces systèmes. Il suggère que si vous utilisez une méthode d'échantillonnage structurée, vous devriez éviter la tentation de sur-optimiser votre solution ; un traitement simple et égal de toutes les classes est robuste et efficace. Si vous utilisez une méthode d'échantillonnage aléatoire, vous avez effectivement besoin d'un outil spécialisé pour gérer le déséquilibre, mais vous devez le choisir avec soin, car le mauvais outil peut briser le système entièrement. L'étude conclut qu'il n'existe pas de solution miracle unique pour toutes les tâches de vision 3D. Au contraire, l'efficacité de toute solution est façonnée par une interaction délicate entre la manière dont les données sont collectées, la façon dont l'ordinateur les échantillonne et la nature spécifique de l'environnement qu'il tente de comprendre.