From Spherical to Gaussian: A Comparative Analysis of Point Cloud Cropping Strategies in Large-Scale 3D Environments

Technische Samenvatting: Van Sferisch naar Gaussisch: Een Comparatieve Analyse van Strategieën voor het Croppen van Point Clouds in Grootformaat 3D-omgevingen

Probleemstelling
Grootformaat 3D-point clouds, die vaak honderden miljoenen punten bevatten, overschrijden de geheugenbeperkingen van moderne GPU's, waardoor directe verwerking door deep learning-netwerken onhaalbaar is. Bijgevolg moeten deze scènes worden opgedeeld in kleinere subclouds. De heersende state-of-the-art (SOTA)-benadering maakt gebruik van sferische of kubische cropping, wat een harde afsnijding van de data oplegt. Deze "clear-cut"-strategie resulteert in een aanzienlijk verlies aan omringende geometrische context, wat de mogelijkheid van het model beperkt om de scène te begrijpen, met name in grootformaat buitenomgevingen waar objecten vaak verder reiken dan de cropgrenzen. Hoewel het splitsen van binnenruimtes in individuele kamers dit kan mitigeren door ingesloten contexten te bieden, is deze aanpak niet schaalbaar naar buitenomgevingen en vereist voorafgaande kennis van kamergrenzen.

Methodologie
De auteurs stellen alternatieve cropping-strategieën voor die de harde afsnijding van sferische cropping vervangen door probabilistische verdelingen. In plaats van punten te selecteren op basis van een vaste straal, kent de methode een selectieprobabiliteit $p$ toe aan elk punt op basis van zijn Euclidische afstand $d$ tot een centraal punt $x_c$. Het artikel evalueert drie specifieke verdelingen:

1. Exponentieel: $p = e^{-\lambda d}$
2. Gaussisch: $p = e^{-(d/\sigma_d)^2}$
3. Lineair: $p = (d_m - d) / d_m$

Deze worden vergeleken met de standaard sferische methode ($p=1$ als $d < d_m$, anders $0$). Het doel is om een vergelijkbaar aantal punten per subcloud te behouden, terwijl de ruimtelijke uitbreiding (context) van de crop aanzienlijk wordt vergroot.

Om een eerlijke vergelijking te waarborgen, gebruiken de auteurs een bezettingsgrid-kaart om centrale punten te selecteren, waardoor wordt gegarandeerd dat dezelfde centra worden gebruikt voor alle cropping-strategieën. De studie maakt gebruik van drie verschillende SOTA 3D deep learning-architecturen:

• OA-CNN's: Een op discretisatie gebaseerd model dat sparse convoluties gebruikt.
• Point Transformer v3 (PTv3): Een op punten gebaseerd model dat attentie-mechanismen gebruikt.
• KPConvD: Een op punten gebaseerd model dat kernel point convoluties gebruikt.

Experimenten werden uitgevoerd op vier datasets die zowel binnen (S3DIS) als buiten (SemanticBridge, Paris-Lille-3D, Toronto3D) omgevingen bestrijken. De modellen werden vanaf nul getraind zonder vooraf getrainde gewichten, uitsluitend met ruwe coördinaten en, waar beschikbaar, kleur- of intensiteitsinformatie.

Belangrijkste Bijdragen

• Nieuwe Cropping-strategieën: De introductie van exponentiële, gaussische en lineaire cropping-methode die duidelijke grenzen vermijden, waardoor de omringende context wordt behouden zonder het totale aantal punten per subcloud te verhogen.
• Uitgebreide Empirische Evaluatie: Een grondige analyse over meerdere architecturen en diverse datasets (binnen en buiten) om de robuustheid en prestaties van deze strategieën te evalueren.
• SOTA-verbeteringen: Aantonen dat het wijzigen van de cropping-strategie alleen, zonder de onderliggende netwerkarchitectuur aan te passen, nieuwe state-of-the-art resultaten kan opleveren, met name voor grootformaat buiten scènes.
• Toegankelijkheid: De voorgestelde methoden zijn computatie-efficiënt, eenvoudig te implementeren en introduceren geen extra runtime-complexiteit.

Resultaten
De experimenten tonen aan dat de effectiviteit van de cropping-strategie sterk afhankelijk is van de omgeving en de modelarchitectuur:

• Buiten scènes: De voorgestelde methoden presteren aanzienlijk beter dan standaard sferische cropping. Op de SemanticBridge-dataset behaalde gaussische cropping een nieuwe SOTA van meer dan 80% mIoU. Op Paris-Lille-3D behaalde lineaire cropping met OA-CNN's meer dan 84% mIoU. Op Toronto3D leverde lineaire cropping de beste prestaties voor alle modellen. De verbetering wordt toegeschreven aan de opname van grotere contextuele informatie (bijvoorbeeld het onderscheiden van brugpijlers van pijlers of het identificeren van wegmarkeringen), wat sferische crops vaak afsnijden.
• Binnen scènes: Op de S3DIS-dataset produceerden de alternatieve methoden resultaten die vergelijkbaar waren met sferische cropping voor OA-CNN's en KPConvD, hoewel ze de prestaties van modellen die waren getraind op vooraf gesplitste individuele kamers (die profiteren van volledig ingesloten contexten) niet overtroffen. Interessant is dat het PTv3-model een prestatiedaling vertoonde bij niet-uniforme cropping op binnen-data, mogelijk vanwege de afhankelijkheid van uniforme puntverdelingen of de specifieke hyperparameters die werden gebruikt.
• Robuustheid en Fusie: De studie vond dat modellen die zijn getraind op niet-uniforme verdelingen (Gaussisch/Lineair) over het algemeen robuust zijn tegen veranderingen in cropping-parameters tijdens inferentie. Bovendien verbeterde het fuseren van voorspellingen van overlappende subclouds consistent de uiteindelijke prestaties over alle datasets, wat fungeerde als een vorm van testtijd-augmentatie.

Betekenis en Claims
Het artikel beweert dat het verlies aan omgevingscontext veroorzaakt door traditionele sferische cropping een kritieke bottleneck is voor 3D semantische segmentatie in grootformaat scènes. Door de cropping-strategie te ontkoppelen van de deep learning-architectuur, tonen de auteurs aan dat een eenvoudige wijziging in de verdeling van de invoergegevens de modelprestaties aanzienlijk kan verbeteren.

De auteurs benadrukken dat hun aanpak vooral impact heeft voor buitenomgevingen waar objecten groot zijn en context schaars. Zij betogen dat, terwijl binnenruimtes vaak worden begrensd door muren (wat splitsing op basis van kamers mogelijk maakt), buitenomgevingen een methode vereisen die uitgebreide context vastlegt zonder de computatiekosten van het verwerken van enorme point clouds. Het werk suggereert dat toekomstig onderzoek meer geavanceerde methoden voor puntbemonstering en selectie van centra met onzekerheidsbewustzijn moet verkennen, maar stelt momenteel vast dat probabilistische cropping een zeer effectieve, goedkope interventie is om 3D-begrip te verbeteren.