How Sampling Strategy Affects Imbalance Mitigation in LiDAR Segmentation: A Study of Structured vs. Random Point-Based Architectures

Stel je een wereld voor waarin zelfrijdende auto's en autonome drones navigeren door met laserstralen te "zien" in plaats van met ogen. Deze machines schieten lichtpulsen af die weerkaatsen op de grond, gebouwen en bomen, en keren terug als een wolk van miljoenen individuele punten. Zo bouwen ze een driedimensionale kaart van hun omgeving. Deze kaarten zijn echter niet perfect in balans. In een typische stadsomgeving raakt de laser de uitgestrekte, vlakke weg of de zijkant van een gebouw duizenden keren vaker dan hij een klein, verafgelegen verkeersbord of een voetganger raakt. Dit creëert een ernstige onbalans: de computer ziet de grote dingen constant, maar merkt de kleine, cruciale details nauwelijks op. Als het brein van de machine niet getraind is om hiermee om te gaan, kan hij met vol vertrouwen een persoon op de stoep negeren omdat hij overweldigd is door de enorme hoeveelheid gegevens over de weg.

Decennialang hebben onderzoekers geprobeerd soortgelijke problemen op te lossen in de standaard 2D-fotografie, waarbij sommige objecten veel minder vaak voorkomen dan andere. Ze ontwikkelden diverse wiskundige trucjes om de computer te dwingen meer aandacht aan de zeldzame items te besteden. Maar wanneer deze zelfde trucs werden toegepast op de chaotische, driedimensionale wereld van laser-puntenwolken, waren de resultaten verwarrend. Sommige methoden werkten wel, terwijl andere het probleem leken te verergeren. De vraag bleef: verandert de manier waarop een computer deze laserpunten samplet de vraag welke trucjes daadwerkelijk werken? Een nieuwe studie door onderzoekers van de Universiteit van Cyprus en het KIOS Research and Innovation Center of Excellence zette zich af om dit te beantwoorden door een breed scala aan oplossingen te testen op echte data.

De onderzoekers richtten zich op twee verschillende manieren waarop computers deze laserwolken verwerken. De eerste methode, gebruikt in een systeem genaamd KPConv, werkt als een zorgvuldige landmeter. Het selecteert punten in een gestructureerd, georganiseerd patroon, waardoor ervoor wordt gezorgd dat elk deel van de scène wordt gesampled met een specifieke geometrische logica. De tweede methode, gebruikt in een systeem genaamd RandLA-Net, is veel chaotischer; het grijpt punten volledig willekeurig, zoals een kind dat handjes zand uit een strand pakt. Het team testte beide systemen tegen drie zeer verschillende datasets: een enorme luchtscank van een stad met een extreme onbalans van 641 op 1, een binnen-scan van een gebouw met een matige onbalans, en een synthetische, door de computer gegenereerde omgeving. Ze pasten elf verschillende strategieën toe om te zien welke de computer hielp de zeldzame objecten het beste te herkennen.

De resultaten leverden een verrassend en duidelijk oordeel op. Het meest voorkomende instinct in het vakgebied — simpelweg de computer vertellen om zeldzame objecten zwaarder te laten wegen op basis van hoe vaak ze voorkomen — bleek een ramp te zijn. Wanneer de onderzoekers deze standaard "inverse-frequentie" weging gebruikten, daalde de prestatie van de computer aanzienlijk, soms met wel 12 procent. In de ergste gevallen faalde het systeem catastrofaal en miste het volledig kleine objecten zoals palen en hekken. De studie sloot deze populaire aanpak expliciet uit, door aan te tonen dat het blindelings vergroten van het belang van zeldzame klassen de modellen juist in de war brengt en het vermogen om de wereld correct te zien verslechtert.

In plaats daarvan vond de studie dat de beste oplossing volledig afhangt van hoe de computer de data samplet. Voor het gestructureerde, landmeter-achtige systeem was de eenvoudigste aanpak vaak de beste. Het gebruik van een uniforme weging, waarbij elke klasse gelijk wordt behandeld zonder speciale wiskundige aanpassingen, presteerde bijna net zo goed als de meest complexe, op maat gemaakte formules. Het verschil was zo klein — minder dan 2 procent — dat de extra inspanning om complexe gewichten te berekenen geen echt voordeel bood. De gestructureerde samplingmethode leek de onbalans van nature goed genoeg te kunnen afhandelen, zodat de computer niet gedwongen hoefde te worden om aandacht aan de zeldzame items te besteden.

Echter, het verhaal was anders voor de willekeurige, chaotische samplingmethode. Omdat dit systeem de natuurlijke geometrische structuur van de scène verwerpt, is het veel gevoeliger voor de onbalans. Hier schoot de eenvoudige uniforme aanpak tekort, waarbij deze achterbleef bij gespecialiseerde technieken met wel 4,6 procent. Voor dit type architectuur vonden de onderzoekers dat een specifieke loss function genaamd LDAM, die aanpast hoe de computer leert van zijn fouten, een merkbare verbetering bood. Toch was er ook hier voorzichtigheid geboden. Andere complexe formules die goed werkten in de 2D-fotografie, zorgden ervoor dat het willekeurige systeem net zo slecht presteerde als de eenvoudige weging in het gestructureerde systeem deed.

De onderzoekers keken ook naar de "vorm" van het leerproces om te begrijpen waarom deze verschillen optraden. Ze ontdekten dat voor het gestructureerde systeem de moeilijkheid van de leeropdracht gekoppeld was aan hoe ongebalanceerd de data was; hoe ongebalanceerder de data, hoe scherper en moeilijker het leerpad werd. Maar voor het willekeurige systeem werd de moeilijkheid gedreven door de fysieke complexiteit van de scène zelf. In rommelige binnenomgevingen met veel dunne objecten zoals stoelen en tafels werd het leerpad grillig en moeilijk te navigeren, ongeacht de aanwezigheid van zeldzame objecten. Dit suggereert dat de willekeurige methode worstelt omdat het de structurele context verliest die de computer helpt de scène te begrijpen.

Uiteindelijk biedt dit werk een praktische gids voor ingenieurs die deze systemen bouwen. Het suggereert dat als u een gestructureerde samplingmethode gebruikt, u de verleiding moet weerstaan om uw oplossing te overontwerpen; een eenvoudige, gelijke behandeling van alle klassen is robuust en effectief. Als u een willekeurige samplingmethode gebruikt, heeft u wel een gespecialiseerd hulpmiddel nodig om de onbalans aan te pakken, maar u moet dit zorgvuldig kiezen, aangezien het verkeerde hulpmiddel het systeem volledig kan breken. De studie concludeert dat er geen enkele "magic bullet" is voor alle 3D-visietaken. In plaats daarvan wordt de effectiviteit van elke oplossing gevormd door een delicate interactie tussen hoe de data wordt verzameld, hoe de computer de data samplet en de specifieke aard van de omgeving die het probeert te begrijpen.