Adaptive Margin Based Metric Learning for Unbalanced Point Cloud Classification and Retrieval

In de wereld van driedimensionale visie leren computers de fysieke wereld niet te zien als platte plaatjes, maar als verzamelingen van punten in de ruimte. Dit is hoe moderne sensoren, zoals die op zelfrijdende auto's of in virtual reality-headsets, objecten vastleggen: als wolken van stippen die oppervlakken en vormen in kaart brengen. Om te begrijpen waarnaar het kijkt, moet een computer deze wolken in categorieën sorteren, zoals het onderscheiden van een stoel van een tafel, en vervolgens vergelijkbare items vinden binnen een enorme database. Dit proces, bekend als classificatie en retrieval, rust zwaar op deep learning, een vorm van kunstmatige intelligentie die leert door middel van voorbeelden. Echter, een hardnekkig probleem heeft deze systemen geteisterd: de data waarvan ze leren is zelden eerlijk. In de echte wereld zijn sommige categorieën objecten overvloedig aanwezig in de trainingsdata, terwijl andere zeldzaam zijn. Wanneer een computer wordt getraind op een dergelijke ongebalanceerde dieet, heeft hij de neiging uitstekend te worden in het herkennen van de veelvoorkomende items, maar worstelt hij aanzienlijk met de zeldzame, waarbij hij vaak faalt om deze te onderscheiden of ze terug te vinden in een zoekopdracht.

Een team onderzoekers van de Guilin University of Electronic Technology en Xidian University heeft een nieuwe aanpak ontwikkeld om dit specifieke probleem van onbalans in 3D-objectherkenning op te lossen. Hun werk richt zich op het aanleren aan de computer om elke categorie met de juiste mate van aandacht te behandelen, ongeacht hoeveel voorbeelden hij heeft gezien. In plaats van een standaardmethode te gebruiken die dezelfde regels toepast op elke groep objecten, creëerden zij een systeem dat zijn leerstrategie automatisch aanpast op basis van hoe algemeen of zeldzaam een specifiek objecttype is. Door dit te doen, leert de computer extra aandacht te besteden aan de zeldzame klassen, waardoor hij een schaars type stoel net zo goed kan herkennen als een veelvoorkomend exemplaar. Het resultaat is een systeem dat niet alleen 3D-vormen nauwkeuriger identificeert, maar deze ook met een veel hogere precisie uit een database ophaalt, terwijl het zeer weinig rekenkracht gebruikt.

De kern van deze nieuwe methode ligt in de manier waarop de computer de afstand tussen verschillende vormen meet. In traditionele systemen probeert de computer verschillende categorieën uit elkaar te duwen en vergelijkbare items naar elkaar toe te treken met een vaste regel, vergelijkbaar met een leraar die dezelfde beoordelingscurve toepast op elke student. De onderzoekers ontdekten dat deze vaste aanpak faalt wanneer sommige "studenten" (objectcategorieën) zeer weinig voorbeelden hebben om te bestuderen. Om dit op te lossen, introduceerden zij een adaptieve marge, een flexibele regel die de moeilijkheidsgraad van de leer taak voor elke categorie verandert. Voor een categorie met zeer weinig monsters wijst het systeem een grotere marge toe om een duidelijke scheiding te garanderen tussen dat zeldzame object en de rest. Voor een categorie met duizenden monsters wordt de marge kleiner toegewezen, zodat de computer zich kan concentreren op het compact bij elkaar houden van die vele voorbeelden. Deze dynamische aanpassing zorgt ervoor dat de computer de zeldzame items niet negeert, simpelweg omdat ze minder vaak voorkomen in de trainingsdata.

Om de manier waarop de computer deze vormen begrijpt verder te verbeteren, voegden de onderzoekers twee nieuwe structurele componenten toe aan het neurale netwerk. Ten eerste ontwieren zij een manier voor de computer om de kenmerken van het object tegelijkertijd op verschillende detailniveaus te bekijken, waarbij brede vormen worden gecombineerd met fijne oppervlaktestructuren. Dit is vergelijkbaar met hoe een mens naar een stoel zou kunnen kijken en zowel het algemene silhouet als de specifieke kromming van de poot tegelijkertijd opmerkt, in plaats van slechts één van beide. Ten tweede creëerden zij een lichtgewicht module om de puntenwolken uit te lijnen voordat de computer begint te leren. Aangezien 3D-objecten in elke richting kunnen worden gedraaid of gekanteld, roteert deze module de data naar een standaard, rechtopstaande positie, waardoor het voor het systeem veel gemakkelijker wordt om het object te herkennen, ongeacht hoe het oorspronkelijk is gescand. Deze uitlijningsstap is cruciaal omdat het de verwarring wegneemt die wordt veroorzaakt door willekeurige hoeken, waardoor de computer zich puur op de vorm kan concentreren.

De onderzoekers testten hun methode op twee grote, bekende datasets die duizenden 3D-modellen bevatten, variërend van eenvoudige huishoudelijke artikelen tot complexe mechanische onderdelen. In de eerste test, gebruikmakend van een dataset met veertig verschillende categorieën, bereikte hun systeem een classificatienauwkeurigheid van 93,7 procent, waarmee het de beste bestaande methoden die puntenwolken gebruiken licht versloeg. Belangrijker nog, wanneer gevraagd werd om vergelijkbare objecten uit een database op te halen, bereikte hun systeem een prestatiescore van 92,3 procent, wat aanzienlijk hoger was dan welke andere methode gebaseerd op puntenwolken dan ook, en zelfs systemen die meerdere camerabeelden gebruiken om het object vanuit verschillende hoeken te zien, overtrof. In een tweede, meer uitdagende test met een dataset van vijfenvijftig categorieën waarbij de objecten willekeurig geroteerd waren, leidde hun methode opnieuw het veld in kwaliteit van retrieval, wat bewees dat het de juiste objecten kan vinden, zelfs wanneer de vorm op onvoorspelbare manieren gedraaid is.

Wat deze prestatie bijzonder opmerkelijk maakt, is de efficiëntie van het systeem. Terwijl andere hoogpresterende methoden vaak enorme hoeveelheden rekenkracht of complexe opstellingen met meerdere camera's vereisen, werkt deze nieuwe aanpak met één enkele set punten en gebruikt het een fractie van de verwerkingsbronnen. Het gehele systeem vereist minder dan een half miljoen parameters, een maatstaf voor de complexiteit van het systeem, en draait snel op standaard computerhardware. Dit betekent dat de technologie kan worden ingezet in real-world toepassingen, zoals op robots of in mobiele apparaten, waar snelheid en laag stroomverbruik essentieel zijn. De onderzoekers hebben aangetoond dat door simpelweg te veranderen hoe de computer leert van ongebalanceerde data en door de interne kenmerken effectiever te organiseren, het mogelijk is om een 3D-visiesysteem te bouwen dat zowel zeer nauwkeurig als ongelooflijk efficiënt is.

De studie concludeert dat de sleutel tot betere 3D-herkenning niet alleen het hebben van meer data is, maar het hebben van een slimmere manier om de data die al beschikbaar is te gebruiken. Door de leerregels aan te passen aan de specifieke behoeften van elke objectcategorie en door te verfijnen hoe de computer ruimtelijke informatie verwerkt, hebben de onderzoekers een hulpmiddel gecreëerd dat de rommelige realiteit van ongebalanceerde datasets met gratie afhandelt. Hun werk suggereert dat de toekomst van 3D-objectherkenning ligt in deze adaptieve, efficiënte systemen die kunnen leren van de wereld zoals die is, met al haar variaties en onbalans, in plaats van de wereld te dwingen in een rigide, geïdealiseerd model te passen.