Unsupervised Point Cloud Pre-Training via Contrasting and Clustering

Dit paper introduceert ConClu, een algemeen onbewaakt voortrainingskader voor puntwolken dat contrastlering en clustering combineert om discriminatieve representaties te leren zonder gelabelde data en prestaties op downstream-taken verbetert.

De kern

Stel je voor dat je een enorme doos met losse Lego-blokken hebt. Je wilt een robot leren om uit die losse blokjes prachtige kasten, auto's of dieren te bouwen. Het probleem? De robot heeft geen handleiding. Er staat nergens geschreven welke blokjes bij elkaar horen of hoe ze eruit moeten zien.

In de wereld van 3D-computers (die werken met "puntswolken" in plaats van Lego) is dit precies het probleem. Om een computer slim te maken, moeten mensen normaal gesproken duizenden 3D-objecten met de hand labelen. Dat is als het proberen te leren van een kind door elk blokje met een sticker te voorzien. Het kost eeuwen en is onmogelijk voor complexe taken.

De auteurs van dit paper, ConClu, hebben een slimme truc bedacht om de computer te laten leren zonder die stickers. Ze gebruiken een methode die twee dingen combineert: vergelijken en groeperen.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Grote Idee: Twee Spiegels en een Groepsleider

Stel je voor dat je de computer twee keer naar hetzelfde object laat kijken, maar dan op een heel andere manier.

• De Vergelijking (Contrasting): Je neemt een 3D-object (bijvoorbeeld een stoel) en maakt er twee versies van. De ene versie draai je een beetje, de andere knip je een stukje af en voeg je ruis toe. Voor de computer zijn dit twee verschillende foto's, maar voor ons is het dezelfde stoel.
  • De opdracht: "Kijk naar deze twee versies. Ze moeten er voor jou hetzelfde uitzien, ook al zijn ze anders verpakt." De computer leert hierdoor dat de essentie van de stoel belangrijk is, niet de hoek waarin hij staat.
• De Groepering (Clustering): Nu komt de tweede truc. Stel je voor dat je een klas met leerlingen hebt. Als je ze alleen maar laat vergelijken, kunnen ze allemaal gaan doen alsof ze hetzelfde zijn (een saaie, saaie klas waar iedereen "ja" zegt). Om dit te voorkomen, geef je de computer een taak: "Deel deze stoelen in groepjes in."
  • De opdracht: "Zorg dat stoelen in groepje A lijken op elkaar, en stoelen in groepje B lijken op elkaar, maar dat groepje A heel anders is dan groepje B." Dit dwingt de computer om onderscheid te maken en niet alles als "gewoon een punt" te zien.

2. Waarom is dit zo slim?

In het verleden hadden computers voor dit soort taken duizenden "negatieve voorbeelden" nodig. Dat is als zeggen: "Dit is een stoel, en dit is geen stoel (want het is een auto)." Dat kostte enorm veel rekenkracht en geheugen.

Deze nieuwe methode, ConClu, doet het zonder die negatieve voorbeelden. Het gebruikt een slimme techniek (een "stop-gradient") die ervoor zorgt dat de computer niet in een luie modus schiet waar hij alles hetzelfde maakt. Het is alsof je een spiegel gebruikt die de afbeelding vasthoudt, zodat de computer echt moet nadenken over de verschillen in plaats van alleen maar te gissen.

3. Wat levert het op?

De onderzoekers hebben hun robot getest op verschillende taken:

• Objectherkenning: De robot kon nu veel beter onderscheiden of iets een stoel, een auto of een vliegtuig was, zelfs zonder dat hij ooit een label had gezien. Hij deed het zelfs beter dan de beste robots die tot nu toe bestonden.
• Onderdelen herkennen: De robot kon ook precies zien waar de poten van een stoel zaten en waar het zitvlak begon. Dit is heel lastig, want dat vereist een heel fijnzinnig begrip van het object.

De Conclusie

Kortom, ConClu is een manier om een computer slim te maken door hem te laten spelen met "verdraaide" versies van objecten en hem te dwingen om die in logische groepjes te verdelen. Het is alsof je een kind leert wat een hond is, niet door te zeggen "dit is een hond, dit is geen hond", maar door te zeggen: "Kijk naar deze hond met een hoed en deze hond zonder hoed; ze zijn hetzelfde, maar ze zijn ook anders dan die kat daar."

Dankzij deze methode kunnen we nu veel sneller en goedkoper slimme 3D-systemen bouwen voor toepassingen zoals zelfrijdende auto's, robotica en augmented reality, zonder dat we duizenden mensen nodig hebben om alles handmatig te labelen.

Technische samenvatting

Probleemstelling

Het labelen van grote schaal puntwolken (point clouds) is extreem tijdrovend en vaak onhaalbaar voor complexe real-world taken. Dit creëert een afhankelijkheid van gelabelde data voor het trainen van modellen voor taken zoals objectdetectie, segmentatie en classificatie.
Bestaande methoden voor ongesuperviseerde pre-training vallen vaak in twee categorieën:

1. Generatieve methoden (bijv. auto-encoders, GANs): Deze zijn vaak gevoelig voor geometrische transformaties (rotatie, translatie) omdat ze impliciet aannemen dat objecten binnen een categorie een canonieke houding hebben.
2. Discriminatieve methoden (Contrast Learning): Deze presteren goed, maar vereisen vaak een groot aantal negatieve voorbeelden (negative samples) om te voorkomen dat het model "collapse" (alle inputs naar dezelfde representatie duwen). Dit maakt ze computatie-intensief en afhankelijk van zorgvuldig ontworpen strategieën voor het selecteren van negatieve samples. Zelfs methoden zonder expliciete negatieve paren (zoals BYOL of SimSiam) lopen het risico van representatie-collapse.

Het doel is dus een methode te vinden die geen negatieve samples vereist, robuust is tegen transformaties, en geen collapse optreedt, terwijl het toch state-of-the-art prestaties levert.

Methodologie: Het ConClu Framework

De auteurs stellen ConClu voor, een generiek ongesuperviseerd pre-training framework dat contrast en clustering gelijktijdig integreert. Het framework werkt als volgt:

1. Architectuur en Data Augmentatie:

   • Een invoer puntwolk $P$ ondergaat twee willekeurige augmentaties (bijv. random cropping, rotatie, jittering) om twee verschillende views ($P^a$ en $P^b$) te genereren.
   • Deze views worden verwerkt door een gedeelde encoder (bijv. PointNet of DGCNN) en een projectie-head (MLP).
   • De architectuur is asymmetrisch: één tak gebruikt een voorspeller (predictor) $q$, terwijl de andere tak direct wordt gebruikt als target. Dit is geïnspireerd op SimSiam.

2. Contrast Module (Contrasting):

   • Doel: maximaliseer de overeenkomst tussen de voorspelling van de ene tak ($q^a$) en de projectie van de andere tak ($z^b$).
   • Er wordt gebruikgemaakt van een stop-gradient operatie op de target ($z^b$). Dit voorkomt dat de backpropagation door beide takken tegelijkertijd gaat, wat essentieel is om te voorkomen dat het model convergeert naar een triviale constante oplossing (collapse).
   • De loss wordt berekend als de gemiddelde kwadratische fout (MSE) tussen de genormaliseerde vectoren.

3. Clustering Module:

   • Doel: voorkom collapse door de data te partitioneren in clusters en consistentie te forceren tussen augmentaties.
   • Er worden $J$ leerbare prototype vectoren (clusters) gebruikt.
   • De methoden berekenen "pseudo-labels" voor de samples door de cosine similarity met de prototypes te maximaliseren.
   • Een equipartition constraint wordt toegepast via een optimal transport probleem (opgelost met het Sinkhorn-Knopp algoritme). Dit zorgt ervoor dat prototypes ongeveer even vaak worden toegewezen aan samples binnen een batch, wat diversiteit in de representaties afdwingt.
   • Een orthogonale regularisatie term wordt toegevoegd om te voorkomen dat alle prototypes samenkopen tot één vector.

4. Totale Loss:
   De totale objectief functie is de som van de contrast loss en de clustering loss:
   $$L_{total} = L_{con} + L_{clu}$$

Belangrijkste Bijdragen

• Geen Negatieve Samples: ConClu bereikt state-of-the-art prestaties zonder gebruik te maken van negatieve voorbeelden of grote memory banks, wat de rekenefficiëntie verbetert.
• Hybride Aanpak: De unieke combinatie van contrast learning (voor robuustheid) en clustering (voor het voorkomen van collapse en het structureren van de feature space) in één framework.
• Architectonische Onafhankelijkheid: Het framework is generiek en werkt met verschillende backbone netwerken (geïllustreerd met PointNet en DGCNN).
• Stop-Gradient en Clustering: Een effectieve combinatie van stop-gradient operaties en cluster-constraints om degeneratie te voorkomen zonder expliciete negatieve pairs.

Resultaten

De methode is getest op pre-training met ModelNet40 en fine-tuning op diverse downstream taken:

1. Object Classificatie (ModelNet40 & ModelNet10):

   • PointNet: ConClu bereikte 89.8% nauwkeurigheid op ModelNet40. Dit is beter dan de tweede beste generatieve methode (OcCo: 88.7%) en de contrastieve methode STRL (88.3%), hoewel STRL op een veel groter dataset (ShapeNet) was getraind.
   • DGCNN: ConClu bereikte 91.6% op ModelNet40, wat een verbetering is van 0.7% ten opzichte van STRL.
   • Opmerkelijk: De prestaties van ConClu (met lineaire SVM) overtreffen zelfs volledig gesuperviseerde PointNet-modellen die willekeurig zijn geïnitieerd (89.2%).

2. 3D Part Segmentatie (ShapeNetPart):

   • ConClu presteerde consistent beter dan willekeurige initialisatie en andere ongesuperviseerde methoden (Jigsaw, OcCo).
   • Voor DGCNN werd een mIoU van 85.4% bereikt, een verbetering van 1.0% ten opzichte van OcCo.

3. Ablatie Studies:

   • Het gebruik van alleen de contrast module leverde al goede resultaten op (bijv. 91.2% voor DGCNN op ModelNet40).
   • Het toevoegen van de clustering module verbeterde de prestaties verder (tot 91.6%), wat bewijst dat beide componenten noodzakelijk zijn voor optimale prestaties.

Significantie

ConClu biedt een krachtige oplossing voor het probleem van data-labeling in de 3D-ruimte. Door de afhankelijkheid van negatieve samples en grote batchgroottes te elimineren, maakt het ongesuperviseerde pre-training toegankelijker en efficiënter. De methode demonstreert dat het combineren van contrastieve learning met clustering een robuustere en meer transfererbare feature-representatie oplevert dan bestaande generatieve of puur contrastieve benaderingen. Dit heeft grote implicaties voor de ontwikkeling van 3D-vision systemen in situaties waar gelabelde data schaars of duur is.