CLAP: Unsupervised 3D Representation Learning for Fusion 3D Perception via Curvature Sampling and Prototype Learning

Het paper introduceert CLAP, een onbewaakte methode voor gezamenlijke 3D-perceptie die via krommingssampling en leerbare prototypes de complementaire voordelen van afbeeldingen en puntwolken benut om de prestaties van fusieperceptie tot wel 100% te verbeteren ten opzichte van bestaande methoden.

De kern

🚗 CLAP: De Slimme Leraar voor Zelfrijdende Auto's

Stel je voor dat je een zelfrijdende auto wilt trainen. Deze auto heeft twee belangrijke zintuigen:

1. Een camera (die foto's ziet, maar geen diepte voelt).
2. Een LiDAR-sensor (die een 3D-puntewolk maakt, maar geen kleuren of details ziet).

Om de auto veilig te laten rijden, moeten we deze twee zintuigen laten samenwerken. Het probleem? Het labelen van duizenden foto's en 3D-punten is extreem duur en tijdrovend. Het is alsof je een kind moet leren wat een "auto" is door duizenden foto's één voor één met de naam "auto" te bestempelen.

CLAP is een nieuwe methode die dit probleem oplost. Het is een manier om de auto te leren zonder dat iemand handmatig hoeft te labelen. Het doet dit door slim te "kijken" en te "luisteren" naar de data.

Hier zijn de drie magische trucs die CLAP gebruikt:

1. De "Krul-Filter" (Curvature Sampling)

Het probleem: Een 3D-wolk van een straat bevat miljoenen punten. De meeste punten zijn saai: ze zitten op een platte weg of een lege muur. Als je probeert om alle punten tegelijk te verwerken, wordt je computer (GPU) overbelast. Het is alsof je probeert een heel boek te lezen terwijl je tegelijkertijd een marathon loopt; het lukt niet.

De CLAP-oplossing: In plaats van naar alles te kijken, kijkt CLAP alleen naar de interessante plekken.

• De Metafoor: Denk aan het krullen van een krulhaar. Een platte weg is als een rechte harenstreng (saai, weinig informatie). De rand van een auto of een boom is als een strakke krul (veel informatie).
• CLAP berekent de "krul" (kromming) van de objecten. Het negeert de saaie, platte wegen en focust zich puur op de krullende randen van auto's, bomen en gebouwen.
• Resultaat: De computer hoeft niet meer alles te verwerken, maar alleen de "krullen". Hierdoor kunnen ze de camera en de LiDAR gelijktijdig trainen, wat voorheen te zwaar was.

2. De "Meester-Deelkaarten" (Learnable Prototypes)

Het probleem: Zelfs als we de data samenvoegen, weten we niet direct wat een "deel" van een object is. Hoe koppelen we een stukje foto van een wiel aan een stukje 3D-punt van datzelfde wiel?

De CLAP-oplossing: CLAP gebruikt een set van leerbare kaarten (prototypes).

• De Metafoor: Stel je voor dat je een enorme legpuzzel hebt, maar je hebt geen doosje met de foto erop. CLAP maakt een set van "magische puzzelstukjes" (de prototypes).
• Tijdens het leren probeert het systeem: "Past dit stukje weg bij puzzelstukje A? Past dit stukje auto bij puzzelstukje B?"
• Het systeem leert dat alle stukjes van de weg naar één specifiek puzzelstukje moeten, en alle stukjes van auto's naar een ander.
• Resultaat: De camera (die de foto ziet) en de LiDAR (die de vorm ziet) komen tot dezelfde conclusie over wat een "stukje weg" of "stukje auto" is, zonder dat iemand hen verteld heeft hoe het heet. Ze leren een gemeenschappelijke taal.

3. De "Ruil-Quiz" (Swapping Prediction)

Het probleem: Soms kan het systeem in de war raken en denken dat alles hetzelfde is (bijvoorbeeld dat de weg en de auto precies hetzelfde zijn). Dit noemen we "instorten" (collapse).

De CLAP-oplossing: Ze gebruiken een slimme quiz.

• De Metafoor: Stel je voor dat je twee vrienden hebt. Je geeft vriend A een foto van een auto en vriend B een 3D-punt van een auto. Vervolgens vraag je: "Welk stukje van de foto hoort bij welk 3D-punt?"
• Als ze het goed doen, krijgen ze een punt. Als ze denken dat alles hetzelfde is, krijgen ze geen punt.
• Daarnaast zorgt een extra regel (Gram Matrix Regularization) ervoor dat de "magische puzzelstukjes" allemaal verschillend blijven. Ze mogen niet allemaal op elkaar gaan lijken.

🏆 Wat levert dit op?

De auteurs hebben CLAP getest op twee grote datasets (NuScenes en Waymo), die bestaan uit echte data van zelfrijdende auto's.

• Het resultaat: CLAP presteert tot 100% beter dan de beste vorige methoden.
• De vergelijking: Als de vorige methoden een auto leerden om 50% van de auto's te herkennen, leerde CLAP er 100% meer bij (dus een enorme sprong voorwaarts).
• Toekomst: Hoe minder data je hebt om de auto te testen (bijvoorbeeld maar 0,5% van de data), hoe groter het voordeel van CLAP. Dit betekent dat CLAP heel goed schaalbaar is en in de toekomst nog slimmer kan worden als we meer data toevoegen.

Samenvattend

CLAP is als een slimme leraar die een kind leert rijden zonder dat iemand de wegkaart hoeft te tekenen. Het kind (de computer) leert zelf:

1. Kijk alleen naar de randen en krullen (niet naar de saaie weg).
2. Gebruik magische puzzelstukjes om te begrijpen wat een auto is.
3. Doe een ruil-quiz om zeker te weten dat je het goed hebt.

Hierdoor wordt het trainen van zelfrijdende auto's sneller, goedkoper en veiliger.

Technische samenvatting

Probleemstelling

Onbewaakte (unsupervised) 3D-representatielerening is essentieel om de zware last van het labelen van multimodale 3D-data (zoals voor autonoom rijden) te verminderen. Hoewel methoden op basis van differentieerbaar rendering (differentiable rendering) veelbelovend zijn, hebben bestaande werken een fundamenteel tekort: ze trainen de encoders voor beelden (camera) en puntwolken (LiDAR) apart.

De reden hiervoor is de enorme rekenkosten. Het verwerken van volledige puntwolken en beelden tegelijkertijd voor pre-training is zo zwaar dat zelfs de meest geavanceerde GPU's slechts een batchgrootte van 1 kunnen hanteren. Hierdoor wordt het wederzijdse voordeel van hoge-level semantiek (uit beelden) en 3D-structuur (uit puntwolken) niet benut. Bestaande methoden zoals UniPAD pre-trainen dus gescheiden, wat leidt tot een beperking in het leren van de interactie tussen de modaliteiten.

Methodologie: CLAP

De auteurs stellen CLAP (Curvature sampLing and leArnable Prototype) voor, een methode voor gezamenlijke (joint) onbewaakte pre-training van beeld- en puntwolkencoders via differentieerbaar rendering. De aanpak bestaat uit drie kerncomponenten:

1. Curvature Sampling (Krachtsampling):
   Om de rekenlast te verlagen en gezamenlijke training mogelijk te maken, selecteert CLAP niet willekeurig punten, maar kiest het de meest informatieve delen van de scène.

   • Het idee is dat vlakke oppervlakken (zoals de weg) minder informatie bevatten dan oppervlakken met een hoge kromming (zoals voertuigen).
   • De methode schat de kromming van elk punt in de 3D-ruimte door de tweede orde afgeleide te nemen van de Signed Distance Field (SDF) functie.
   • Punten met een hogere kromming krijgen een hogere weging en worden vaker gesampled voor de reconstructieloss. Dit vermindert de GPU-geheugenvraag aanzienlijk (<1% overhead) en maakt het mogelijk om beide modaliteiten gelijktijdig te verwerken.

2. Leerbaar Prototypen (Learnable Prototypes) & EM-training:
   Om de complementariteit tussen beelden en puntwolken te benutten, introduceert CLAP een gemeenschappelijke feature-ruimte.

   • Er worden een reeks leerbare prototypen ($K$) geïnitieerd die delen van de 3D-scène representeren.
   • Een Expectation-Maximization (EM) trainingschema wordt gebruikt om de embeddings van elke modaliteit (LiDAR en camera) aan deze prototypen te koppelen, zodat de prototypen representatieve delen van de omgeving leren.

3. Interactie en Stabiliteit:

   • Swapping Prediction Loss: Om de interactie tussen de modaliteiten te exploreren, wordt een "swapping" loss gebruikt. Deze loss voorspelt welke prototype aan een embedding van de ene modaliteit hoort, gebaseerd op de embedding van de andere modaliteit (geïnspireerd door SwAV).
   • Gram Matrix Regularization: Om te voorkomen dat alle prototypen naar hetzelfde vector "instorten" (collapse), wordt een regularisatieterm toegevoegd die de gelijkenis tussen de prototypen minimaliseert (door de niet-diagonale elementen van de Gram-matrix te minimaliseren).

Belangrijkste Bijdragen

1. Eerste gezamenlijke pre-training: CLAP is de eerste methode die onbewaakte pre-training voor fusie-perceptie (beeld + LiDAR) mogelijk maakt via differentieerbaar rendering, dankzij de Curvature Sampling strategie.
2. Gemeenschappelijke feature-ruimte: Het gebruik van leerbare prototypen en een EM-schema om een gedeelde ruimte te creëren die de interactie tussen 3D-geometrie en beeldsemantiek faciliteert.
3. Nieuwe Loss-functies: De introductie van een swapping prediction loss voor modaliteitsinteractie en een Gram Matrix Regularization voor trainingsstabiliteit.
4. Schaalbaarheid: Bewijs dat de methode schaalbaar is en grotere prestatieverbeteringen levert naarmate de verhouding tussen pre-training data en fine-tuning data toeneemt.

Resultaten

De methode is geëvalueerd op de populaire datasets NuScenes en Waymo voor de taak van 3D-objectdetectie.

• NuScenes: CLAP bereikte een verbetering van 2,48% in mAP (mean Average Precision) ten opzichte van willekeurige initialisatie. Dit is een 100% grotere verbetering dan de huidige state-of-the-art methode UniPAD. Ook voor de NDS (NuScenes Detection Score) werd een verbetering van 1,76% behaald.
• Waymo: CLAP behaalde de beste prestaties bij convergentie, met een winst die ongeveer twee keer zo groot was als die van de beste vorige pre-training methoden (zoals OCC-MAE).
• Schaalbaarheid: Bij een drastische vermindering van de fine-tuning data (van 5% naar 0,5%), nam de prestatiewinst van CLAP toe tot wel 7,22% mAP, wat aantoont dat de methode zeer effectief is bij het benutten van grote hoeveelheden ongelabelde data.
• Ablatie-studies: Deze bevestigden dat zowel Curvature Sampling als Prototype Learning essentieel zijn voor de prestaties; het gebruik van uniforme sampling (zoals in UniPAD) zonder deze innovaties leverde geen verbetering op ten opzichte van gescheiden training.

Betekenis

CLAP markeert een belangrijke stap voorwaarts in 3D-perceptie voor autonoom rijden. Het doorbreekt de barrière van rekenkosten die eerder gezamenlijke training van multimodale data onmogelijk maakte. Door de complementariteit van camera's (semantiek) en LiDAR (geometrie) effectief te combineren in een onbewaakte setting, vermindert CLAP de afhankelijkheid van dure handmatige labels en verbetert het de sample-efficiëntie voor downstream taken aanzienlijk. De methode biedt een veelbelovende richting voor het schalen van 3D-representatielerening naar nog grotere datasets in de toekomst.