TREND: Unsupervised 3D Representation Learning via Temporal Forecasting for LiDAR Perception

Deze paper introduceert TREND, een nieuwe onbewaakte methode voor 3D-representatieleren die gebruikmaakt van temporele voorspelling en differentieerbare rendering om LiDAR-perceptie aanzienlijk te verbeteren ten opzichte van bestaande technieken.

De kern

Stel je voor dat je een auto bestuurt die volledig op zijn eigen ogen moet vertrouwen om veilig te rijden. Die "ogen" zijn LiDAR-sensoren: laserapparaten die een driedimensionale kaart van de wereld om hen heen maken, punt voor punt. Het probleem? Om deze auto's slim te maken, moeten mensen duizenden van deze kaarten handmatig labelen (bijvoorbeeld: "dit is een auto", "dat is een fietser"). Dat is net zo vermoeiend als het proberen te tellen van alle zandkorrels op een strand.

De onderzoekers van dit papier, TREND, hebben een slimme oplossing bedacht: laat de auto zelf leren door te kijken naar wat er gaat gebeuren, in plaats van te wachten op een leraar.

Hier is de uitleg in gewone taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Stille" Camera

Bestaande methoden om auto's te trainen zonder labels, doen vaak alsof de wereld stilstaat. Ze nemen een foto (of een LiDAR-scan), verbergen een stukje ervan en vragen de computer: "Wat zat hier?" of ze vergelijken twee foto's en vragen: "Zijn dit dezelfde dingen?"

Dit is alsof je iemand leert fietsen door hem alleen maar naar een stilstaande fiets te laten kijken. Hij leert hoe de fiets eruitziet, maar niet hoe hij beweegt, hoe hij om de hoek komt of hoe hij remt. De wereld beweegt echter, en auto's bewegen ook.

2. De Oplossing: TREND (De "Kristallen Bol")

TREND staat voor Temporal REndering with Neural fielD. In het Nederlands kunnen we het zien als een "Kristallen Bol voor de Auto".

In plaats van alleen naar het nu te kijken, leert TREND de computer om te voorspellen wat er over een seconde of twee gebeurt.

• De Analogie: Stel je voor dat je naar een voetbalwedstrijd kijkt. Een gewone kijker ziet alleen waar de spelers nu staan. Een slimme trainer (TREND) kijkt naar de beweging van de speler, de bal en de tegenstander, en zegt: "Over 2 seconden zal die speler hier zijn, en de bal daar."
• Door te proberen deze toekomst te voorspellen, moet de computer van nature begrijpen hoe objecten bewegen, hoe ze met elkaar interageren en wat ze zijn.

3. Hoe werkt het? (De Drie Slimme Trucs)

TREND gebruikt drie specifieke technieken om dit te bereiken:

A. De "Ego-Beweging" (De Danspartner)
Een auto beweegt niet alleen; hij reageert op zijn omgeving. Als de auto hard remt, gaan voetgangers misschien sneller lopen. Als de auto stopt, gaan ze oversteken.

• De Analogie: Stel je voor dat je dansles neemt. Je moet niet alleen weten hoe jij beweegt, maar ook hoe je partner beweegt. TREND neemt de beweging van de auto zelf (de "ego-beweging") mee in de les. Zo leert de computer: "Als ik naar links ga, dan moet die voetganger uitwijken." Dit helpt de computer om de interactie tussen de auto en de wereld te begrijpen.

B. De "Tijds-Neurale Veld" (De 3D-Tijdmachine)
De computer moet niet alleen een statische foto maken, maar een levendige 3D-wereld die door de tijd beweegt.

• De Analogie: Normale methoden proberen een 3D-ruimte te vullen met klei (punten). TREND bouwt een tijdmachine. Het gebruikt een speciaal "neuraal veld" (een soort magisch 3D-netwerk) dat niet alleen weet waar iets is, maar ook wanneer het daar is en hoe het eruitziet (bijvoorbeeld hoe helder het is). Het kan de hele scène, inclusief de lege ruimte, reconstrueren alsof het een film is in plaats van een foto.

C. Het "Vooruitkijken" (De Voorspelling)
De computer krijgt de huidige situatie en moet de volgende situatie tekenen.

• De Analogie: Het is alsof je een puzzel maakt, maar in plaats van de stukjes te zoeken, moet je raden hoe de puzzel eruitziet nadat je het volgende stukje hebt toegevoegd. Als de computer het goed doet, betekent dit dat hij de regels van de wereld (zwaartekracht, beweging, objecten) echt heeft begrepen.

4. Het Resultaat: Slimmer met Minder Hulp

De onderzoekers hebben TREND getest op grote datasets met auto's en fietsers.

• Het effect: Auto's die eerst met TREND zijn getraind (zonder labels), presteren veel beter in het herkennen van objecten dan auto's die vanaf nul beginnen.
• De vergelijking: Het is alsof je een student eerst een jaar lang laat oefenen met het voorspellen van het weer (zonder dat iemand zegt of het goed is), en daarna pas laat examen doen. Die student zal veel slimmer zijn dan een student die direct begint met het examen.
• De cijfers: TREND leverde tot wel 400% meer verbetering op dan eerdere methoden. Dat is een enorme sprong vooruit.

Samenvatting

TREND is een nieuwe manier om zelfrijdende auto's slim te maken. In plaats van duizenden mensen te laten werken aan het labelen van data, laat de computer de auto's zelf leren door te kijken naar hoe de wereld beweegt. Het is alsof we de auto's niet meer leren "naar foto's te kijken", maar hen leren "naar de toekomst te kijken". Door te voorspellen wat er gaat gebeuren, leren ze de wereld veel dieper begrijpen, wat resulteert in veiligere en slimmere auto's.

Technische samenvatting

Probleemstelling

Het labelen van LiDAR-puntwolkdata voor autonome voertuigen is extreem tijds- en energieverslindend. Experts hebben gemiddeld meer dan 10 minuten nodig om één frame op grof niveau te labelen, wat neerkomt op duizenden dagen arbeid voor een uur aan sensordata. Hoewel er reeds methoden zijn voor onbewaakt (unsupervised) 3D-vooropleiding om dit labelingsprobleem te verlichten, hebben bestaande aanpakken belangrijke tekortkomingen:

1. Masked Autoencoders (MAE): Deze maskeren willekeurige delen van de puntwolk en proberen deze te reconstrueren. Ze negeren vaak de temporele dynamiek (beweging) van objecten.
2. Contrastive Learning: Deze bouwen verschillende weergaven van een frame en maximaliseren de gelijkenis tussen positieve paren. Ze vertrouwen vaak op handgemaakte augmentaties en negeren de natuurlijke beweging van objecten in een tijdsreeks.

Beide benaderingen negeren de intrinsieke temporele informatie in LiDAR-sequenties, die cruciaal is voor het begrijpen van objectbeweging en interacties tussen het autonome voertuig (ego-vehicle) en andere verkeersdeelnemers.

Methodologie: TREND

De auteurs stellen TREND (Temporal REndering with Neural fielD) voor, een onbewaakte methode voor 3D-vooropleiding die focust op het voorspellen van toekomstige waarnemingen in een LiDAR-sequentie. De kernidee is dat punten die tot hetzelfde object behoren, zich gezamenlijk bewegen; door de huidige situatie te observeren en de toekomstige situatie te voorspellen, wordt semantische informatie en objectinteractie impliciet gecodeerd.

De architectuur bestaat uit drie hoofdcomponenten:

1. Recurrent Embedding Scheme (Temporele Inbedding):

   • Om de evolutie van de 3D-scene te modelleren, wordt de huidige 3D-embeddings (van tijdstip $t_0$) gecombineerd met de actie van het autonome voertuig (ego-motion) voor toekomstige tijdstippen.
   • De actie ($\Delta x, \Delta y, \Delta \theta$) wordt eerst gesinusoidaal gecodeerd en vervolgens via een MLP verwerkt.
   • Deze actie-embeddings worden samengevoegd met de vorige 3D-embeddings en verwerkt door een 3D-convolutie. Dit stelt het netwerk in staat om te leren hoe de scene verandert als reactie op de beweging van het voertuig, wat essentieel is voor het voorspellen van interacties (bijv. voetgangers die stoppen als het voertuig nadert).

2. Temporal LiDAR Neural Field (Scène Representatie):

   • In plaats van alleen bestaande punten te reconstrueren, gebruikt TREND een "Neural Field" om de volledige 3D-scene (inclusief lege ruimte) te representeren op verschillende tijdstippen.
   • Dit veld neemt expliciet de tijdstempel ($t$) en de 3D-positie ($p$) als invoer.
   • Het voorspelt twee waarden:
     • Geometry Features: Geometrische eigenschappen van het oppervlak.
     • Signed Distance Function (SDF): De afstand tot het dichtstbijzijnde oppervlak.
   • Belangrijk onderscheid met eerdere werken: Dit veld is specifiek ontworpen voor LiDAR en integreert ook intensiteit (reflectie), een cruciaal kenmerk van LiDAR-data dat vaak wordt genegeerd in camera-gebaseerde neural fields.

3. Differentieel Rendering en Loss Functie:

   • Het netwerk gebruikt differentieel rendering om de berekende SDF en intensiteit om te zetten in een voorspelde LiDAR-puntwolk (afstand en intensiteit van stralen).
   • De loss wordt berekend door de voorspelde afstand en intensiteit te vergelijken met de werkelijke waarnemingen (ground truth) van zowel de huidige als toekomstige frames.
   • Curriculum Learning: Om het trainen te vergemakkelijken, begint het model met het voorspellen van de directe toekomst en wordt de voorspellingstijd geleidelijk uitgebreid (curriculum learning).

Kernbijdragen

• Nieuwe Paradigma: TREND introduceert temporeel voorspellen als de primaire taak voor onbewaakte 3D-vooropleiding, in plaats van reconstructie van gemaskerde data of contrastief leren.
• Integratie van Ego-Motion: Het is de eerste methode die expliciet de actie van het autonome voertuig integreert in de temporele inbedding, waardoor interacties tussen het voertuig en de omgeving beter worden gemodelleerd.
• LiDAR-specifiek Neural Field: De ontwikkeling van een "Temporal LiDAR Neural Field" die zowel geometrie als intensiteit modelleert en expliciet rekening houdt met tijdstippen, in tegenstelling tot eerdere camera-gebaseerde velden.
• Superieure Prestaties: TREND overtreft bestaande state-of-the-art (SOTA) methoden aanzienlijk op meerdere datasets.

Resultaten

De auteurs evalueren TREND op vier populaire datasets: Once, Waymo, NuScenes en SemanticKITTI, voor taken zoals 3D-objectdetectie en semantische segmentatie.

• Once Dataset: TREND verbetert de Mean Average Precision (mAP) met 1,77% vergeleken met een model dat vanaf nul wordt getraind. Dit is tot 400% meer verbetering dan eerdere onbewaakte methoden.
• NuScenes Dataset: Er wordt een verbetering van 2,11% mAP en 1,46% NDS (NuScenes Detection Score) behaald ten opzichte van willekeurige initialisatie. Dit is een verbetering van ongeveer 90% ten opzichte van de vorige SOTA methode (UniPAD).
• Transfer Learning: Wanneer een model getraind op de Once-dataset wordt gebruikt om een detector op de Waymo-dataset te initialiseren, behaalt TREND een gemiddelde winst van 0,77% in mAP/mAPH, wat de generalisatiekracht aantoont.
• Stabiliteit: Herhaalde evaluaties tonen aan dat TREND de standaardafwijking van de resultaten verlaagt, wat betekent dat het trainen stabieler is en minder gevoelig voor de initiële random seed.
• Semantische Segmentatie: Op SemanticKITTI wordt een verbetering van 2,89% in mIoU (Mean Intersection over Union) bereikt.

Significantie

TREND markeert een belangrijke verschuiving in de manier waarop onbewaakte 3D-vooropleiding voor LiDAR wordt benaderd. Door de natuurlijke dynamiek van de wereld (beweging en interactie) te benutten in plaats van kunstmatige augmentaties, leert het model robuustere en semantisch rijkere representaties.

De methode lost het probleem op van de hoge kosten voor datalabeling en verbetert de sample-efficiency, wat betekent dat autonome voertuigen met minder gelabelde data betere prestaties kunnen leveren. De integratie van ego-motion en intensiteit in een temporeel neural field biedt een nieuw perspectief voor het modelleren van dynamische 3D-omgevingen, wat essentieel is voor de veiligheid en betrouwbaarheid van toekomstige autonome systemen.