PPT: Pretraining with Pseudo-Labeled Trajectories for Motion Forecasting

Dit paper introduceert PPT, een schaalbaar pretrainingsframework dat gebruikmaakt van automatisch gegenereerde, pseudo-gelabelde trajecten van bestaande detectoren om robuuste bewegingsvoorspellingsmodellen te ontwikkelen die, zelfs met weinig gelabelde data, sterke prestaties leveren en beter generaliseren dan traditionele methoden.

De kern

Titel: Hoe auto's leren rijden zonder dat iemand ze de weg hoeft te wijzen

Stel je voor dat je een kind wilt leren autorijden. De traditionele manier is alsof je een leraar hebt die urenlang in een boekje zit te kijken en elke keer zegt: "Kijk, hier moet je sturen, hier rem je, en daar ga je rechtdoor." Dit is wat huidige zelfrijdende auto's doen: ze worden getraind op enorme datasets met handmatig aangegeven routes. Mensen kijken naar video's van auto's en tekenen precies de lijnen na waar die auto's zijn gereden.

Het probleem? Dit is extreem duur, tijdrovend en moeilijk om te schalen. Het is alsof je voor elke nieuwe stad een nieuwe leraar moet inhuren die alles opnieuw moet uitleggen. Bovendien leren de auto's hierdoor alleen maar de "perfecte" lijnen, en als ze in een nieuwe stad komen met andere verkeersborden of wegomstandigheden, raken ze in de war.

De oplossing: PPT (De "Zelfontdekkingsreis")

De auteurs van dit paper, Yihong Xu en zijn team, hebben een slimme nieuwe manier bedacht die ze PPT noemen. In plaats van te wachten op een leraar die de perfecte lijnen tekent, laten ze de auto's zelf "kijken" en "proberen" via een proces dat we pretraining met nep-lijnen noemen.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De "Ruwe Schets" in plaats van het "Perfecte Schilderij"

Stel je voor dat je een schilderij wilt maken.

• De oude manier: Je koopt een kant-en-klaar, perfect schilderij (de handmatig aangegeven data) en probeert dat na te tekenen.
• De PPT-methode: Je laat een robot (een standaard camera en software) naar de wereld kijken en zegt: "Teken maar eens op wat je ziet."

De robot tekent niet perfect. Soms is de lijn een beetje schokkerig, soms mist hij een bochtje, en soms tekent hij twee lijnen voor één auto. Dit zijn de "nep-lijnen" (pseudo-labels).

• Het inzicht: De onderzoekers ontdekten dat deze "slechte" tekeningen juist heel waardevol zijn! Omdat ze imperfect zijn, leren de auto's om flexibel te zijn. Ze leren niet alleen de perfecte lijn, maar ook hoe het eruitziet als iets een beetje misgaat. Het is alsof je een kind leert fietsen op een ruw fietspad in plaats van op een gladde baan; ze leren dan beter om te balanceren.

2. De "Zwarte Doos" van de Verkeerscamera

In plaats van dure menselijke annotators, gebruiken ze bestaande, kant-en-klare software (zoals die in je telefoon of een andere auto zit) om auto's te detecteren en hun bewegingen te volgen.

• De analogie: Stel je voor dat je een groepje vrienden hebt die allemaal een eigen camera hebben. Iedereen filmt dezelfde straat, maar iedereen heeft een iets andere hoek en een iets andere kwaliteit.
• De magie: PPT neemt al die verschillende, soms onnauwkeurige filmpjes en gebruikt ze om de auto te trainen. Omdat er zoveel verschillende "meningen" zijn over hoe de auto's bewegen, leert het systeem een sterk en robuust inzicht in hoe het verkeer werkt. Het wordt niet bang voor verrassingen.

3. De "Korte Les" aan het einde

Na deze grote, gratis training met de "nep-lijnen" (waarbij de auto miljoenen kilometers heeft "geleerd" zonder dat iemand iets heeft betaald), krijgen ze een korte, dure les:

• Ze kijken nu naar een klein beetje perfecte, handmatig aangegeven data (bijvoorbeeld 1% van de normale hoeveelheid).
• Omdat de auto al zo goed is getraind op de ruwe lijnen, heeft hij maar heel weinig tijd nodig om de "perfecte lijnen" te leren. Het is alsof je iemand die al 10.000 uur heeft geoefend op een simulator, slechts een paar uur laat rijden op de echte weg om de details te perfectioneren.

Waarom is dit zo geweldig? (De voordelen)

1. Bespaart geld en tijd: Je hoeft niet meer duizenden mensen te betalen om lijnen te tekenen. De software doet het werk voor je.
2. Werkt overal: Omdat de auto's zijn getraind op een enorme verscheidenheid aan "ruwe" data, kunnen ze zich veel makkelijker aanpassen aan nieuwe steden of landen waar ze nog nooit zijn geweest. Ze zijn minder stijf.
3. Werkt zelfs als de camera's slecht zijn: In de echte wereld zijn camera's niet altijd perfect (regen, mist, zonlicht). Omdat PPT is getraind op "slechte" data, is de auto beter voorbereid op deze imperfecties.
4. Geen "perfecte" kaarten nodig: Je hoeft geen dure, super-accurate digitale kaarten van de stad te hebben om te beginnen met trainen. De auto leert de dynamiek van het verkeer gewoon door te kijken.

Conclusie in één zin:
PPT is als het geven van een zelfrijdende auto een enorme "simulator-ervaring" met duizenden verschillende, imperfecte scenario's, zodat hij op de echte weg niet meer verbaasd raakt en met veel minder dure training al snel een meesterrijder is.

Technische samenvatting

Probleemstelling

Het voorspellen van de beweging van agenten (zoals voertuigen en voetgangers) in dynamische omgevingen is cruciaal voor veilig autonoom rijden. Bestaande state-of-the-art modellen zijn echter sterk afhankelijk van datasets met handmatig geannoteerde of zwaar nagepost-processed trajecten. Dit introduceert drie fundamentele beperkingen:

1. Kosten en Schaalbaarheid: Het maken van datasets met menselijke annotaties is duur, arbeidsintensief en moeilijk te schalen.
2. Reproduceerbaarheid en Transparantie: De pipelines voor het naverwerken van data zijn vaak "black boxes", specifiek per dataset en moeilijk te reproduceren.
3. Domain Gaps: Modellen getraind op één dataset presteren vaak slecht op andere omgevingen door verschillen in data-aanmaak en annotatieprotocollen.

Bovendien verwijderen bestaande automatische pipelines vaak de diversiteit in data door per agent slechts één "perfecte" traject te selecteren, wat de robuustheid van het model beperkt.

Methodologie: PPT Framework

De auteurs introduceren PPT (Pretraining with Pseudo-labeled Trajectories), een eenvoudig en schaalbaar pretrainingsframework dat gebruikmaakt van ruwe, niet-geannoteerde perceptiedata.

Kernprincipes:

• Geen Menselijke Annotatie: In plaats van te streven naar schone, unieke labels, accepteert PPT "ruis" en diversiteit.
• Automatische Pipeline: Het framework genereert pseudo-geannoteerde trajecten volledig automatisch door:
  1. Het toepassen van kant-en-klare (off-the-shelf) 3D-objectdetectoren (zoals LiDAR- en camera-gebaseerde detectoren) op individuele frames.
  2. Het koppelen van deze detecties over tijd met een lichtgewicht, niet-lerende tracker (gebaseerd op geometrische cues).
• Diversiteit: PPT behoudt meerdere mogelijke trajecten per agent (van verschillende detectoren) in plaats van er één te selecteren. Dit creëert een rijke, diverse dataset van ongeveer 8,6 miljoen pseudo-trajecten.
• Trainingsstrategie:
  1. Pretraining: Het model wordt getraind op deze grote, ruwe, pseudo-geannoteerde dataset. Het doel is het leren van robuuste representaties van bewegingsdynamica.
  2. Finetuning (Optioneel): Het voorgeprogrammeerde model wordt vervolgens optioneel gefinetuned op een kleine hoeveelheid menselijk geannoteerde data (bijv. 1% tot 10%) om zich aan te passen aan de specifieke doeldomein-eisen.

Belangrijkste Bijdragen

1. Nieuwe Pretrainingsparadigma: PPT is de eerste strategie die specifiek diverse pseudo-geannoteerde trajecten van meerdere detectoren gebruikt voor motion forecasting, zonder afhankelijk te zijn van menselijke labels voor de pretrainfase.
2. Omarmen van Ruis: Het paper toont aan dat post-processing (zoals trajectgladstrijking) en het selecteren van één "ground truth" per agent niet noodzakelijk zijn. De inherent ruis en variabiliteit in de ruwe tracking-data fungeren als een sterke regularisatie, waardoor modellen generaliseerbaarder worden.
3. Onafhankelijkheid van HD Maps: Het pretrainen zonder HD-kaarten (High Definition maps) levert vergelijkbare resultaten op, wat suggereert dat de kern van het leren ligt in de agent-interacties en dynamiek, niet in de kaartinteractie.
4. Efficiëntie: Het framework reduceert de afhankelijkheid van dure menselijke annotaties drastisch, met name in regimes met weinig gelabelde data.

Resultaten

De auteurs evalueren PPT op standaard datasets (nuScenes, Waymo Open Dataset, Argoverse 2) en in diverse settings:

• Annotatie-efficiëntie: In low-data regimes (bijv. slechts 1% gelabelde data voor finetuning) presteren modellen met PPT aanzienlijk beter dan modellen die van scratch worden getraind. PPT met 10% gelabelde data presteert vaak net zo goed als of beter dan een model dat van scratch is getraind op 100% gelabelde data.
• Cross-Domain Generalisatie: Modellen voorgeprogrammeerd met PPT tonen superieure prestaties bij het overschakelen naar nieuwe domeinen (bijv. trainen op pseudo-data van Waymo, testen op nuScenes), wat de "domain gap" effectief verkleint.
• End-to-End Forecasting: In end-to-end settings (waar de input ook uit een perceptiemodel komt en dus imperfect is), verbetert PPT de robuustheid aanzienlijk (+62% mAP op de AV2 E2E benchmark).
• Multi-Class Forecasting: PPT verbetert ook de prestaties bij het voorspellen van meerdere agentklassen (voertuigen, voetgangers, fietsers, etc.) op de AV2 Motion Forecasting benchmark.
• Schaalbaarheid: Het combineren van pseudo-data uit meerdere bronnen leidt tot verdere verbeteringen, hoewel er een punt van afnemende meeropbrengst wordt bereikt bij het toevoegen van nog meer detectoren.

Betekenis en Impact

PPT vertegenwoordigt een verschuiving in de benadering van motion forecasting. In plaats van te proberen perfect, schone data te creëren, benut het de overvloed aan ruwe, automatische perceptiedata die al beschikbaar is.

• Kosteneffectiviteit: Het maakt motion forecasting toegankelijker voor scenario's waar geen grote, handmatig geannoteerde datasets beschikbaar zijn.
• Robuustheid: Door te leren van diverse en ruwe data, worden modellen beter bestand tegen de onvolkomenheden van real-world perceptiesystemen.
• Toekomstperspectief: De methode biedt een schaalbare route om modellen voor te trainen op enorme schaal, waarna ze met minimale moeite (weinig gelabelde data) kunnen worden aangepast aan specifieke toepassingen. Dit is een belangrijke stap richting robuustere en veiligere autonome voertuigen.