Uncertainty-Aware Diffusion Model for Multimodal Highway Trajectory Prediction via DDIM Sampling

Dit paper introduceert cVMDx, een verbeterd diffusiemodel voor multimodale voertuigtrajectvoorspelling op het highD-dataset dat via DDIM-sampling de inferentietijd met tot 100x verkort en zo een efficiënte, onzekerheidsbewuste generatie van toekomstige bewegingen mogelijk maakt.

De kern

Stel je voor dat je een zelfrijdende auto bestuurt. De grootste uitdaging voor deze auto is niet alleen om te weten waar hij nu is, maar vooral om te voorspellen wat er straks gaat gebeuren. Zou die andere auto linksaf slaan? Zou die fietser plotseling de weg oversteken? Of blijft alles gewoon rustig?

In de echte wereld zijn er vaak meerdere mogelijke toekomstscenario's die allemaal even waarschijnlijk lijken. Dit noemen we multimodaliteit: er zijn verschillende "paden" die de toekomst kan nemen.

Dit paper introduceert een nieuwe, slimme manier om deze toekomst te voorspellen, genaamd cVMDx. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Trage Droom"

Vroeger gebruikten wetenschappers een techniek die leek op het oplossen van een raadsel door stap voor stap te gissen. Ze begonnen met een wazige, chaotische toekomst en maakten deze steeds scherper tot ze een duidelijk beeld kregen.

• Het nadeel: Dit proces was extreem traag. Het was alsof je een foto wilde ontwikkelen, maar je moest wachten tot de film zich langzaam in de donkere kamer ontwikkelde. Voor een auto die in milliseconden moet beslissen, was dit te langzaam.
• Het andere nadeel: De oude modellen gaven vaak maar één antwoord. "De auto gaat rechtdoor." Maar wat als hij ook linksaf zou kunnen gaan? Een goede voorspelling moet zeggen: "Hij gaat waarschijnlijk rechtdoor, maar er is een kans dat hij linksaf slaat."

2. De Oplossing: cVMDx (De Snelle Dromer)

De auteurs hebben een nieuwe versie bedacht die twee grote problemen oplost:

A. Van Slak naar Sprinter (DDIM Sampling)

Stel je voor dat je een berg afdaalt. De oude methode (DDPM) was alsof je elke steen moest controleren voordat je de volgende stap zette. Nieuw is de DDIM-methode.

• De analogie: In plaats van elke steen te tellen, kijkt de nieuwe methode naar de helling en springt er in grote, slimme sprongen overheen.
• Het resultaat: De auto kan nu 100 keer sneller voorspellen wat er gaat gebeuren. Het is alsof je van een wandeling in de modder bent veranderd in een snelle rit met een sportauto. Hierdoor kan de computer nu in een fractie van een seconde tientallen mogelijke toekomstscenario's bedenken.

B. De "Verkeersdrukte" in de Code (CVQ-VAE)

Om te begrijpen wat er gebeurt, moet de auto de situatie "in kaart brengen". De oude methode gebruikte een soort woordenboek (een codeboek) om situaties te labelen. Soms raakte dit woordenboek echter in de war: bepaalde woorden werden nooit gebruikt, terwijl andere woorden te vaak werden gebruikt (dit heet "codebook collapse").

• De verbetering: De nieuwe methode gebruikt een CVQ-VAE. Dit is als een slimme bibliothecaris die ervoor zorgt dat elk boek in de kast precies op zijn plek staat en dat geen enkel boek vergeten wordt. Hierdoor begrijpt de auto de verkeerssituaties (zoals "file", "inhalen" of "op de snelweg rijden") veel beter en stabieler.

3. Het Magische Trucje: De GMM (De "Wolk van Mogelijkheden")

Omdat de nieuwe methode zo snel is, kan hij nu niet één, maar negen verschillende toekomstscenario's tegelijk bedenken.

• De analogie: Stel je voor dat je een wolk van ballonnen laat gaan. De ene ballon gaat naar links, de andere naar rechts, en een derde gaat rechtdoor.
• De computer pakt al die ballonnen en groepeert ze. Als 5 ballonnen naar links gaan en 4 naar rechts, zegt de computer: "Er is een grote kans op linksaf, maar we houden rekening met rechtsaf."
• Dit wordt gedaan met een Gaussian Mixture Model (GMM). Dit is een wiskundige manier om die "wolk" van ballonnen te verdelen in duidelijke groepen (hypotheses). Zo weet de auto precies hoe onzeker de situatie is.

4. Waarom is dit belangrijk?

In het verleden gaven modellen vaak een "gemiddeld" antwoord. Als een auto linksaf of rechtsaf kon slaan, zei het oude model: "Hij gaat een beetje naar links en een beetje naar rechts" (wat in de praktijk betekent: hij rijdt dwars door de berm).

• De nieuwe aanpak: cVMDx zegt: "Er is een 60% kans op linksaf en een 40% kans op rechtsaf."
• Veiligheid: Voor een zelfrijdende auto is het cruciaal om die onzekerheid te voelen. Als de auto weet dat er twee opties zijn, kan hij voorzichtig zijn in plaats van blindelings op één optie te vertrouwen.

Samenvatting

Dit paper presenteert cVMDx, een slimme nieuwe motor voor zelfrijdende auto's die:

1. 100 keer sneller is dan de vorige generatie (door slimme sprongen in plaats van stap-voor-stap gissen).
2. Veel betere situatiesherkenning heeft (door een slimmere "woordenboek"-methode).
3. Meerdere toekomstscenario's tegelijk bedenkt en groepeert, zodat de auto de onzekerheid van het verkeer echt begrijpt.

Het is alsof we de voorspeller van de auto hebben veranderd van een trage dromer die maar één droom ziet, in een snelle, waakzame strateeg die tientallen mogelijke toekomstbeelden tegelijk overweegt en de beste beslissingen neemt.

Technische samenvatting

Probleemstelling

Trajectvoorspelling is een kerncomponent van autonoom rijden, maar blijft een uitdaging vanwege de complexe interacties tussen meerdere agents, diverse scenario-contexten en de inherent stochastische aard van toekomstige bewegingen. Bestaande modellen, zoals het eerder ontwikkelde cVMD (Conditioned Vehicle Motion Diffusion), hebben beperkingen:

1. Trage inferentie: Diffusiemodellen vereisen doorgaans honderden iteraties voor bemonstering, wat real-time toepassing belemmert.
2. Beperkte multimodaliteit: cVMD genereert slechts één traject per inferentie, waardoor het de onzekerheid en de verschillende mogelijke toekomstige manoeuvres (bijv. inhalen vs. rijbaan behouden) niet goed kan uitdrukken.
3. Kwetsbaarheid in codering: Het gebruik van een standaard VQ-VAE voor scenario-encoding is gevoelig voor "codebook collapse", wat leidt tot een gebrek aan diversiteit in de geleerde scenario-embeddings.

Methodologie: cVMDx

Het paper introduceert cVMDx, een verbeterd diffusie-gebaseerd framework dat deze beperkingen adresseert door vier hoofdbewerkingen:

1. Geavanceerde Scenario-Representatie (CVQ-VAE)
In plaats van een standaard VQ-VAE, gebruikt cVMDx een Continuous Vector Quantized VAE (CVQ-VAE). Dit model discretiseert waargenomen verkeersscenario's in een eindige set van scenario-tokens (codebook entries).

• Voordeel: CVQ-VAE voorkomt codebook collapse door codebook-items adaptief bij te werken, wat zorgt voor een robuustere en meer evenwichtige benutting van de latent space.
• Onzekerheidsschatting: Op basis van de latent space wordt een onzekerheidsmetriek ($\delta_m$) berekend via de Mahalanobis-afstand. Deze meting bepaalt hoe goed een scenario past bij zijn toegewezen cluster.

2. Snel Diffusie-inferentie via DDIM
Om de inferentietijd drastisch te verkorten, vervangt cVMDx de stochastische DDPM-sampling door DDIM (Denoising Diffusion Implicit Models).

• DDIM behandelt het diffusieproces als een deterministische differentiaalvergelijking (ODE).
• Dit maakt het mogelijk om met veel minder stappen (bijv. 10 in plaats van 1000) te bemonsteren, wat leidt tot een 100x versnelling in inferentietijd. Dit maakt het praktisch haalbaar om meerdere samples te genereren voor onzekerheidsschatting.

3. Velocity-based Training en Adaptive Guidance

• Trainingsdoel: Het model wordt getraind met een velocity-based objective in plaats van directe ruis- of data-predicatie. Dit verbetert de stabiliteit van het trainingproces en zorgt voor consistentere samples.
• Uncertainty-Aware Guidance: Tijdens de inferentie wordt de Classifier-Free Guidance (CFG) schaal ($w$) dynamisch aangepast.
  • Bij lage scenario-onzekerheid (bekende situaties) wordt de conditionering versterkt voor nauwkeurigheid.
  • Bij hoge onzekerheid wordt de conditionering verzwakt om de diversiteit van mogelijke bewegingen te behouden.
  • Een cosinus-schedule zorgt voor een geleidelijke overgang tijdens het bemonsteringsproces.

4. Multimodale Voorspelling en GMM
Omdat het model nu snel genoeg is om meerdere trajecten te genereren (bijv. $N_{samples} = 9$), worden deze geaggregeerd:

• Gemiddeld traject: Voor een verwachte voorspelling.
• Hypothese-extractie: Een Gaussian Mixture Model (GMM) wordt gefit op de gegenereerde samples (na PCA-reductie) om distincte bewegingshypothese (bijv. "rijbaanwissel links", "rijbaan behouden") te identificeren zonder handmatige labels.

Belangrijkste Bijdragen

1. Integratie van CVQ-VAE: Verbetering van de scenario-encoding om codebook collapse te mitigeren.
2. Efficiënte Inferentie: Toepassing van DDIM voor een 100x snellere inferentie, waardoor real-time multimodale voorspelling mogelijk wordt.
3. Expliciete Multimodaliteit: Een pipeline om gegenereerde samples om te zetten in een GMM, waardoor meerdere plausibele toekomstige scenario's en hun waarschijnlijkheid worden geëxpliciteerd.
4. Stabiel Training en Onzekerheidsbewustzijn: Gebruik van een velocity-objective en een adaptieve guidance-schaal gebaseerd op scenario-onzekerheid.

Resultaten

De methode is geëvalueerd op het openbare highD-dataset (Duitse snelwegen):

• Efficiëntie: Er is een 100x versnelling bereikt ten opzichte van de originele cVMD (DDPM) door DDIM te gebruiken.
• Nauwkeurigheid: cVMDx presteert beter dan de originele cVMD en andere state-of-the-art modellen (zoals GFTNNv2, HSTA) op de Mean ADE (Average Displacement Error) en MinADE (beste van K hypothese).
  • Bijvoorbeeld: cVMDx(mean) bereikt een ADE van 1.37m, vergeleken met 1.79m bij cVMD.
• Ablatie-studie: Het verhogen van de grootte van het codebook ($Q$) leverde slechts marginale verbeteringen op. Dit suggereert dat de kwaliteit van de clustering belangrijker is dan de pure capaciteit, en dat het dataset-formaat een beperkende factor is voor zeer grote codebooks.
• Trade-off: Hoewel cVMDx niet de laagste fouten haalt bij puur deterministische "point-estimators" (die vaak regressie naar het gemiddelde doen), biedt het superieure multimodale voorspellingen die essentieel zijn voor veiligheidskritieke planning.

Significantie

Dit werk is significant omdat het de praktische toepasbaarheid van diffusiemodellen voor autonoom rijden aanzienlijk verbetert. Door de inferentietijd te reduceren en de onzekerheid expliciet te modelleren via multimodale hypothese-generatie, biedt cVMDx een oplossing die niet alleen nauwkeurig is, maar ook veiligheidsbewust. Het stelt systemen in staat om meerdere plausibele toekomstige scenario's tegelijkertijd te overwegen en de waarschijnlijkheid daarvan te kwantificeren, wat cruciaal is voor risicobewuste planning in complexe verkeerssituaties.