HiMAP: History-aware Map-occupancy Prediction with Fallback

HiMAP is een tracking-vrij voorspellingssysteem voor autonoom rijden dat, door gebruik te maken van geschiedenis-georiënteerde bezettingskaarten, betrouwbare toekomsttrajecten genereert zelfs wanneer object-tracking faalt, waardoor het een robuust alternatief biedt voor bestaande methoden.

De kern

HiMAP: De "Geheugenkracht" voor Zelfrijdende Auto's

Stel je voor dat je een zelfrijdende auto bestuurt. Om veilig te rijden, moet de auto niet alleen zien wat er nu gebeurt, maar ook weten waar andere auto's, fietsers en voetgangers vandaan komen. Normaal gesproken doet de auto dit door een "lijstje" bij te houden met namen en nummers: "Auto A is daar gegaan, Fiets B komt hieraan." Dit heet tracking.

Maar wat gebeurt er als dat lijstje verstoord raakt? Stel, een auto wordt even aan het zicht onttrokken door een vrachtwagen, of de camera's raken even in de war. Dan verliest de auto zijn "lijstje". De nummers wisselen, of de auto verdwijnt even. Voor de meeste huidige systemen is dit een ramp: ze raken de draad kwijt en maken onveilige voorspellingen.

HiMAP is een nieuwe uitvinding die dit probleem oplost. Het is als een superkrachtige geheugenkracht die niet afhankelijk is van namen of nummers.

Hier is hoe het werkt, vertaald naar alledaagse beelden:

1. Het Probleem: De Vergeten Naam

Stel je voor dat je in een drukke supermarkt loopt en je probeert je vriendin te volgen. Je ziet haar, maar dan loopt ze achter een grote stapel kartonnen dozen. Als ze weer tevoorschijn komt, is het misschien niet meer duidelijk of het haar is of een andere vrouw met dezelfde jas.

• Huidige systemen: "Ik weet niet meer wie dat is! Ik kan niet voorspellen waar ze naartoe gaat." (Paniek!)
• HiMAP: "Het maakt niet uit of ik haar naam ken. Ik zie waar ze was, ik zie de sporen op de vloer, en ik weet hoe ze beweegt. Ik kan haar pad reconstrueren zonder haar naam te weten."

2. De Oplossing: De "Sporenkaart" (Occupancy Maps)

HiMAP doet iets slim: in plaats van te proberen een lijstje met namen bij te houden, maakt het een historische sporenkaart.

• De Analogie: Denk aan een sneeuwwit veld. Iedereen die eroverheen loopt, laat een spoor achter. Als je de sneeuw ziet, zie je niet wie er liep (geen gezicht, geen naam), maar je ziet wel waar ze liepen en hoe ze liepen.
• HiMAP zet alle detecties van de auto om in zo'n kaart. Het slaat op: "Op dit moment was er hier een object, en daar was er een ander." Zelfs als de auto's van naam wisselen of even verdwijnen, blijft het patroon van de sporen op de kaart intact.

3. De "Tijdmachine" (Historical Query Module)

Nu heeft de auto de kaart, maar hoe weet hij welk spoor bij welke auto hoort? HiMAP gebruikt een slimme tijdmachine.

• De Analogie: Stel je voor dat je een detective bent die een oude foto bekijkt. Je vraagt jezelf af: "Als ik nu hier sta, welke sporen op de foto horen bij mijn huidige positie?"
• HiMAP kijkt naar de huidige auto en vraagt zich af: "Welke van die oude sporen op de kaart passen bij deze auto?" Het doet dit stap voor stap, terug in de tijd, en bouwt zo een compleet verhaal op van waar de auto vandaan komt, zelfs zonder dat er een naam aan vastzit.

4. De Veiligheidsnet (Fallback)

Het mooiste aan HiMAP is dat het werkt als een veiligheidsnet.

• Als het tracking-systeem (het lijstje met namen) faalt, springt HiMAP direct in. Het hoeft niet te wachten tot de tracking weer werkt. Het kan direct zeggen: "Oké, we hebben geen namen, maar we weten precies waar iedereen was, dus we kunnen veilig doorrijden."
• In tests bleek dat HiMAP zelfs beter presteert dan de beste systemen op het moment dat tracking faalt. Het is alsof je een piloot hebt die ook kan vliegen als de navigatiecomputer crasht.

Waarom is dit belangrijk?

In het echte leven gebeuren er veel dingen die tracking verstoren: regen, sneeuw, drukte, of een auto die even in een tunnel rijdt. Tot nu toe waren zelfrijdende auto's kwetsbaar voor deze momenten.

HiMAP maakt ze veerkrachtig. Het zorgt ervoor dat de auto niet in paniek raakt als hij even zijn geheugen verliest. Het kijkt naar de sporen in plaats van de namen, en dat maakt het veel robuuster en veiliger.

Kort samengevat:
HiMAP is een slimme manier voor zelfrijdende auto's om hun weg te vinden door te kijken naar de geschiedenis van de beweging (de sporen) in plaats van te vertrouwen op een lijstje met namen. Als dat lijstje wegvalt, heeft de auto nog steeds een perfect beeld van de situatie, waardoor iedereen veiliger op de weg blijft.

Technische samenvatting

Titel: HiMAP: History-aware Map-occupancy Prediction with Fallback

Auteurs: Yiming Xu, Yi Yang, Hao Cheng, Monika Sester

---

1. Het Probleem

Bij autonoom rijden is nauwkeurige bewegingsvoorspelling (motion forecasting) van andere verkeersdeelnemers cruciaal voor veilige besluitvorming. Bestaande voorspellers zijn echter sterk afhankelijk van Multi-Object Tracking (MOT) systemen die identiteiten (IDs) van objecten consistent bijhouden.

In de praktijk is tracking echter kwetsbaar:

• Fouten: Door occlusie (verduistering), ID-switches (verwisseling van identiteit), of gemiste detecties kan de tracking falen.
• Gevolgen: Zodra de tracking onderbreekt, degradeert de kwaliteit van de voorspelling drastisch, wat leidt tot veiligheidsrisico's.
• Huidige beperking: De meeste state-of-the-art modellen gaan ervan uit dat tracking perfect is. Er is weinig onderzoek gedaan naar voorspelling wanneer tracking volledig ontbreekt of onstabiel is.

2. Methodologie: HiMAP

HiMAP is een tracking-vrij voorspellingframework dat ontworpen is om betrouwbaar te blijven zelfs wanneer tracking faalt. In plaats van te vertrouwen op IDs, reconstrueert het systeem de geschiedenis van een agent puur op basis van historische detecties en kaartgegevens.

De architectuur bestaat uit vier hoofdcomponenten:

1. Spatiotemporale Invariante Encoder:

   • Het systeem encodeert agenten en HD-kaartelementen (zoals rijstroken) in lokale coördinatenstelsels die invariant zijn voor tijd en ruimte. Dit voorkomt dat de context opnieuw moet worden gecodeerd bij elke tijdstap en maakt hergebruik van eerdere encoding mogelijk.
   • Er worden geen agent-IDs gebruikt; in plaats daarvan worden sets van zichtbare agent-embeddings per tijdstap opgeslagen.

2. Historische Occupancy Map Encoder:

   • In plaats van trajecten te volgen, worden detecties omgezet in ruimtelijke bezettingskaarten (occupancy maps).
   • Voor elke historische frame worden agent-kaartinteracties samengevoegd tot een bezettingsrepresentatie. Dit gebeurt via een graafstructuur waarbij agent-embeddings worden gekoppeld aan nabijgelegen rijstrooksegmenten.
   • Een "gating mechanism" (met Sigmoid-activatie) modereert de invloed van agenten op de bezetting, zodat alleen relevant gedrag de kaart beïnvloedt.

3. Historische Query Module (Het kernidee):

   • Deze module reconstrueert de specifieke geschiedenis van een agent zonder ID's.
   • Initialisatie: Een query wordt gestart op basis van de huidige staat van de agent en een samenvatting van de historische bezettingskaarten (via een GRU).
   • Iteratieve reconstructie: De query wordt iteratief bijgewerkt door terug te kijken naar de bezettingskaarten van eerdere frames (in omgekeerde tijdsorde). Hierdoor "zoekt" de query de agent-specifieke geschiedenis op uit de ongelabelde bezettingsrepresentaties.
   • Dit resulteert in een gereconstrueerd historisch traject in lokale coördinaten.

4. Future Trajectory Decoder:

   • Gebaseerd op een DETR-achtige decoder (Detection Transformer).
   • De decoder gebruikt de gereconstrueerde geschiedenis, de huidige staat van de agent, en de kaartcontext om meerdere mogelijke toekomstige trajecten (multi-modal) te genereren.
   • Het maakt gebruik van leerbare "mode queries" om diverse hypothesen te produceren.

3. Belangrijkste Bijdragen

• Robuustheid bij Tracking-Falen: HiMAP is het eerste framework dat expliciet is ontworpen om te werken zonder consistente tracking-identiteiten. Het fungeert als een veilige "fallback" wanneer tracking faalt.
• Identiteitsvrije Geschiedenisreconstructie: Door gebruik te maken van spatiotemporale bezettingskaarten en een recurrente query-mechanisme, kan het systeem de bewegingsgeschiedenis van een agent impliciet reconstrueren zonder expliciete IDs.
• Efficiënte Streaming: Door spatiotemporale invariantie kunnen eerdere encoding's worden hergebruikt, wat efficiënt streaming-inferentie mogelijk maakt.
• Prestaties: Het model presteert vergelijkbaar met tracking-gebaseerde methoden in ideale omstandigheden, maar overtreft deze aanzienlijk in scenario's zonder tracking.

4. Resultaten

De methoden zijn getest op de Argoverse 2 en Argoverse 1 datasets.

• Vergelijking met Baselines:

  • Wanneer tracking ontbreekt, daalt de prestatie van een sterke baseline (QCNet) drastisch (bijv. FDE stijgt van 1.29 naar 3.23).
  • HiMAP behaalt in de "no-tracking" setting een minFDE6 van 1.33 en minADE6 van 0.68.
  • Dit is een relatieve verbetering van 11% in FDE, 12% in ADE en 4% in Miss Rate (MR) ten opzichte van een fijngefineerde QCNet zonder tracking.
  • HiMAP presteert zelfs beter dan veel tracking-gebaseerde methoden op de leaderboard, ondanks dat deze laatste perfect tracking aannemen.

• Veiligheid en Hersteltijd:

  • Een kritieke analyse toont aan dat QCNet ongeveer 13-14 tijdstappen (1.3 - 1.4 seconden) nodig heeft om zijn voorspelling te herstellen na een tracking-fout voordat het HiMAP's stabiliteit bereikt.
  • In deze herstelperiode kunnen voertuigen al tientallen meters afleggen. HiMAP biedt direct stabiele voorspellingen, wat cruciaal is voor veiligheid in kritieke situaties.

• Ablatie Studies:

  • De studies bevestigen dat zowel de historische bezettingskaarten als de recurrente query-mechanisme essentieel zijn voor de prestaties. Het gebruik van 30 gereconstrueerde historische stappen bleek de optimale balans te bieden.

5. Betekenis en Conclusie

HiMAP adresseert een fundamentele zwakte in het huidige ecosysteem van autonoom rijden: de afhankelijkheid van perfecte tracking. Door te vertrouwen op ongelabelde detecties en kaartcontext, biedt HiMAP een veiligheidsmechanisme dat de voorspelling betrouwbaar houdt zelfs wanneer de perceptieketen onderbreekt.

De studie benadrukt dat voor echt veilig autonoom rijden systemen niet alleen moeten werken onder ideale omstandigheden, maar ook robuust moeten zijn bij onvermijdelijke perceptiefouten. HiMAP vormt een belangrijke stap naar meer betrouwbare en veilige autonome systemen die niet afhankelijk zijn van perfecte identiteitsassociatie.

Code: De implementatie is beschikbaar op GitHub (https://github.com/XuYiMing83/HiMAP).