TrajMamba: An Ego-Motion-Guided Mamba Model for Pedestrian Trajectory Prediction from an Egocentric Perspective

Probleemstelling

Het voorspellen van de toekomstige trajecten van voetgangers vanuit een egocentrisch perspectief (eerste-perspectief, zoals gezien door een camera op een autonoom voertuig of robot) is een cruciale taak voor veilige navigatie. De kernuitdaging in dit scenario is de complexe dynamische relatieve beweging tussen de ego-camera (die beweegt met het voertuig) en de geobserveerde voetganger.

In tegenstelling tot methoden die werken vanuit een vogelperspectief (derde persoon), is de waargenomen beweging in een egocentrisch beeld het resultaat van de superpositie van de intrinsieke beweging van de voetganger en de beweging van het voertuig. Bestaande methoden combineren deze bewegingskenmerken vaak via vroege of late fusie in een latente ruimte, wat leidt tot een vaag model van de relatieve beweging. Hierdoor is het voor het decoderen moeilijk om expliciet te analyseren hoe de ego-beweging de voetgangersbeweging dynamisch reguleert.

Methodologie: TrajMamba

De auteurs stellen TrajMamba voor, een nieuw raamwerk dat gebaseerd is op de Mamba-architectuur (een selectieve state-space model). Het model bestaat uit vier hoofdmodules:

1. Pedestrian Motion Encoder (PME):

   • Gebruikt een Mamba-model om bewegingskenmerken van de voetganger te extraheren.
   • Input: Een gedifferentieerde bewegingsrepresentatie die niet alleen positie (centrum, breedte, hoogte) bevat, maar ook snelheid (verplaatsing tussen frames) en schaalverandering.
   • Innovatie: In plaats van LSTM of Transformer, gebruikt de auteur Mamba vanwege de efficiëntie bij het verwerken van lange sequenties en lineaire tijdsreeksmodellering.

2. Ego-Motion Encoder (EME):

   • Gebruikt een apart Mamba-model om de bewegingskenmerken van het voertuig (ego-motion) te extraheren.
   • Input: Snelheidsgegevens of gedragslabels van het voertuig (afhankelijk van de dataset).

3. Ego-Motion-Guided Decoder (EMGD):

   • Dit is het kerninnovatiepunt. In plaats van kenmerken te fuseren voor het decoderen, fungeert de voetgangersbeweging als historische context en de ego-beweging als expliciete sturende cues voor de toekomst.
   • Het decoder (Mamba) leert expliciet hoe de ego-beweging de voetgangersbeweging dynamisch moduleert. Dit lost het probleem van de "vaagheid" in relatieve beweging op dat bij bestaande fusiemethoden optreedt.

4. Future Trajectory Generator (FTG):

   • Een MLP (Multilayer Perceptron) die de gedecodeerde kenmerken omzet in toekomstige bounding boxes.
   • Residulogestuurde voorspelling: Het model voorspelt geen absolute coördinaten, maar een residuele offset ten opzichte van een referentietraject. Dit referentietraject wordt berekend op basis van de "Constant Velocity and Constant Scaling" (CV-CS) aanname. De offset corrigeert afwijkingen van deze fysische prior, wat de stabiliteit en nauwkeurigheid verbetert.

Belangrijkste Bijdragen

• TrajMamba Architectuur: Een nieuw egocentrisch voorspellingsraamwerk dat de Mamba-architectuur introduceert voor zowel voetgangers- als ego-bewegingsmodellering.
• Expliciete Modellering van Relatieve Beweging: Ontwerp van een "ego-motion-guided" decoder die voetgangerskenmerken als context en ego-kenmerken als sturende signalen gebruikt, waardoor de dynamische interactie expliciet wordt gemodelleerd in plaats van impliciet gefuseerd.
• Gedifferentieerde Representatie: Een nieuwe input/output-strategie die snelheid en schaalverandering integreert en voorspellingen formuleert als residuen ten opzichte van een fysisch onderbouwd referentietraject (CV-CS).
• State-of-the-Art Prestaties: Het model behaalt de beste resultaten op twee belangrijke benchmarks (PIE en JAAD) op alle evaluatiemetrieken.

Resultaten

De prestaties zijn getest op de PIE en JAAD datasets met de volgende metrieken:

• ADE/FDE: Average/Final Displacement Error (fout in het centrum van de bounding box).
• ARB/FRB: Average/Final Root Mean Square Error (fout in de volledige bounding box).

Kernbevindingen:

• 1-seconde voorspelling: TrajMamba overtreft alle bestaande methoden (inclusief PedFormer, BiTrap, SGNet) aanzienlijk. Op de PIE-dataset is er een verbetering van ongeveer 41% op ADE en 44% op FDE ten opzichte van de vorige beste methode (PedFormer).
• 1,5-seconde voorspelling: Het model behaalt de beste resultaten op de PIE-dataset. Op JAAD presteert het iets minder dan enkele Transformer-gebaseerde methoden voor langere voorspellingen, wat waarschijnlijk te wijten is aan verschillen in de representatie van voertuigbeweging (snelheid vs. gedragslabels) tussen de datasets.
• Efficiëntie: Ablatiestudies tonen aan dat Mamba als encoder en decoder niet alleen de nauwkeurigste resultaten levert, maar ook aanzienlijk minder parameters en lagere rekenkosten (FLOPs) heeft dan LSTM, GRU en Transformer-modellen.

Betekenis en Toekomstperspectief

Dit paper markeert een belangrijke stap in de evolutie van trajectvoorspelling voor autonome systemen. Door de Mamba-architectuur te combineren met een expliciete modellering van de relatieve beweging tussen camera en object, overwint TrajMamba de beperkingen van traditionele fusiemethoden. Het biedt een robuustere en efficiëntere oplossing voor de complexe dynamiek van egocentrische visie.

Beperkingen en Toekomst:
Het huidige model neemt de onderlinge interactie tussen voetgangers in drukke menigten nog niet in acht. De auteurs plannen om in toekomstig werk de interactiemodellering tussen meerdere voetgangers te integreren om de voorspellingsprestaties in dergelijke scenario's verder te verbeteren.