Multi-Context Fusion Transformer for Pedestrian Crossing Intention Prediction in Urban Environments

Dit paper introduceert de Multi-Context Fusion Transformer (MFT), een nieuw model dat diverse contextuele factoren zoals gedrag, omgeving en voertuigbeweging integreert via een progressieve fusiestrategie om de intentie van voetgangers bij het overstappen in stedelijke omgevingen nauwkeuriger te voorspellen dan bestaande methoden.

De kern

Stel je voor dat je een zelfrijdende auto bestuurt, maar in plaats van een stuurwiel heb je een superintelligente "hersenen" die moet beslissen: Zal die voetganger straks oversteken of niet?

Dit is een van de moeilijkste puzzels voor autonome voertuigen. Mensen zijn onvoorspelbaar. Soms kijken ze je aan, soms kijken ze naar hun telefoon, soms staat er een stopbord, en soms rijdt er een andere auto voorbij.

Dit artikel introduceert een nieuwe oplossing, genaamd MFT (Multi-Context Fusion Transformer). Laten we dit uitleggen alsof het een detective is die een zaak oplost, in plaats van een complexe wiskundige formule.

1. De Detective en de Vier Getuigen

Vroeger probeerden computers alleen te kijken naar de voetganger zelf (zoals een detective die alleen naar één getuige kijkt). Dat werkt niet goed, want de voetganger kan een onschuldig gezicht trekken terwijl hij toch overstapt.

De MFT-detective is slimmer. Hij verzamelt vier verschillende soorten getuigen die allemaal een stukje van de waarheid vertellen:

1. Het Gedrag van de Voetganger (De "Acteur"): Kijkt de voetganger naar de auto? Knikt hij? Winkt hij? (Net als een acteur die zijn intenties verraadt door gebaren).
2. De Locatie (De "Positie"): Waar staat de voetganger precies? Loopt hij langs de kant van de weg of staat hij al op de oversteekplaats?
3. De Auto (De "Rijder"): Wat doet de auto zelf? Remt hij af? Dat kan een teken zijn dat de voetganger mag oversteken.
4. De Omgeving (De "Straat"): Is er een stoplicht? Is er een zebrapad? Is het een drukke kruising of een rustige parkeerplaats?

2. De "Koffiegesprek"-Strategie (Fusie)

De echte kracht van MFT zit in hoe deze vier getuigen met elkaar praten. Het is alsof ze eerst in aparte kamers zitten en daarna samen aan één grote tafel gaan zitten.

• Stap 1: Eigen Kamer (Intra-Context): Eerst luistert elke getuige naar zichzelf. De "Acteur" denkt na over zijn eigen gebaren. De "Straat" denkt na over de verkeerslichten. Ze maken een samenvatting van hun eigen verhaal.
• Stap 2: De Grote Tafel (Cross-Context): Nu komen ze samen. De "Acteur" zegt: "Ik knik, maar de 'Straat' zegt dat het rood licht is." De "Rijder" zegt: "Ik rem af."
  • Hier gebeurt magie: De computer gebruikt een Transformer (een slimme AI-techniek) om te beslissen welke getuige het belangrijkst is in dat specifieke moment.
  • Soms is de "Straat" (het stoplicht) de belangrijkste. Soms is het de "Acteur" (die naar de auto kijkt).
• Stap 3: De Chef-Detective (De CLS-token): Er is één speciale "hoofdgetuige" (de CLS-token) die al deze gesprekken luistert. Deze hoofdgetuige pakt de beste stukjes van elk verhaal en maakt er één duidelijk oordeel van: "Ja, oversteken" of "Nee, blijven staan".

3. Waarom is dit beter dan de oude methoden?

Oude methoden probeerden vaak naar de hele straat te kijken (alle pixels van de camera), alsof je een hele film moet bekijken om te weten of iemand overstapt. Dat kost veel rekenkracht en is traag.

De MFT-methode is als een samenvatting van de film.

• Het kijkt niet naar elke pixel, maar naar de betekenis (numerieke gegevens): "Is het licht rood?", "Kijkt hij?".
• Voordeel: Het is veel sneller, lichter (gebruikt minder computerkracht) en werkt zelfs als de beelden wazig zijn of als het regent. Het is alsof je een scherpzinnige detective hebt die de feiten kent, in plaats van iemand die naar een wazige foto staart.

4. De Resultaten: Een Winnaar

De auteurs hebben hun detective getest op echte datasets (JAAD en PIE).

• Resultaat: De MFT-detective had in 93% van de gevallen gelijk op de ene dataset en 90% op de andere.
• Vergelijking: Hij deed het beter dan de beste andere methoden die er nu zijn.
• Snelheid: Hij is ook nog eens supersnel en heeft een heel klein "geheugen" nodig, wat perfect is voor een auto die in real-time moet beslissen.

Samenvattend

Stel je voor dat je een zelfrijdende auto bouwt. In plaats van een zware, trage camera die alles moet analyseren, geef je de auto een slim team van vier specialisten die samenwerken. Ze praten met elkaar, luisteren naar de context (straat, auto, gedrag) en geven de bestuurder een duidelijk advies.

Dit artikel laat zien dat door te kijken naar wat er gebeurt (de context) in plaats van alleen naar hoe het eruit ziet (de beelden), we veiliger en slimmere zelfrijdende auto's kunnen maken. Het is de overstap van "kijken" naar "begrijpen".

Technische samenvatting

Probleemstelling

Het voorspellen van de intentie van voetgangers om een weg over te steken is cruciaal voor de veiligheid van autonome voertuigen (AV's) in stedelijke omgevingen. Bestaande methoden kampen echter met verschillende uitdagingen:

• Complexiteit van het milieu: Voetgangersintenties worden beïnvloed door een dynamisch samenspel van factoren, waaronder het gedrag van de voetganger, verkeersinfrastructuur, verkeerslichten en de beweging van het voertuig zelf.
• Beperkingen van bestaande benaderingen: Veel huidige methoden vertrouwen op "end-to-end" learning met ruwe, hoogdimensionale invoer (zoals RGB-beelden). Dit leidt tot:
  • Hoge rekenkosten en overparametrisatie.
  • Moeilijk interpreteerbare features (impliciete en verstrengelde kenmerken).
  • Kwetsbaarheid voor ruis en gebrek aan generalisatie in diverse verkeersscenario's.
  • Onvolledige contextmodelleren, waarbij vaak specifieke gedragscontexten (zoals oogcontact of handgebaren) worden genegeerd ten gunste van alleen globale verkeerscontext.

Methodologie: Multi-Context Fusion Transformer (MFT)

De auteurs stellen een nieuwe architectuur voor, de Multi-Context Fusion Transformer (MFT), die niet werkt met ruwe beelden, maar met compacte, semantisch expliciete numerieke attributen afgeleid van sensorsdata.

1. Invoerrepresentatie (Vier Contexten)
Het model integreert vier complementaire contexten:

• Voetgangersgedrag (P): Discrete attributen zoals bewegingstoestand, blikrichting (kijkt naar het voertuig), hoofdbeweging en handgebaren.
• Voetgangerslocatie (L): Bounding box-coördinaten die ruimtelijke positie en bewegingstrends weergeven.
• Voertuigbeweging (V): Kinematische toestand van het eigen voertuig (snelheid, versnelling, remmen), wat wijst op geefgedrag.
• Omgevingscontext (E): Verkeersinfrastructuur, zoals aantal rijstroken, kruispunten, aanwezigheid van zebrapaden, verkeerslichten en verkeersborden.

2. Architectuur en Progressieve Fusiestrategie
De MFT gebruikt een Transformer-gebaseerd raamwerk met een progressieve fusiestrategie bestaande uit vier fasen:

• Intra-Context Fusie (ICF): Binnen elke context worden temporale afhankelijkheden gemodelleerd via Mutual Intra-Context Attention (MI-Attn). Hierbij wisselen een context-token en de feature-sequence onderling informatie uit om een compacte representatie per context te vormen.
• Cross-Context Fusie (CCF): De context-tokens worden samengevoegd met een learnable globale CLS-token. Via Mutual Cross-Context Attention (MC-Attn) vinden bidirectionele interacties plaats tussen de verschillende contexten, waardoor complementaire informatie wordt geïntegreerd.
• Intra-Context Verfijning (ICR): Een Guided Intra-Context Attention (GI-Attn) mechanisme verfijnt de context-tokens door gerichte informatie-aggregatie binnen elke context (de context-token "kijkt" naar de feature-sequence).
• Cross-Context Verfijning (CCR): In de laatste fase wordt de globale CLS-token verfijnd via Guided Cross-Context Attention (GC-Attn). Hierbij selecteert de globale token gerichte informatie van de verfijnde context-tokens voor een efficiënte, gestructureerde fusie.

Belangrijkste Bijdragen

1. Semantisch Expliciete Representatie: In plaats van zware beeldverwerking, gebruikt MFT numerieke attributen die de context direct en interpreteerbaar coderen. Dit maakt het model lichter, schaalbaarder en minder afhankelijk van de distributie van ruwe data.
2. Progressieve Fusiestrategie: Een uniek ontwerp dat zowel wederzijdse (bidirectionele) als geleide (gericht/aggregatie) attentiemechanismen combineert. Dit zorgt voor een effectieve integratie van zowel context-specifieke als multi-contextuele features.
3. Uitgebreide Validatie: De methode is getest op twee grote datasets (JAAD en PIE) en toont superioriteit ten opzichte van state-of-the-art (SOTA) methoden, met name in termen van nauwkeurigheid en AUC.

Resultaten

De prestaties van MFT werden geëvalueerd op de JAADbeh, JAADall en PIE datasets:

• Nauwkeurigheid (Accuracy):
  • JAADbeh: 73% (2% verbetering t.o.v. de beste concurrent MTC).
  • JAADall: 93% (1% verbetering t.o.v. Dual-STGAT).
  • PIE: 90% (3e plaats, maar met de hoogste AUC van 94%).
• AUC (Area Under Curve): MFT behaalde de hoogste scores op JAADall (97%) en PIE (94%), wat aangeeft dat het model zeer robuust is in het onderscheiden van klassen.
• Efficiëntie: MFT is extreem lichtgewicht met slechts 0,95 miljoen parameters en een modelgrootte van 9,40 MB. De inferentietijd bedraagt 23,20 ms, wat sneller is dan veel concurrenten en geschikt is voor real-time toepassing.
• Ablatie-studies:
  • Het verwijderen van één context leidt tot een lichte daling (3-5%), maar het verwijderen van meerdere contexten veroorzaakt een drastische prestatiedaling (tot 21%), wat het belang van geïntegreerde context bevestigt.
  • De voorgestelde Guided Cross-Context Attention presteerde significant beter dan alternatieven zoals gemiddelde pooling of additieve attention.
• Lange Voorspellingshorizon: Bij een langere voorspellingshorizon (2-3 seconden) degradeert de prestatie van alle modellen, maar MFT behoudt hierbij de beste prestaties ten opzichte van baselines, wat wijst op betere generalisatie.

Betekenis en Conclusie

Dit paper introduceert een paradigmaverschuiving in de voorspelling van voetgangersintenties: weg van zware, end-to-end beeldmodellen naar een efficiënte, context-gedreven Transformer-architectuur.

• Interpreteerbaarheid: Door het gebruik van semantisch expliciete attributen (in plaats van impliciete pixel-data) is het model beter te interpreteren en te debuggen.
• Robuustheid: De methode is minder gevoelig voor ruis en incomplete data, wat essentieel is voor veilige autonome rij-systemen in de echte wereld.
• Toekomstperspectief: De auteurs benadrukken dat hun framework schaalbaar is en toekomstig werk richt zich op de implementatie in echte voertuigen en het uitbreiden naar fijnmazigere intentie-categorieën (bijv. aarzelen vs. direct oversteken).

Kortom, MFT biedt een nieuwe, efficiënte en nauwkeurige standaard voor het begrijpen van complexe interacties tussen voetgangers en voertuigen in stedelijke omgevingen.