A Spatio-temporal Graph Network Allowing Incomplete Trajectory Input for Pedestrian Trajectory Prediction

Dit artikel introduceert STGN-IT, een spatio-temporeel grafisch netwerk dat de voorspelling van voetgangersbanen mogelijk maakt zelfs bij onvolledige historische trajecten door statische obstakels als knopen op te nemen en een clustering-algoritme te gebruiken, wat resulteert in superieure prestaties ten opzichte van bestaande methoden.

De kern

Stel je voor dat je een robot bestuurt die door een drukke stad loopt. De robot moet weten waar de mensen naartoe gaan, zodat hij niet tegen hen aanbotst. Dit noemen we "voorspellen van looproutes".

De meeste slimme robots die we vandaag de dag hebben, werken als een zeer streng leraar. Als een leerling (een voetganger) ook maar één minuutje uit het zicht verdwijnt – misschien omdat hij achter een boom of een ander persoon loopt – dan zegt de robot: "Ik zie je niet meer, dus ik kan je toekomst niet voorspellen." De robot stopt dan met die persoon in zijn berekeningen.

Dit is gevaarlijk! Als die persoon plotseling weer uit het niets opduikt, kan de robot niet meer uitwijken en botst hij.

De auteurs van dit paper hebben een oplossing bedacht: STGN-IT. Laten we uitleggen hoe dit werkt met een paar simpele metaforen.

1. De "Onzichtbare" Voetganger (Het Incomplete Traject)

Stel je voor dat je een film kijkt, maar er zijn een paar frames (beelden) uit de film gesneden.

• De oude robots: Zeggen: "De film is kapot, ik kan de rest niet zien." Ze negeren de persoon volledig.
• De nieuwe robot (STGN-IT): Zegt: "Ik zie dat er beelden ontbreken, maar ik weet nog waar die persoon was. Ik ga een 'gok' doen over wat er in die lege frames is gebeurd, en ik ga die persoon meenemen in mijn berekening."

Ze gebruiken een slim trucje: in plaats van de plek waar de persoon verdween leeg te laten, vullen ze die plek in met een speciaal signaal (een "code"). Het is alsof je in een dagboek schrijft: "Op dinsdag was ik hier, op woensdag was ik even weg (niet zichtbaar), en op donderdag was ik weer hier." De robot leert dit onderscheid te maken tussen "iemand die echt stil staat op (0,0)" en "iemand die even uit beeld is".

2. De "Spatio-temporele Grafiek" (Het Grote Netwerk)

Stel je voor dat je een enorm web van draden hebt.

• De knopen in het web zijn de mensen en de obstakels (zoals muren of bomen).
• De draden verbinden ze met elkaar. Als twee mensen dicht bij elkaar lopen, is de draad strakker. Als iemand tegen een muur loopt, is er ook een draad naar die muur.

Deze robot kijkt niet alleen naar mensen, maar trekt ook muren en obstakels in het web. Als de robot ziet dat een persoon naar een muur loopt, zegt het web: "Hé, die muur is in de weg! Die persoon zal waarschijnlijk afbuigen." Dit maakt de voorspelling veel realistischer.

3. De Twee-Ronde Voorspelling (Het Dubbelchecken)

Deze robot doet het werk in twee stappen, net als een detective die eerst een snelle schets maakt en dan verfijnt:

1. Ronde 1: De robot kijkt naar de mensen en voorspelt waar ze naartoe lopen.
2. Ronde 2: De robot kijkt naar zijn eigen voorspelling en zegt: "Wacht even, op die plek waar ik denk dat die persoon gaat lopen, staat een bankje (een obstakel)!" Hij voegt dat bankje toe aan zijn web en zegt: "Oké, nu ik weet dat er een bankje staat, ga ik mijn voorspelling aanpassen."

Dit zorgt ervoor dat de robot niet door muren of meubels heen loopt.

4. Waarom is dit beter voor robots?

In de echte wereld (zoals in een winkel of op straat) worden mensen vaak even geblokkeerd door andere mensen of objecten.

• Oude methode: Als iemand even weg is, stopt de robot met kijken. Dit is als een voetballer die stopt met rennen zodra de bal even uit beeld is.
• Nieuwe methode (STGN-IT): De robot blijft kijken en voorspellen, zelfs als de persoon even "onzichtbaar" is.

Conclusie

Kort samengevat: Deze nieuwe robot is als een voorzichtige danspartner. Hij let niet alleen op de bewegingen van zijn partner, maar ook op de muren in de kamer. En als zijn partner even uit beeld verdwijnt achter een andere danser, raakt hij niet in paniek. Hij maakt een slimme schatting, houdt rekening met de obstakels, en blijft veilig dansen zonder te struikelen.

Dit maakt het veel veiliger voor robots om samen met mensen door drukke steden te lopen.

Technische samenvatting

Probleemstelling

Voetgangersvoorspelling is cruciaal voor de navigatie van mobiele robots in omgevingen met mensen. Bestaande algoritmen voor het voorspellen van voetgangersbanen hebben echter een fundamentele beperking: ze vereisen doorgaans dat de historische trajecten volledig waarneembaar zijn. Als een voetganger in een of meer vorige frames onzichtbaar is (bijvoorbeeld door obstructies in een egocentrisch zicht, zoals bij robots), wordt het traject als "onvolledig" beschouwd en geven deze algoritmen geen voorspelling.

In top-down datasets (zoals ETH of UCY) is dit minder een probleem, maar in egocentrische weergaven (zoals bij robots met LIDAR of camera's) is het zeer gebruikelijk dat voetgangers tijdelijk worden geblokkeerd. Bestaande methoden hanteren vaak een "filtratie-modus" (alleen voorspellen bij volledige data), wat leidt tot veiligheidsrisico's voor robots omdat ze geen reactie hebben op onzichtbare voetgangers. Een alternatieve "pad-modus" (waarbij onzichtbare posities als (0,0) worden ingevuld) is veiliger, maar introduceert ruis en misinterpretaties in de data die de prestaties van bestaande modellen sterk verminderen.

Methodologie: STGN-IT

De auteurs stellen STGN-IT (Spatio-Temporal Graph Network for Incomplete Trajectory) voor, een netwerk dat specifiek is ontworpen om onvolledige trajecten te verwerken en de omgeving in rekening te brengen. De architectuur bestaat uit vier hoofdmodules en voert twee voorspellingen uit:

1. Spatio-temporeel Grafconstructie:

   • Het netwerk modelleert voetgangers en obstakels als knopen in een graf.
   • De DBSCAN-clustering wordt gebruikt om de volgorde van knopen in de matrices aan te passen. Voetgangers en obstakels die invloed op elkaar hebben, worden naast elkaar geplaatst in de matrix om de interactie-herkenning door het grafconvolutienetwerk te verbeteren.

2. Observatiestatus-Encodering (Kerninnovatie):

   • Om het onderscheid te maken tussen een voetganger die daadwerkelijk op positie (0,0) staat en een voetganger die onzichtbaar is, wordt een speciale codering ontwikkeld.
   • Er worden vectoren ($N^o$ en $E^o$) toegevoegd die de waarnemingsstatus aangeven (bijv. waarneembaar, niet waarneembaar, of de status van de vorige frame). Dit voorkomt dat het netwerk denkt dat een voetganger fysiek naar (0,0) is verplaatst.

3. Trajectvoorspellingsmodule:

   • Compensatie: Twee GRU-netwerken (Gated Recurrent Units) compenseren ontbrekende posities door gebruik te maken van kenmerken uit vorige frames.
   • Kenextractie: Een Spatio-Temporal Graph Convolution Network (STGCN) en een Time-Extrapolator Convolution Network (TECN) extraheren kenmerken uit de gecompenseerde data.
   • Output: Een Bi-GRU en een MLP (Multi-Layer Perceptron) genereren de uiteindelijke voorspelde snelheid en positie.

4. Obstakel-Additie Module (Tweestapsvoorspelling):

   • Eerste voorspelling: Het netwerk voorspelt de banen zonder omgevingsinformatie.
   • Obstakel toevoegen: Gebaseerd op een Occupancy Grid Map (automatisch gegenereerd uit LIDAR-puntenwolk), worden statische obstakels die dicht bij de voorspelde banen liggen, toegevoegd als extra knopen aan de graf.
   • Tweede voorspelling: Het netwerk voert een tweede voorspelling uit met deze uitgebreide graf, waardoor het rekening houdt met obstakels en de nauwkeurigheid toeneemt.

Belangrijkste Bijdragen

1. Ontwerp van STGN-IT: Een nieuw spatio-temporeel grafnetwerk dat onvolledige historische trajecten kan verwerken door middel van een speciale encodering voor observatiestatus en het gebruik van occupancy grid maps. Dit maakt het beter geschikt voor robotnavigatie dan modellen die semantische kaarten vereisen.
2. Validatie van de impact van onvolledige data: Experimenten tonen aan dat onvolledige trajecten de prestaties van bestaande algoritmen drastisch verminderen. De auteurs introduceren een coderingsmethode om deze degradatie te beperken.
3. Vergelijking van voorspellingsmodi: Het paper pleit voor de evaluatie van algoritmen in de "pad-modus" (waarbij onzichtbare data wordt ingevuld) in plaats van de "filtratie-modus", omdat dit veiliger is voor robotnavigatie en een realistischer testomgeving biedt.

Resultaten

De algoritmen zijn getest op de STCrowd (STC) dataset, een egocentrische dataset met 3D LIDAR-data. Er is ook een aangepaste dataset (STC-c) gebruikt waarbij 10% van de samples willekeurig is verwijderd om onvolledige trajecten te simuleren.

• Kwantitatieve Prestaties: STGN-IT presteert significant beter dan state-of-the-art algoritmen (zoals Social-STGCNN, SGCN, GraphTERN, STIGCN) op de metrics ADE (Average Displacement Error) en FDE (Final Displacement Error).
  • In de "pad-modus" met onvolledige data (STC-c, p-p) toont STGN-IT de kleinste prestatiedegradatie (ongeveer 15%) vergeleken met andere modellen, die vaak meer dan 25% degradatie vertonen of zelfs niet kunnen trainen.
  • STGN-IT behaalt de beste ADE en FDE in alle drie de testcondities (volledige data, onvolledige data, en de aangepaste dataset).
• Ablatie-studie: Het verwijderen van modules (zoals de obstakel-toevoeging, de codering van de observatiestatus, of de clustering) leidt tot een prestatieverlies van minimaal 20%, wat het belang van elk onderdeel bevestigt.
• Kwalitatieve Analyse: In visuele tests (Fig. 5) voorkomt STGN-IT botsingen met statische obstakels en andere voetgangers waar andere modellen falen. Bovendien levert STGN-IT soepele en logische voorspellingen op zelfs bij gedeeltelijk geblokkeerde voetgangers, terwijl andere modellen onstabiele of onmogelijke trajecten voorspellen.

Significantie

Dit paper is significant omdat het een oplossing biedt voor een kritiek probleem in de robotica: het voorspellen van voetgangersbewegingen in realistische, ongestructureerde omgevingen waar sensor-data vaak ontbreekt.

• Veiligheid: Door de "pad-modus" te ondersteunen en onzichtbare voetgangers te blijven voorspellen, vermindert STGN-IT het risico op botsingen voor mobiele robots.
• Robuustheid: De integratie van occupancy grid maps en de dubbele voorspellingstap maakt het systeem robuuster tegen omgevingsobstakels dan modellen die alleen op sociale interacties vertrouwen.
• Praktische toepasbaarheid: De methode is ontworpen voor egocentrische visie (zoals bij robots) en gebruikt automatisch gegenereerde kaarten, wat de toepassing in de echte wereld vergemakkelijkt zonder handmatige annotatie van semantische kaarten.