🤖 AI

ART: Adaptive Relational Transformer for Pedestrian Trajectory Prediction with Temporal-Aware Relations

Dit paper introduceert de ART (Adaptive Relational Transformer), een model voor het voorspellen van voetgangersbanen dat gebruikmaakt van een tijdsbewuste relatiegrafiek en adaptieve interactie-ontknoping om zowel de nauwkeurigheid te maximaliseren als de rekenkosten te verlagen.

Oorspronkelijke auteurs: Ruochen Li, Ziyi Chang, Junyan Hu, Jiannan Li, Amir Atapour-Abarghouei, Hubert P. H. Shum

Gepubliceerd 2026-04-07

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC0 1.0

Oorspronkelijke auteurs: Ruochen Li, Ziyi Chang, Junyan Hu, Jiannan Li, Amir Atapour-Abarghouei, Hubert P. H. Shum

Oorspronkelijk artikel vrijgegeven aan het publieke domein onder CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je in een drukke supermarkt loopt. Je moet je weg vinden tussen al die andere mensen zonder dat je ergens tegen aan loopt of iemand in de weg staat. Om dit goed te doen, moet je niet alleen kijken waar de mensen nu zijn, maar ook voorspellen waar ze naar toe gaan en hoe ze op elkaar reageren.

Dit is precies wat robots en zelfrijdende auto's moeten doen. De wetenschappers van dit paper hebben een slimme nieuwe manier bedacht om dit te leren, genaamd ART (Adaptive Relational Transformer).

Hier is hoe het werkt, vertaald in simpele taal met een paar leuke vergelijkingen:

1. Het oude probleem: De "Statische Foto"

Vroeger keken de slimme computers naar de mensen in de supermarkt als een statische foto. Ze zagen: "Die persoon is daar, die persoon is daar." Ze probeerden te raden wat er zou gebeuren, maar ze keken niet echt naar hoe de interactie ontwikkelde in de tijd.

Het was alsof je probeert een film te begrijpen door alleen naar één frame te kijken. Je mist de beweging! Ook keken ze vaak naar iedereen in de buurt, alsof je in een drukke zaal naar elke stem luistert, zelfs als iemand aan de andere kant van de kamer fluistert. Dat kostte veel energie en tijd voor de computer.

2. De nieuwe oplossing: ART

De nieuwe methode, ART, doet twee dingen anders:

A. De "Tijdbewuste Relatiekaart" (TARG)

In plaats van een statische foto, kijkt ART naar een film.

De Analogie: Stel je voor dat je twee mensen ziet die naar elkaar toe lopen. Op het moment dat ze elkaar bijna raken, is dat een heel belangrijk moment. Een seconde later, als ze voorbij zijn, is dat minder belangrijk.
Hoe ART het doet: ART kijkt naar elk moment in de film. Hij geeft extra aandacht (gewicht) aan de momenten waar mensen echt met elkaar interageren (bijvoorbeeld als ze elkaar uitwijken of samen lopen). Momenten waar ze ver van elkaar vandaan zijn, krijgt hij minder aandacht.
Het resultaat: De computer begrijpt niet alleen wie met wie praat, maar ook wanneer die interactie het belangrijkst was.

B. De "Slimme Scherper" (AIP)

Zoals gezegd, luisteren naar iedereen is vermoeiend en inefficiënt.

De Analogie: Stel je voor dat je in een drukke bar staat. Je wilt met je vriend praten. Je hoeft niet naar iedereen in de bar te luisteren, alleen naar je vriend en misschien de mensen die direct naast jullie staan.
Hoe ART het doet: ART gebruikt een slimme filter (noem het een "top-p filter"). Hij kijkt naar alle mensen in de buurt en houdt alleen de belangrijkste contacten over. Als iemand heel ver weg is of geen invloed heeft op je pad, wordt die persoon "weggefilterd" uit de berekening.
Het resultaat: De computer hoeft niet meer naar 100 mensen te kijken, maar alleen naar de 5 of 6 die er echt toe doen. Dit maakt het veel sneller en zuiniger.

3. Wat levert dit op?

Door deze twee trucjes te combineren, wordt ART de beste speler in het spel:

Sneller: Omdat hij niet naar iedereen kijkt, heeft hij minder rekenkracht nodig (zoals een auto die minder benzine verbruikt omdat hij niet overal tegelijk naar kijkt).
Nauwkeuriger: Omdat hij de tijd goed begrijpt, maakt hij minder fouten. Hij weet bijvoorbeeld dat iemand die plotseling stopt, waarschijnlijk iemand anders gaat ontwijken, en kan dat voorspellen.

Conclusie

Kortom, ART is als een super-attent robot die door een drukke stad loopt. Hij kijkt niet naar een statische foto van de menigte, maar kijkt naar de beweging in de tijd en focust zich alleen op de mensen die echt belangrijk zijn voor zijn eigen pad. Hierdoor loopt hij soepeler, sneller en botst hij minder vaak.

Dit is een grote stap voorwaarts voor robots die veilig met mensen moeten samenwerken, of voor zelfrijdende auto's die in de file moeten navigeren.

Probleemstelling

Voorspellen van de toekomstige trajecten van voetgangers is een cruciale component voor robotica-toepassingen, zoals autonoom rijden, mens-robot interactie en slimme surveillance. Bestaande methoden kampen echter met twee belangrijke beperkingen:

Verlies van tijdsinformatie: Veel huidige benaderingen (zowel grafiek- als transformer-gebaseerd) comprimeren trajecten in statische embeddings voordat ze interacties modelleren. Hierdoor gaat de dynamische evolutie van interacties en de tijdsafhankelijke sterkte van relaties verloren.
Rekenkundige inefficiëntie en ruis: Methoden gebruiken vaak uniform burenselectie (bijv. volledig verbonden grafieken of vaste top-k selectie). Dit introduceert redundante berekeningen en ruis door irrelevante interacties, terwijl de heterogene en veranderlijke aard van menselijke interacties niet goed wordt gevangen.

Methodologie: ART (Adaptive Relational Transformer)

De auteurs stellen ART voor, een lichtgewicht transformer-gebaseerd framework dat twee kerncomponenten introduceert om bovenstaande problemen op te lossen:

1. Temporal-Aware Relation Graph (TARG)

In tegenstelling tot methoden die eerst aggregatie over tijd toepassen, behoudt TARG de tijdsattributie tijdens het modelleren van interacties.

Werking: Het model past pairwise attention toe op de observatie-sequenties voor elke tijdstap. Hierdoor wordt de interactie tussen twee voetgangers op elk moment in de tijd gewogen.
Dynamische Weging: Belangrijke momenten (bijv. momenten van grote nabijheid of richtingsverandering) krijgen hogere attention-scores, terwijl minder relevante momenten minder bijdragen.
Output: Deze tijdsbewuste scores worden geaggregeerd via leerbare gewichten om relationele features te genereren die de evolutie van de interactie expliciet vastleggen.

2. Adaptive Interaction Pruning (AIP)

Om de rekenkosten van dichte interactiegrafen ( $O(M^2)$ ) te verminderen en ruis te filteren, introduceert ART een adaptieve verdunningsmechanisme.

Top-p Filtering: In plaats van een vast aantal buren (top-k) te kiezen, selecteert AIP buren op basis van de cumulatieve interactiesterkte.
Adaptiviteit: Voor elke agent worden de potentiële buren gesorteerd op hun attention-gewicht. Er wordt een minimale set buren behouden totdat de cumulatieve som van de gewichten een drempelwaarde $p$ bereikt.
Resultaat: Dit leidt tot een gesparsificeerde graaf die alleen informatieve buren bevat, wat de efficiëntie verhoogt zonder de kwaliteit van de interactiemodellering te schaden.

3. Relational Transformer en Decoding

De gesparsificeerde graaf wordt verwerkt door een Relational Transformer (RT) met edge-aware attention. De node-features worden verfijnd door rekening te houden met de randen (interacties). Voor de voorspelling worden de initiële features en de verfijnde features gecombineerd en via meerdere parallelle heads (Best-of-K strategie) omgezet in toekomstige trajecten.

Belangrijkste Bijdragen

ART Framework: Een nieuw, lichtgewicht transformer-framework dat sociale interacties expliciet modelleert met behoud van rekenkundige efficiëntie.
TARG: Een methode die de tijdsafhankelijke evolutie van paarsgewijze interacties expliciet vastlegt, in plaats van deze te comprimeren naar statische representaties.
AIP: Een adaptieve verdunningsstrategie via top-p filtering die redundantie reduceert door alleen informatieve buren te behouden op basis van de geleerde interactiesterkte.

Resultaten

Het model is geëvalueerd op de ETH/UCY (voetgangers) en NBA SportVU (basketballers) benchmarks.

Kwantitatieve Prestaties:
- ETH/UCY: ART behaalt state-of-the-art (SOTA) resultaten met een gemiddelde min ADE20 van 0.20 en min FDE20 van 0.32. Dit is een verbetering van 4,8% ten opzichte van sterke baselines zoals MART en LED.
- NBA: Het model presteert consistent beter dan concurrenten op verschillende tijdschalen (1.0s tot 4.0s), wat aantoont dat het effectief is in het modelleren van complexe, gecoördineerde bewegingen in sportomgevingen.
Efficiëntie:
- ART heeft de laagste rekenkosten (MACs) van alle vergeleken methoden (40.0M MACs) en een klein aantal parameters (1.0M). Dit is aanzienlijk efficiënter dan methoden zoals MID (40.3G MACs) of MemoNet (6.0G MACs).
Ablatie Studies:
- De tijdsbewuste weging (TARG) bleek superieur aan statische wegingen (cosine, uniform, willekeurig).
- Een moderate top-p drempel (bijv. $p=0.75$ ) bleek het beste evenwicht te bieden tussen selectiviteit en informatiebehoud.

Betekenis en Conclusie

Deze paper introduceert een paradigmaverschuiving in het modelleren van voetgangersinteracties door de temporele dynamiek expliciet te integreren in de relationele graafconstructie. Door te combineren met een adaptieve verdunningsstrategie, lost ART het fundamentele compromis op tussen expressiviteit en rekenkundige efficiëntie.

De resultaten tonen aan dat ART niet alleen nauwkeuriger is in het voorspellen van complexe scenario's (van drukke straten tot sportvelden), maar ook veel lichter en sneller is dan bestaande SOTA-methoden. Dit maakt het zeer geschikt voor real-time robotica-toepassingen waar zowel precisie als lage latentie essentieel zijn. Toekomstig werk richt zich op het integreren van probabilistische modellen (zoals diffusiemodellen) en het gebruik van uitgebreidere lichaamsbewegingen.