💻 informatica

UniMotion: A Unified Motion Framework for Simulation, Prediction and Planning

UniMotion is een verenigd, decoder-only Transformer-framework dat taken voor bewegingssimulatie, voorspelling en planning integreert via gedeelde representaties en op maat gemaakte trainingsstrategieën, waarmee het state-of-the-art prestaties en verbeterde schaalbaarheid bereikt op de Waymo Open Motion Dataset.

Oorspronkelijke auteurs: Nan Song, Junzhe Jiang, Jingyu Li, Xiatian Zhu, Li Zhang

Gepubliceerd 2026-02-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Nan Song, Junzhe Jiang, Jingyu Li, Xiatian Zhu, Li Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren hoe hij een auto door een drukke stad moet rijden. Om dit veilig te doen, moet de robot drie verschillende "superkrachten" beheersen:

Simulatie: Doen alsof je andere bestuurders bent om te zien hoe zij zouden kunnen handelen (zoals een vluchtsimulator voor auto's).
Predictie (Voorspelling): Raden waar andere auto's in de volgende paar seconden precies naartoe gaan.
Planning (Planning/Navigatie): Beslissen welk pad de eigen auto van de robot het beste kan volgen.

Tot nu toe bouwden onderzoekers meestal drie aparte "hersenen" voor deze drie taken. Eén brein was goed in raden, een ander was goed in doen alsof, en een derde was goed in plannen. Maar de auteurs van dit artikel, UniMotion, stelden een simpele vraag: Waarom hebben we drie verschillende hersenen nodig als ze allemaal hetzelfde onderliggende werk lijnen te doen?

Ze realiseerden zich dat het begrijpen van hoe auto's interageren, hoe ze bewegen en hoe ze reageren op de weg eigenlijk dezelfde vaardigheid is, alleen anders toegepast. Dus bouwden ze UniMotion, één enkel, verenigd "superbrein" dat al deze drie taken tegelijkertelt kan uitvoeren.

Het Grote Idee: Eén Brein, Drie Hoeden

Denk aan UniMotion als een veelzijdige acteur die drie verschillende rollen kan spelen in een toneelstuk:

De Improvisator (Simulatie): Deze acteur creëert willekeurige, diverse scenario's om voor te oefenen. "Wat als die auto naar links zwiept? Wat als hij plotseling stopt?"
De Waarzegster (Predictie): Deze acteur kijkt naar de huidige scène en zegt: "Ik wed dat die vrachtwagen over 3 seconden rechts afslaat."
De Regisseur (Planning): Deze acteur bepaalt het script voor de hoofdrolspeler (het ego-voertuig): "Oké, aangezien de vrachtwagen rechts afslaat, moeten we vertragen en naar de linkerrijstrook bewegen."

In plaats van drie verschillende acteurs in te huren en te hopen dat ze elkaar begrijpen, is UniMotion één acteur die een andere hoed opzet voor elke scène. Omdat deze acteur alle drie de rollen tegelijkertijd leert, wordt hij beter in de kernvaardigheid van "verkeer begrijpen" dan welke gespecialiseerde acteurs dan ook op zichzelf zouden kunnen.

Hoe het werkt: De "Token"-truc

Om dit werkend te krijgen, moest het team de chaotische, echte wereld van wegen vertalen naar een taal die de computer gemakkelijk kan begrijpen. Ze gebruikten een techniek genaamd tokenisatie.

Stel je voor dat je een lange, kronkelende weg en een bewegende auto in stukjes hakt tot kleine, uniforme Lego-blokjes.

Het pad van een auto wordt een reeks Lego-blokjes.
De wegmarkeringen worden een reeks Lego-blokjes.

De computer behandelt deze blokjes vervolgens als woorden in een zin. Net zoals een taalmodel (zoals degene met wie je nu praat) het volgende woord in een zin voorspelt, voorspelt UniMotion het volgende "Lego-blokje" van het pad van een auto.

Voor Simulatie: Het speelt een spelletig "vul de lege ruimte in" om veel verschillende mogelijke toekomsten te genereren.
Voor Predictie: Het kijkt naar de voorgaande blokjes en berekent de meest waarschijnlijke toekomstige blokjes.
Voor Planning: Het gebruikt de voorspelde blokjes van andere auto's om zijn eigen volgende stappen te bepalen.

Het Geheime Recept: Samen trainen, dan specialiseren

Het artikel beschrijft een tweestaps-trainingsproces, wat lijkt op een student die eerst een algemeen examen bestudeert en zich daarna specialiseert voor een specifieke baan.

Gezamenlijke Training (De Generalist-fase): Het model wordt getraind op alle drie de taken tegelijkertijd. Het leert de gedeelde regels van de weg. Dit maakt het zeer robuust en goed in het begrijpen van het grote geheel. Het artikel laat zien dat deze "groepsstudie"-aanpak de prestaties van het model op individuele taken zelfs verbetert, omdat de taken elkaar helpen.
Fine-tuning (De Specialist-fase): Zodra het model de basis heeft geleerd, geven de onderzoekers het een beetje extra "gespecialiseerde coaching" voor de specifieke taak die het moet uitvoeren.
- Als het een Simulator moet zijn, gebruiken ze een beloningssysteem (zoals een score in een videogame) om het te leren realistischer te zijn en botsingen te vermijden.
- Als het een Predictor moet zijn, voegen ze een speciaal hulpmiddel toe om het te helpen meerdere mogelijke uitkomsten te raden (aangezien mensen onvoorspelbaar kunnen zijn).
- Als het een Planner moet zijn, leren ze het om zijn eigen voorspellingen over andere auto's te vertrouwen om veiligere beslissingen te nemen.

De Resultaten

Het team heeft dit "superbrein" getest op een enorme dataset van echte rijscenario's genaamd de Waymo Open Motion Dataset.

In Simulatie: Het werd een van de beste in het creëren van realistische verkeersscenario's en versloeg eerdere gespecialiseerde modellen.
In Predictie: Het raadde nauwkeurig waar auto's naartoe zouden gaan, waarbij het de topconcurrenten evenaarde of versloeg.
In Planning: Het maakte de veiligste en meest efficiënte rijbeslissingen voor het ego-voertuig.

De Kernboodschap

Het artikel betoogt dat door deze taken te verenigen in één framework, we niet alleen een model krijgen dat drie dingen doet, maar een model dat het verkeer beter begrijpt dan de som der delen. Het is alsof je beseft dat een meesterkok niet drie verschillende keukens nodig heeft voor snijden, koken en opmaken — hij heeft gewoon één geweldige keuken en de juiste tools nodig om tussen taken te schakelen. UniMotion is die meesterkeuken voor autonoom rijden.

Technische Samenvatting: UniMotion

Probleemstelling

Begrip van beweging (motion understanding) is een hoeksteen van autonoom rijden en omvat drie fundamentele taken: bewegingssimulatie, trajectvoorspelling en ego-planning. Hoewel deze taken cruciaal zijn voor het modelleren van dynamische verkeersscenario's, worden ze traditioneel geïsoleerd aangepakt met gespecialiseerde modelontwerpen. Deze scheiding belemmert de kruistaken-generalisatie, beperkt de schaalbaarheid van systemen en negeert de potentiële wederzijdse voordelen die voortvloeien uit hun gedeelde onderliggende capaciteiten: het begrijpen van interacties tussen meerdere agenten, het modelleren van bewegingsgedrag en het redeneren over temporele en ruimtelijke dynamiek. Bestaande benaderingen falen vaak in het benutten van de overeenkomsten tussen diverse bewegingsgeneratie (simulatie) en langetermijn-trajectvoorspelling (predictie/planning), wat leidt tot redundante ontwikkeling en gefragmenteerde kennis.

Methodologie

De auteurs stellen UniMotion voor, een verenigd bewegingsframework dat is ontworpen om gedeelde structuren over bewegingstaken heen te vangen terwijl het voldoet aan hun specifieke vereisten. Het framework is gebouwd op een decoder-only Transformer-architectuur, gekozen vanwege de eenvoud, schaalbaarheid en sterke generatieve capaciteit.

1. Verenigde Representatie en Architectuur

Tokenisatie: Om generalisatie te waarborgen, standaardiseert het framework inputs via tokenisatie. Agent-trajecten worden gesegmenteerd in vaste intervallen en geclusterd om een agent-token vocabulaire ( $S_a$ ) te vormen. Op vergelijkbare wijze worden HD-kaart polylijnen verdeeld en geclusterd om kaart-tokens ( $S_m$ ) te creëren. Deze worden geëmbbed in feature-vectoren ( $E_a$ en $E_m$ ).
Encoder-Decoder Structuur: Het model maakt gebruik van een kaart-encoder om kaart-features ( $F_m$ $F_{m}$ ) te verwerken en een gefactoriseerde agent-decoder. De decoder maakt gebruik van drie aandachtmechanismen (attention mechanisms):
- Temporele zelf-aandacht (temporal self-attention).
- Agent-kaart kruis-aandacht (agent-map cross-attention).
- Agent-agent zelf-aandacht (agent-agent self-attention).
- Relatieve positionele embeddings worden gebruikt om invariantie te behouden onder coördinatentransformaties.

2. Gezamenlijke Trainingsstrategie

UniMotion verenigt de drie taken door ze te abstraheren naar twee fundamentele componenten: diverse bewegingsgeneratie en langetermijn-trajectvoorspelling. Het model wordt gezamenlijk getraind met taakspecifieke aandacht-masks en op maat gemaakte doelstellingen:

Bewegingssimulatie: Gemodelleerd als een auto-regressieve taalgeneratietaak. Het gebruikt een causale aandacht-mask en Next-Token Prediction (NTP) om iteratief multi-agent toestanden te genereren, waarbij de nadruk ligt op kortetermijn-diversiteit.
Trajectvoorspelling: Behandeld als een sequence-to-sequence taak. Het maakt gebruik van een seq2seq aandacht-mask (historische tokens letten op elkaar; toekomstige tokens letten op historie en voorgaande toekomstige tokens). Cruciaal is dat het Long-range Future Regression (LFR) introduceert, waarbij token-classificatie wordt vervangen door genormaliseerde traject-regressie om complete langetermijn-trajecten direct te voorspellen, wat de nauwkeurigheid waarborgt.
Ego-planning: Beschouwd als een combinatie van generatie en voorspelling. Het model voorspelt eerst de toekomstige trajecten van omliggende agenten en genereert vervolgens progressief het traject van het ego-voertuig op basis van deze voorspellingen.

3. Taakspecifieke Fine-tuning

Om state-of-the-art prestaties te behalen in specifieke toepassingen, gebruikt het framework toegewijde fine-tuning strategieën zonder nieuwe parameters te introduceren:

Simulatie (RL-gebaseerd): Maakt gebruik van Reinforcement Learning (specifiek GRPO) om gegenereerde trajecten af te stemmen op menselijk rijgedrag en verkeersregels. Een beloningsfunctie combineert kinematische gelijkenis (log-likelihood van de grondwaarheid) en botsingsvermijding.
Voorspelling (Multi-modaal): Introduceert een lichtgewicht transformer-decoder met intentie-ankers om multi-modale outputs te verfijnen, wat de diversiteit en betrouwbaarheid van trajecten verhoogt.
Planning (Pred2Gen): Pakt de distributieverschillen aan tussen voorspelde agent-tokens en de trainingsdata door het ego-generatieproces te finetunen met behulp van voorspelde resultaten (gefilterd en vervangen door de grondwaarheid waar nodig) op een end-to-end gesuperviseerde wijze.

Belangrijkste Bijdragen

Verenigd Framework: Het artikel abstraheert bewegingstaken naar twee kerncategorieën en stelt UniMotion voor, een op Transformer gebaseerd framework dat simulatie, voorspelling en planning gezamenlijk modelleert om generaliteit en kruistaken-kennisdeling te bevorderen.
Specialisatie via Fine-tuning: De auteurs ontwerpen effectieve fine-tuning strategieën (RL voor simulatie, multi-modale decodering voor voorspelling, en Pred2Gen voor planning) die het gezamenlijk getrainde model in staat stellen om taakspecifieke expertise te beheersen.
Empirische Validatie: Uitgebreide experimenten op de Waymo Open Motion Dataset (WOMD) tonen aan dat gezamenlijke training leidt tot robuuste generalisatie, terwijl de gefinetunede versies state-of-the-art resultaten behalen voor alle drie de bewegingstaken.

Experimentele Resultaten

Het model werd geëvalueerd op de Waymo Open Motion Dataset (486k scenario's).

Simulatie: In de Waymo Open Sim Agents Challenge behaalde UniMotion een Realism Meta Metric van 0.7851, waarmee het eerdere methoden zoals UniTFormer (0.7776) en LLM2AD (0.7779) versloeg. Het model toonde bijzondere kracht in kinematische metrieken dankzij de RL-gebaseerde fine-tuning.
Voorspelling: Op de WOMD Prediction Leaderboard behaalde UniMotion een minADE van 0.5718 en een minFDE van 1.1643, waarmee het competitief rankt tegen topmethoden zoals EDA en RMP-YOLO.
Planning: In Waymo planning benchmarks presteerde UniMotion aanzienlijk beter dan eerdere benaderingen, met een planning-fout van 0.083 bij 1 seconde en 2.246 bij 5 seconden, met opvallend lagere botsings- en rode-lichtovertredingspercentages vergeleken met imitation learning baselines.

Ablatie-studies bevestigden dat gezamenlijke training met zowel NTP als LFR betere prestaties oplevert dan single-task training, en dat taakspecifieke fine-tuning consistente verbeteringen biedt over alle metrieken.

Betekenis en Claims

Het artikel claimt dat UniMotion een veelzijdige en schaalbare oplossing biedt voor autonoom rijden door aan te tonen dat bewegingstaken, die vaak als geïsoleerde problemen worden behandeld, fundamentele structuren delen die kunnen worden benut voor gezamenlijke optimalisatie. De auteurs stellen dat deze verenigde benadering niet alleen efficiënte representatie-deling mogelijk maakt, maar ook gerichte specialisatie door middel van fine-tuning toestaat, waardoor de kloof tussen algemeen bewegingsbegrip en expert-niveau taakprestaties wordt overbrugd.

Het werk benadrukt dat hoewel het decoder-only framework flexibiliteit biedt, het vertrouwt op gedetailleerde positionele informatie voor ruimtelijk-temporele interacties, wat de directe toepassing van bredere LLM-gerelateerde technologieën momenteel beperkt. Toekomstig werk wordt gesuggereerd om cross-dataset leren te verkennen om de prestaties van de gezamenlijke training verder te verbeteren.