💻 Informatik

UniMotion: A Unified Motion Framework for Simulation, Prediction and Planning

UniMotion ist ein vereinheitlichtes, rein dekodierendes Transformer-Framework, das Aufgaben der Bewegungssimulation, -vorhersage und -planung durch gemeinsame Repräsentationen und maßgeschneiderte Trainingsstrategien integriert und dabei eine staatliche Spitzenleistung sowie verbesserte Skalierbarkeit auf dem Waymo Open Motion Dataset erreicht.

Ursprüngliche Autoren: Nan Song, Junzhe Jiang, Jingyu Li, Xiatian Zhu, Li Zhang

Veröffentlicht 2026-02-03

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Nan Song, Junzhe Jiang, Jingyu Li, Xiatian Zhu, Li Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, ein Auto durch eine belebte Stadt zu steuern. Um dies sicher zu tun, muss der Roboter drei verschiedene „Superkräfte“ meistern:

Simulation: So tun, als wäre man andere Fahrer, um zu sehen, wie sie könnten handeln (wie ein Flugsimulator für Autos).
Prädiktion (Vorhersage): Zu erraten, wohin andere Autos in den nächsten paar Sekunden genau fahren werden.
Planung: Zu entscheiden, welchen Pfad das eigene Auto des Roboters nehmen sollte.

Bis jetzt haben Forscher meist drei verschiedene „Gehirne“ für diese drei Aufgaben gebaut. Ein Gehirn war gut im Raten, eines war gut im Vortäuschen und ein drittes war gut im Planen. Doch die Autoren dieser Arbeit, UniMotion, stellten eine einfache Frage: Warum brauchen wir drei verschiedene Gehirne, wenn sie doch alle dieselbe zugrunde liegende Arbeit leisten?

Sie erkannten, dass das Verständnis darüber, wie Autos interagieren, wie sie sich bewegen und wie sie auf die Straße reagieren, eigentlich dieselbe Fähigkeit ist, nur unterschiedlich angewendet. Also bauten sie UniMotion, ein einziges, vereintes „Super-Gehirn“, das alle drei Aufgaben gleichzeitig erledigen kann.

Die große Idee: Ein Gehirn, drei Hüte

Stellen Sie sich UniMotion wie einen vielseitigen Schauspieler vor, der drei verschiedene Rollen in einem Theaterstück spielen kann:

Der Improvisator (Simulation): Dieser Schauspieler erschafft zufällige, vielfältige Szenarien, um dafür zu üben. „Was, wenn dieses Auto nach links ausweicht? Was, wenn es plötzlich stoppt?“
Der Wahrsager (Prädiktion): Dieser Schauspieler betrachtet die aktuelle Szene und sagt: „Ich wette, dieser Lkw wird in 3 Sekunden nach rechts abbiegen.“
Der Regisseur (Planung): Dieser Schauspieler entscheidet das Skript für den Hauptcharakter (das Ego-Fahrzeug): „Okay, da der Lkw abbiegt, sollten wir langsamer werden und in die linke Spur wechseln.“

Anstatt drei verschiedene Schauspieler einzustellen und zu hoffen, dass sie sich verstehen, ist UniMotion ein einziger Schauspieler, der für jede Szene einen anderen Hut aufsetzt. Da er alle drei Rollen gleichzeitig lernt, wird er besser in der Kernkompetenz des „Verstehens von Verkehr“ als die spezialisierten Schauspieler allein es je könnten.

Wie es funktioniert: Der „Token-Trick“

Um dies umzusetzen, musste das Team die chaotische, reale Welt der Straßen in eine Sprache übersetzen, die der Computer leicht verstehen kann. Sie verwendeten eine Technik namens Tokenisierung.

Stellen Sie sich vor, Sie nehmen eine lange, gewundene Straße und ein fahrendes Auto und zerlegen sie in winzige, einheitliche Lego-Steine.

Der Pfad eines Autos wird zu einer Kette von Lego-Steinen.
Die Fahrbahnmarkierungen werden zu einer Kette von Lego-Steinen.

Der Computer behandelt diese Blöcke dann wie Wörter in einem Satz. Genau wie ein Sprachmodell (wie das, mit dem Sie gerade sprechen) das nächste Wort in einem Satz vorhersagt, sagt UniMotion den nächsten „Lego-Stein“ des Pfades eines Autos voraus.

Für die Simulation: Es spielt ein Spiel nach dem Motto „Lückentext“, um viele verschiedene mögliche Zukünfte zu generieren.
Für die Prädiktion: Es betrachtet die vergangenen Blöcke und berechnet die wahrscheinlichsten zukünftigen Blöcke.
Für die Planung: Es nutzt die vorhergesagten Blöcke anderer Autos, um seine eigenen nächsten Schritte zu entscheiden.

Das Geheimrezept: Gemeinsam trainieren, dann spezialisieren

Die Arbeit beschreibt einen zweistufigen Trainingsprozess, der wie ein Schüler ist, der erst für eine allgemeine Prüfung lernt und sich dann für einen bestimmten Job spezialisiert.

Gemeinsames Training (Die Generalisten-Phase): Das Modell wird auf alle drei Aufgaben gleichzeitig trainiert. Es lernt die gemeinsamen Regeln der Straße. Dies macht es sehr robust und gut darin, das große Ganze zu verstehen. Die Arbeit zeigt, dass dieser „Gruppenlernansatz“ dem Modell tatsächlich hilft, bei den einzelnen Aufgaben besser abzuschneiden, weil die Aufgaben einander lehren.
Feinabstimmung (Die Spezialisten-Phase): Sobald das Modell die Grundlagen gelernt hat, geben die Forscher ihm ein wenig zusätzliches „spezialisiertes Coaching“ für die jeweilige Aufgabe.
- Wenn es ein Simulator sein soll, verwenden sie ein Belohnungssystem (wie einen Highscore in einem Videospiel), um es zu lehren, realistischer zu sein und Kollisionen zu vermeiden.
- Wenn es ein Prädiktor ist, fügen sie ein spezielles Werkzeug hinzu, das ihm hilft, mehrere mögliche Ausgänge zu erraten (da Menschen unvorhersehbar sein können).
- Wenn es ein Planer ist, lehren sie es, seinen eigenen Vorhersagen über andere Autos zu vertrauen, um sicherere Entscheidungen zu treffen.

Die Ergebnisse

Das Team testete dieses „Super-Gehirn“ auf einem massiven Datensatz realer Fahrszenarien, dem Waymo Open Motion Dataset.

In der Simulation: Es wurde eines der besten Modelle darin, realistische Verkehrsszenarien zu erstellen, und übertraf bisherige spezialisierte Modelle.
In der Prädiktion: Es errat präzise, wohin Autos fahren würden, und erreichte dabei das Niveau oder übertraf die besten Wettbewerber.
In der Planung: Es traf die sichersten und effizientesten Fahrentscheidungen für das Ego-Fahrzeug.

Das Fazrazit

Die Arbeit argumentt, dass durch die Vereinigung dieser Aufgaben in einem einzigen Framework wir nicht nur ein Modell erhalten, das drei Dinge tut, sondern ein Modell, das den Verkehr besser versteht als die Summe seiner Teile. Es ist wie die Erkenntnis, dass ein Spitzenkoch nicht drei verschiedene Küchen zum Schneiden, Kochen und Anrichten braucht – er braucht nur eine einzige großartige Küche und die richtigen Werkzeuge, um zwischen den Aufgaben zu wechseln. UniMotion ist diese erstklassige Küche für das autonome Fahren.

Technisches Resümee: UniMotion

Problemstellung

Das Verständnis von Bewegungen ist ein Eckpfeiler des autonomen Fahrens und umfasst drei grundlegende Aufgaben: Bewegungssimulation, Trajektorienvorhersage und Ego-Planung. Während diese Aufgaben entscheidend für die Modellierung dynamischer Verkehrsszenarien sind, werden sie traditionell isoliert mit spezialisierten Modelldesigns adressiert. Diese Trennung behindert die Aufgabenübergreifende Generalisierung, begrenzt die Skalierbarkeit des Systems und vernachlässigt die potenziellen gegenseitigen Vorteile, die aus ihren gemeinsamen zugrunde liegenden Fähigkeiten resultieren: das Verständnis von Multi-Agenten-Interaktionen, die Modellierung von Bewegungsverhaltensweisen sowie das Schließen über zeitliche und räumliche Dynamiken. Bestehende Ansätze versäumen es oft, die Gemeinsamkeiten zwischen diverser Bewegungsgenerierung (Simulation) und langfristiger Trajektorienprognose (Vorhersage/Planung) zu nutzen, was zu redundanter Entwicklung und fragmentiertem Wissen führt.

Methodik

Die Autoren schlagen UniMotion vor, ein vereinheitlichtes Bewegungsframework, das darauf ausgelegt ist, gemeinsame Strukturen über Bewegungsaufgaben hinweg zu erfassen und gleichzeitig deren spezifische Anforderungen zu berücksichtigen. Das Framework basiert auf einer Decoder-only-Transformer-Architektur, die aufgrund ihrer Einfachheit, Skalierbarkeit und starken generativen Kapazität gewählt wurde.

1. Vereinheitlichte Repräsentation und Architektur

Tokenisierung: Um die Generalisierung zu gewährleisten, standardisiert das Framework die Eingaben mittels Tokenisierung. Agenten-Trajektorien werden in festen Intervallen segmentiert und geclustert, um ein Agenten-Token-Vokabular ( $S_a$ ) zu bilden. Ähnlich werden HD-Map-Polylinien unterteilt und geclustert, um Map-Token ( $S_m$ ) zu erstellen. Diese werden in Feature-Vektoren ( $E_a$ und $E_m$ ) eingebettet.
Encoder-Decoder-Struktur: Das Modell verwendet einen Map-Encoder zur Verarbeitung von Map-Features ( $F_m$ $F_{m}$ ) und einen faktorisierten Agenten-Decoder. Der Decoder nutzt drei Aufmerksamkeitsmechanismen:
- Temporale Selbst-Aufmerksamkeit (Temporal self-attention).
- Agent-Map Cross-Attention.
- Agent-Agent Selbst-Aufmerksamkeit.
- Relative Positions-Embeddings werden verwendet, um die Invarianz unter Koordinatentransformationen aufrechterhalten.

2. Gemeinsame Trainingsstrategie

UniMotion vereinheitlicht die drei Aufgaben, indem es sie in zwei fundamentale Komponenten abstrahiert: diverse Bewegungsgenerierung und langfristige Trajektorienprognose. Das Modell wird gemeinsam unter Verwendung aufgabenspezifischer Aufmerksamkeitsmasken und maßgeschneiderter Zielsetzungen trainiert:

Bewegungssimulation: Wird als autoregressives Sprachgenerations-Task modelliert. Es verwendet eine kausale Aufmerksamkeitsmaske und Next-Token Prediction (NTP), um iterativ Multi-Agenten-Zustände zu generieren, wobei der Fokus auf kurzfristiger Diversität liegt.
Trajektorienvorhersage: Wird als Sequence-to-Sequence-Task behandelt. Es verwendet eine Seq2Seq-Aufmerksamkeitsmaske (Historie-Token achten aufeinander; zukünftige Token achten auf die Historie und vorangegangene zukünftige Token). Entscheidend ist die Einführung von Long-range Future Regression (LFR), welche die Token-Klassifizierung durch normalisierte Trajektorienregression ersetzt, um vollständige, langfristige Trajektorien direkt vorherzusagen und so die Genauigkeit sicherzustellen.
Ego-Planung: Wird als Kombination aus Generierung und Vorhersage betrachtet. Das Modell sagt zuerst die zukünftigen Trajektorien der umgebenden Agenten voraus und generiert anschließend progressiv die Trajektorie des Ego-Fahrzeugs basierend auf diesen Vorhersagen.

3. Aufgabenspezifisches Fine-Tuning

Um eine State-of-the-Art-Leistung in spezifischen Anwendungen zu erreichen, nutzt das Framework dedizierte Fine-Tuning-Strategien, ohne neue Parameter einzuführen:

Simulation (RL-basiert): Nutzt Reinforcement Learning (speziell GRPO), um die generierten Trajektorien an menschliches Fahrverhalten und Verkehrsregeln anzupassen. Eine Belohnungsfunktion kombelt kinematische Ähnlichkeit (Log-Likelihood der Ground Truth) und Kollisionsvermeidung.
Vorhersage (Multi-modal): Führt einen leichtgewichtigen Transformer-Decoder mit Intention Anchors ein, um multi-modale Ausgaben zu verfeinern, was die Diversität und Konfidenz der Trajektorien erhöht.
Planung (Pred2Gen): Adressiert die Verteilungsabweichung zwischen vorhergesagten Agenten-Token und den Trainingsdaten, indem der Ego-Generierungsprozess unter Verwendung der Vorhersageergebnisse (die gefiltert und gegebenenfalls durch Ground Truth ersetzt wurden) in einem End-to-End-überwachten Verfahren feinjustiert wird.

Zentrale Beiträge

Vereinheitlichtes Framework: Die Arbeit abstrahiert Bewegungsaufgaben in zwei Kernkategorien und schlägt UniMotion vor, ein Transformer-basiertes Framework, das Simulation, Vorhersage und Planung gemeinsam modelliert, um Generalität und wissensbasierten Austausch zwischen den Aufgaben zu fördern.
Spezialisierung durch Fine-Tuning: Die Autoren entwerfen effektive Fine-Tuning-Strategien (RL für Simulation, multi-modale Dekodierung für Vorhersage und Pred2Gen für Planung), die es dem gemeinsam trainierten Modell ermöglichen, aufgabenspezifische Expertise zu erwerben.
Empirische Validierung: Umfangreiche Experimente auf dem Waymo Open Motion Dataset (WOMD) zeigen, dass das gemeinsame Training zu robuster Generalisierung führt, während die feinjustierten Versionen State-of-the-Art-Ergebnisse über alle drei Bewegungsaufgaben hinweg erzielen.

Experimentelle Ergebnisse

Das Modell wurde auf dem Waymo Open Motion Dataset (486k Trainingsszenarien) evaluiert.

Simulation: Beim Waymo Open Sim Agents Challenge erreichte UniMotion eine Realism Meta Metric von 0,7851 und übertraf damit bisherige Methoden wie UniTFormer (0,7776) und LLM2AD (0,7779). Das Modell zeigte insbesondere in den kinematischen Metriken aufgrund des RL-basierten Fine-Tunings eine besondere Stärke.
Vorhersage: Auf dem WOMD Prediction Leaderboard erreichte UniMotion eine minADE von 0,5718 und eine minFDE von 1,1643, womit es kompetitiv gegenüber Top-Methoden wie EDA und RMP-YOLO abschneidet.
Planung: In Waymo-Planungsbenchmarks übertraf UniMotion vorangegangene Ansätze signifikant und erreichte einen Planungsfehler von 0,083 nach 1 Sekunde und 2,246 nach 5 Sekunden, mit deutlich geringeren Kollisions- und Rotlichtverstoßraten im Vergleich zu Imitationslern-Baselines.

Ablationsstudien bestätigten, dass das gemeinsame Training mit sowohl NTP als auch LFR eine bessere Leistung liefert als das Training für einzelne Aufgaben, und dass aufgabenspezifisches Fine-Tuning konsistente Verbesserungen über alle Metriken hinweg bietet.

Bedeutung und Ansprüche

Das Paper behauptet, dass UniMotion eine vielseitige und skalierbare Lösung für das autonome Fahren etabliert, indem es zeigt, dass Bewegungsaufgaben, die oft als isolierte Probleme behandelt werden, grundlegende Strukturen teilen, die für eine gemeinsame Optimierung genutzt werden können. Die Autoren argumentieren, dass dieser vereinheitlichte Ansatz nicht nur eine effiziente Repräsentationsteilung ermöglicht, sondern auch eine gezielte Spezialisierung durch Fine-Tuning erlaubt, wodurch die Lücke zwischen allgemeinem Bewegungsverständnis und expertenhaftem Aufgabenniveau geschlossen wird.

Die Arbeit hebt hervor, dass das Decoder-only-Framework zwar Flexibilität bietet, jedoch auf detaillierten Positionsinformationen für räumlich-zeitliche Interaktionen angewiesen ist, was die direkte Anwendung breiterer LLM-bezogener Technologien derzeit einschränkt. Als zukünftige Arbeit wird vorgeschlagen, das Lernen über Datensätze hinweg (cross-dataset learning) zu untersuchen, um die Leistung des gemeinsamen Trainings weiter zu verbessern.