💻 computer science

Three-Step Hierarchical Transformer for Multi-Pedestrian Trajectory Prediction

Dieses Paper schlägt einen dreistufigen hierarchischen Transformer vor, der die zeitliche Kodierung, die multimodale Fusion und das soziale Interaktions-Reasoning explizit trennt, um eine State-of-the-Art-Leistung bei der Vorhersage von Fußgänger-Trajektorien auf realen Datensätzen zu erzielen und gleichzeitig die Skalierbarkeit sowie Interpretierbarkeit zu verbessern.

Ursprüngliche Autoren: Raphaël Delécluse, Hazem Wannous, Laurent Grisoni, Laurent Guimas

Veröffentlicht 2026-06-23

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Raphaël Delécluse, Hazem Wannous, Laurent Grisoni, Laurent Guimas

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie stehen in einem belebten Bahnhof und versuchen zu erraten, wo sich eine bestimmte Person in den nächsten Sekunden befinden wird. Um dies gut zu machen, müssen Sie drei verschiedene Dinge beachten:

Wie sie sich gerade bewegt (Geht sie schnell? Bleibt sie stehen?).
Was ihre Körpersprache aussagt (Dreht sie den Kopf? Hält sie einen Koffer, was darauf hindeutet, dass sie anhalten könnte?).
Was alle anderen um sie herum tun (Blockiert eine Menschenmenge ihren Weg? Winkt sie ein Freund zu?).

Die meisten Computerprogramme, die versuchen, dies vorherzusagen, sind überfordert. Sie versuchen, alle drei Dinge gleichzeitig zu betrachten, was die Mathematik unordentlich, langsam und schwer verständlich macht.

Dieses Paper stellt ein neues Computermodell namens Three-Step Hierarchical Transformer vor. Denken Sie an ein Team aus drei spezialisierten Detektiven, die hintereinander arbeiten, statt eines einzelnen Detektivs, der versucht, alles auf einmal zu erledigen.

Das Drei-Schritte-Detektiv-Team

Schritt 1: Der „Bewegungsverfolger“ (Temporal Encoder)
Zuerst betrachtet das Modell nur den bisherigen Pfad der Person. Es ignoriert ihre Körpersprache und ignoriert andere Menschen. Es ist wie ein Läufer, der nur die Laufbahn beobachtet.

Was es tut: Es fragt: „Basierend darauf, wo diese Person in den letzten Sekunden war, wohin wird sie als Nächstes gehen?“
Die Analogie: Stellen Sie sich einen Wettervorhersager vor, der nur die Windgeschwindigkeit betrachtet. Er kann vorhersagen, ob ein Sturm aufzieht, aber er weiß noch nicht, ob es bereits regnet. Dieser Schritt erstellt einen „ersten Entwurf“ des zukünftigen Pfades.

Schritt 2: Der „Körpersprach-Leser“ (Modality Decoder)
Als Nächstt nimmt das Modell diesen ersten Entwurf und verfeinert ihn mithilfe zusätzlicher Hinweise. Es betrachtet die Pose der Person (dreht sie den Kopf?), deren Bounding Box (wie groß ist sie?) oder andere visuelle Details.

Was es tut: Es fragt: „Der Bewegungsverfolger sagte, sie würde geradeaus gehen, aber schau mal! Sie dreht den Kopf nach links. Lass uns den Pfad anpassen.“
Die Analogie: Dies ist wie ein Detektiv, der einen Verdächtigen sieht, der eine Karte umklammert. Selbst wenn der Verdächtige geradeaus ging, deutet die Karte darauf hin, dass er an einer Ecke anhalten könnte. Das Modell nutzt eine „intelligente Zusammenfassung“ (ein leichtgewichtiges GRU), um diese Körpersignale schnell zu verarbeiten, ohne sich in zu vielen Daten zu verlieren.

Schritt 3: Der „Crowd Manager“ (Scene Transformer)
Schließlich betrachtet das Modell die gesamte Szene. Es nimmt den verfeinerten Pfad der Zielperson und vergleicht ihn mit den Pfaden aller anderen in der Menge.

Was es tut: Es fragt: „Wenn diese Person nach links geht, wird sie mit jemandem zusammenstoßen? Bewegt sich diese Gruppe von Menschen gemeinsam?“ Es passt den Pfad an, um sicherzustellen, dass die Person nicht durch eine Wand oder einen Freund läuft.
Die Analogie: Dies ist wie ein Dirigent eines Orchesters. Der Dirigent hört nicht nur auf eine einzelne Violine; er hört darauf, wie die Violine zu den Trommeln und Flöten passt. Wenn die Trommeln lauter werden, muss die Violine vielleicht leiser spielen. Hier stellt das Modell sicher, dass der Pfad der Person im Kontext der gesamten Menge Sinn ergibt.

Warum dieses Design besonders ist

1. Es ist effizient (Spart Energie)
Wenn man versuchen würde, alle drei Schritte gleichzeitig durchzuführen (Zeit, Körpersprache und die gesamte Menge gleichzeitig zu betrachten), müsste der Computer eine enorme Menge an Mathematik betreiben, so als würde man versuchen, ein riesiges Puzzle zu lösen, bei dem jedes Teil mit jedem anderen verbunden ist. Das wird zu langsam und zu teuer.

Die Behauptung des Papers: Durch die Aufteilung in drei Schritte führt das Modell die schwere Mathematik nur dann durch, wenn sie wirklich notwendig ist. Es ist wie das Sortieren von Post: erst nach Land, dann nach Stadt, dann nach Straße. Das ist viel schneller, als zu versuchen, jeden Brief sofort nach jeder möglichen Adresse zu sortieren.

2. Es ist flexibel (Verarbeitet fehlende Informationen)
Manchmal übersieht eine Kamera ein Gesicht oder das Video ist verschwommen.

Die Behauptung des Papers: Da die Schritte getrennt sind, kann das Modell auch dann eine gute Vermutung anstellen, wenn der „Körpersprache“-Schritt einen Hinweis verpasst, indem es weiterhin die „Bewegungsverfolger“- und „Crowd Manager“-Schritte nutzt. Es stürzt nicht ab, nur weil ein Informationsstück fehlt.

3. Es ist klar (Leicht zu verstehen)
Da die Schritte getrennt sind, können Forscher das Modell untersuchen und sagen: „Ah, der Fehler geschah in Schritt 2, nicht in Schritt 3.“ Dies macht es einfacher, das Modell zu korrigieren und zu verbessern.

Die Ergebnisse: Hat es funktioniert?

Die Autoren haben ihr „Drei-Schritte-Team“ auf drei verschiedenen Datensätzen getestet (simulierte Videospiele und reale Videos von Menschen, die in Städten und Innenräumen laufen).

Das Ergebnis: Das Modell schnitt besser ab als fast alle anderen existierenden Methoden. Es war besonders gut darin, vorherzusagen, wo Menschen landen würden (Final Displacement Error) und wie weit die Vorhersage im Durchschnitt daneben lag (Average Displacement Error).
Realwelt-Beweis: Es funktionierte gut in belebten, chaotischen realen Umgebungen (wie den JRDB- und Urban-Datensätzen), nicht nur in perfekten, sauberen Simulationen.
Besonderer Erfolg: Das Paper stellt fest, dass das Modell besonders gut darin ist, „frühe Abbiege-Verhaltensweisen“ zu erkennen – also vorherzusagen, dass jemand abbiegen wird, noch bevor er tatsächlich mit dem Abbiegen beginnt, dank der Hinweise aus der Körpersprache.

Zusammenfassung

Kurz gesagt schlägt dieses Paper einen smarteren Weg vor, wie Computer vorhersagen können, wohin Fußgänger gehen werden. Anstatt eines chaotischen „Alles-in-einen-Topf“-Ansatzes, bei dem alles in eine große Mischung geworfen wird, nutzt es ein dreistufiges Fließband:

Beobachte die Bewegung.
Lies die Körpersprache.
Prüfe die Menge.

Dieser Ansatz ist schneller, verbraucht weniger Computerleistung und liefert genauere Vorhersagen darüber, wie sich Menschen in unserer geschäftigen Welt bewegen.

Technisches Resümee: Drei-stufiger hierarchischer Transformer für die Trajektorienvorhersage mehrerer Fußgänger

Problemformulierung

Die Vorhersage von Fußgänger-Trajektorien ist eine kritische Aufgabe für die autonome Navigation, die Crowd-Analyse und die Sicherheitsüberwachung. Die Herausforderung besteht darin, gleichzeitig drei komplexe Faktoren zu modellieren: temporale Dynamik (Bewegungsentwicklung), multimodale Hinweise (z. B. Körperhaltung, Bounding Boxes, Geschwindigkeit) und soziale Interaktionen (Einflüsse zwischen Agenten) in belebten, unübersichtlichen Umgebungen.

Bestehende Ansätze behandeln diese Faktoren oft isoliert oder verstricken sie in einzelnen, rechenintensiven Attention-Blöcken. Rein trajektorienbasierte Modelle haben Schwierigkeiten mit Absichtshinweisen, die durch die Körperhaltung offenbart werden, während multimodale Modelle oft auf simplen Fusionsstrategien beruhen. Darüber hinaus führt die Zusammenführung von temporalen, multimodalen und sozialen Signalen in einem einheitlichen Attention-Mechanismus häufig zu schlechter Skalierbarkeit, reduzierter Interpretierbarkeit und hohen Rechenkosten aufgrund der quadratischen Komplexität in Bezug auf die Anzahl der Agenten, Zeitschritte und Modalitäten.

Methodik

Die Autoren schlagen einen drei-stufigen hierarchischen Transformer vor, der das Denken explizit in drei komplementäre Ebenen zerlegt: temporale Kodierung, multimodale Fusion und szenenbezogene Interaktionsanalyse. Diese strukturierte Faktorisierung zielt darauf ab, Skalierbarkeit, Flexibilität und Interpretierbarkeit zu verbessern.

1. Temporaler Encoder (Schritt 1)

Funktion: Verarbeitet die Trajektorie jedes Fußgängers unabhängig, um die Bewegungsdynamik (Geschwindigkeitstrends, Richtungsänderungen) zu erfassen, ohne andere Modalitäten oder Agenten zu berücksichtigen.
Mechanismus: Verwendet einen Transformer entlang der Zeitdimension. Er nimmt beobachtete Trajektorien-Token entgegen und fügt lernbare zukünftige Query-Token hinzu, um eine initiale zukünftige Hypothese über den Vorhersagehorizont ( $T + \Delta$ ) zu extrapolieren.
Input: Trajektorien-Merkmale, die in einen latenten Raum projiziert wurden, mit zusammengesetzter Positionskodierung (sinusförmig für die Zeit, gelernt für die Agentenidentität).
Output: Eine initiale Trajektorien-Hypothese für jeden Fußgänger.

2. Modalitäts-Decoder (Schritt 2)

Funktion: Verfeinert die initialen Trajektorien-Hypothesen durch Konditionierung auf Hilfsmodalitäten (z. B. 3D-Pose, Bounding Boxes).
Mechanismus: Nutzt einen Decoder-ähnlichen Cross-Attention-Mechanismus.
- Queries: Die temporal kodierten Trajektorien-Embeddings.
- Keys/Values: Modalitäts-Embeddings. Um die Effizienz zu gewährleisten, wird jede Modalitätssequenz zunächst mithilfe einer leichtgewichtigen GRU (Gated Recurrent Unit) zu einem einzelnen Token pro Fußgänger zusammengefasst. Dies vermeidet die Attention über vollständige temporale Sequenzen für jede Modalität.
Robustheit: Handhabt fehlende oder variable Modalitäten natürlich durch Attention-Masking.
Output: Verfeinerte Trajektorien-Embeddings, die durch semantische und kinematische Hinweise angereichert sind.

3. Szenen-Transformer (Schritt 3)

Funktion: Modelliert Inter-Fußgänger-Interaktionen auf der Ebene der Szene, um individuelle Vorhersagen basierend auf dem sozialen Kontext anzupassen.
Mechanismus: Operiert auf einem flachen Satz von Zeit–Agent-Tokens ( $N \times (T + \Delta)$ ). Ein Transformer-Encoder führt Self-Attention über alle Fußgänger und Zeitschritte hinweg aus.
Logik: Da die Tokens bereits zukünftige Bewegungs-Hypothesen kodieren, ermöglicht der Attention-Mechanismus dem Modell, über bevorstehende soziale Ereignisse (Kollisionen, Folgen, Gruppenbildung) nachzudenken und die Trajektorien entsprechend anzupassen.
Output: Sozial verfeinerte Embeddings, die an einen leichtgewichtigen MLP-Vorhersagekopf für die endgültige Trajektorie übergeben werden.

Recheneffizienz

Die Architektur adressiert die quadratische Komplexität von Standard-Transformern ( $O(L^2)$ wobei $L = T \times N \times M$ ) durch die Faktorisierung der Attention:

Temporal: $O(N \cdot L_1^2)$ wobei $L_1 = T + \Delta$ .
Cross-modal: $O(N \cdot L_1 \cdot M)$ (linear in Bezug auf Modalitäten durch GRU-Zusammenfassung).
Szene: $O(L_3^2)$ wobei $L_3 = N \cdot (T + \Delta)$ .
Dieses Design stellt sicher, dass das Modell effizient mit der Anzahl der Modalitäten und Agenten skaliert, während die Ausdrucksstärke erhalten bleibt.

Wichtigste Beiträge

Neuartige Architektur: Ein drei-stufiger hierarchischer Transformer, der temporale, multimodale und soziale Analyse entkoppelt und somit ein modulares und interpretierbares Framework bietet.
Effiziente Fusionsstrategie: Einführung einer recheneffizienten multimodalen Fusionsmethode unter Verwendung von GRU-Zusammenfassung und Decoder-ähnlicher Cross-Attention, was die skalierbare Integration heterogener Hinweise ermöglicht.
Umfassende Evaluierung: Umfangreiche quantitative, qualitative und Ablationsstudien, die eine State-of-the-Art (SOTA)-Leistung auf realen Datensätzen sowie kompetitive Ergebnisse auf synthetischen Daten belegen.

Experimentelle Ergebnisse

Das Modell wurde auf drei Datensätzen evaluiert: JTA (synthetisch), JRDB (reale Innen-/Außenbereiche) und Pedestrians and Cyclists in Road Traffic (Urban).

Quantitative Leistung:
- JRDB: Erzielte SOTA-Ergebnisse, indem der Average Displacement Error (ADE) von 0,37 m (bester Baseline-Wert) auf 0,33 m und der Final Displacement Error (FDE) von 0,72 m auf 0,67 m reduziert wurde.
- Urban: Zeigte signifikante Verbesserungen gegenüber rein trajektorienbasierten Methoden (0,51 m ADE gegenüber ~0,57 m) und multimodalen Baselines, mit einem Erreichen von 0,96 m FDE.
- JTA: Erzielte eine kompetitive Leistung (0,96 m ADE, 1,91 m FDE) gegenüber führenden multimodalen Baselines.
Ablationsstudien: Bestätigten, dass das vollständige hierarchische Modell Varianten übertrifft, denen multimodale Hinweise oder soziales Denken fehlen. Insbesondere reduzierte das soziale Denken die Endpunktfehler signifikant, während multimodale Hinweise die temporale Antizipation verbesserten.
Qualitative Analyse: Das Modell demonstrierte die Fähigkeit, komplexe Verhaltensweisen wie frühes Abbiegen (unter Nutzung von Pose-Hinweisen) und interaktionsgetriebene Anpassungen (Ausweichen, Folgen) zu antizipieren. Die Autoren merken jedoch an, dass das Modell in Szenarien mit mehreren plausiblen Fortsetzungen (z. B. an Kurven) möglicherweise plausible, aber nicht die Bodenwahrheit (Ground Truth) entsprechende Pfade verfolgt, was die inhärente Unsicherheit widerspiegelt.

Bedeutung und Ansprüche

Das Paper behauptet, dass eine strukturierte, hierarchische Modellierung eine leistungsstarke Grundlage für die Trajektorienvorhersage bietet. Durch die Trennung der Denkprozesse erreicht das Modell:

Interpretierbarkeit: Klare Unterscheidung zwischen der Art und Weise, wie Zeit, Modalität und sozialer Kontext die Vorhersagen beeinflussen.
Skalierbarkeit: Effiziente Handhabung variabler Zahlen von Fußgängern und Modalitäten ohne die prohibitiven Kosten einer gemeinsamen Attention.
Robustheit: Die Fähigkeit, auch dann zuverlässig zu operieren, wenn spezifische Modalitäten fehlen oder verrauscht sind.

Die Autoren kommen zu dem Schluss, dass ihr Ansatz effektiv die Recheneffizienz mit der Notwendigkeit der Modellierung komplexer, vielschichtiger menschlicher Bewegung balanciert und damit die Vorteile der Zerlegung der Vorhersageaufgabe in spezialisierte Denkphasen validiert. Als zukünftige Arbeit wird vorgeschlagen, dieses Framework auf probabilistische Vorhersagen und ein reicheres szenenbewusstes Modell zu erweitern.