Traffic-Aware Pedestrian Intention Prediction

Stellen Sie sich vor, Sie versuchen zu erraten, was ein Freund als Nächstes tun wird. Wird er winken oder ist er kurz davor, eine belebte Straße zu sprinten? Um eine gute Vermutung anzustellen, schauen Sie nicht nur auf die Beine Ihres Freundes; Sie betrachten das gesamte Bild. Sie prüfen, ob die Ampel rot oder grün ist, Sie sehen, wie nah er am Bordstein steht, und Sie bemerken, ob ein Auto auf ihn zurrast. Dies ist der Kern eines Feldes namens „Pedestrian Intention Prediction“ (Vorhersage der Fußgängerabsicht). Es ist ein Zweig der Wissenschaft, der sich darauf konzentriert, Computern – speziell selbstfahrenden Autos – beizubringen, menschliches Verhalten zu verstehen. Das Ziel ist einfach, aber lebensrettend: Wenn ein Auto vorhersagen kann, dass eine Person die Absicht hat, die Straße zu überqueren, kann es langsamer werden oder anhalten, bevor ein Unfall passiert. Jahrelang haben Computer versucht, dies zu lernen, indem sie Menschen beim Bewegen beobachteten, aber sie übersahen oft die wichtigsten Hinweise: die Verkehrssignale und den chaotischen, dynamischen Kontext einer echten Stadtstraße.

Dieses Paper stellt eine neue, intelligentere Methode vor, mit der Computer diese Hinweise lesen können. Die Forscher Fahimeh Orvati Nia und Hai Lin haben ein Modell entwickelt, das sie TA-STGCN (Traffic-Aware Spatio-Temporal Graph Convolutional Network) nennen. Stellen Sie sich dieses Modell wie einen superaufmerksamen Detektiv vor, der nicht nur eine Person beobachtet, sondern die Person und die Ampeln und die Autos gleichzeitig beobachtet und versteht, wie sie alle über die Zeit miteinander kommunizieren.

Das Problem: Computer übersehen das große Ganze

Lange Zeit waren Computer, die das Verhalten von Fußgängern vorhersagten, ein wenig wie ein Schüler, der nur das Lehrbuch studiert hat, aber nie nach draußen gegangen ist. Frühe Methoden stützten sich auf einfache Mathematik, um zu verfolgen, wo eine Person war und wie schnell sie sich bewegte. Spätere Deep-Learning-Modelle (wie CNNs und LSTs) wurden besser darin, Muster in Videos zu erkennen, aber sie ignorierten oft immer noch die „Szene“. Sie sahen vielleicht eine Person, die auf die Straße zuläuft, aber sie bemerkten nicht unbedingt, dass die Ampel gerade rot ist oder dass die Person direkt neben einem Zebrastreifen steht.

Die Autoren argumenten, dass dies ein großer Fehler ist. In der realen Welt wird die Entscheidung eines Fußgängers, die Straße zu überqueren, stark durch seine Umgebung beeinflusst. Wenn das Licht für Autos grün ist, wartet ein Fußganger meistens. Wenn das Licht für Autos auf Rot springt (und für ihn auf Grün), könnte er heraustreten. Bestehende Modelle übersahen diese dynamischen Signale oft, was zu Vermutungen führte, die zu langsam oder schlichtweg falsch waren.

Die Lösung: Ein Detektiv mit einer Ampel-Karte

Die Lösung des Teams, TA-STGCN, ist darauf ausgelegt, dies zu beheben, indem sie die Straßenszene wie ein riesiges, lebendiges Puzzle behandelt, bei dem jedes Teil miteinander verbunden ist. Sie verwenden einen „Spatio-Temporal Graph“ (räumlich-zeitlichen Graphen), was eine schicke Art zu sagen ist, dass sie unsichtbare Linien ziehen, die den Fußgänger mit allem anderen um ihn herum verbinden: den Ampeln, den Autos und den Zebrastreifen.

So funktioniert das Modell, unterteilt in einfache Teile:

1. Die zwei Informationsströme: Das Modell betrachtet die Szene gleichzeitig auf zwei verschiedene Arten.

   • Der „Wo“-Strom: Es verfolgt den genauen Standort des Fußgängers und wie sich seine „Box“ (der digitale Umriss um ihn herum) in der Größe verändert. Wenn die Box größer wird, bedeutet das, dass die Person näher an das Auto herankommt.
   • Der „Was“-Strom: Es schaut sich an, was die Objekte sind und in welchem Zustand sie sich befinden. Entscheidend ist hierbei der Status der Ampel (Rot, Gelb oder Grün).

2. Die Graph-Verbindung: Stellen Sie sich ein Spinnennetz vor, das den Fußgänger mit der Ampel verbindet. Das Modell nutzt eine spezielle Art von Mathematik (Graph Convolutional Networks), um diese Verbindungen miteinander „sprechen“ zu lassen. Es lernt, dass ein „Grünes Licht“ für Autos meistens „Warten“ bedeutet, während ein „Rotes Licht“ für Autos vielleicht „Gehen“ bedeutet.

3. Die Zeitmaschine: Das Modell betrachtet nicht nur eine Momentaufnahme, sondern beobachtet einen kurzen Videoclip (15 Frames oder 0,5 Sekunden). Es verwendet eine Speichereinheit namens LSTM (Long Short-Term Memory), um sich zu erinnern, was vor einem Bruchteil einer Sekunde passiert ist. Dies hilft ihm zu verstehen, ob eine Person zögert oder ob sie bereits vom Bordstein heraustritt.

Was sie herausfanden: Intelligentere Vermutungen

Die Forscher testeten ihren neuen Detektiv gegen ältere Modelle anhand eines Datensatzes namens PIE, der über 6 Stunden echte Fahrvideos aus einer Stadt enthält. Sie baten die Modelle vorherzusagen, ob ein Fußgänger in den nächsten Sekunden die Straße überqueren würde.

Die Ergebnisse waren eindeutig: Das neue Modell war besser im Raten.

• Genauigkeit: Das TA-STGCN-Modell hatte in 84,65 % der Fälle recht. Dies ist ein signifikanter Sprung im Vergleich zu den bisherigen besten Modellen, die um die 79,00 % schwankten.
• Präzision und Recall: Das Modell war besser darin, Menschen zu erkennen, die tatsächlich die Absicht hatten zu überqueren (Recall von 88,03 %), und es neigte weniger dazu, Fehlalarm zu schlagen, wenn Menschen nur stillstanden (Präzision von 86,50 %).
• Trajektorie: Das Modell hat nicht nur erraten, ob die Person überqueren würde, sondern auch vorhergesagt, wo sie einen Moment später sein würde, und zwar mit weniger Fehlern als zuvor (ein Average Displacement Error von 0,43).

Die Autoren zeigten explizit, dass die Hinzunahme der Ampelinformationen der Schlüssel war. Als sie ihr Modell mit einer Version ohne die Ampeldaten verglichen, schnitt die Version mit den Ampeln in jeder einzelnen Metrik besser ab. Dies beweist, dass das Modell nicht nur rät, sondern tatsächlich die Verkehrssignale nutzt, um intelligentere Entscheidungen zu treffen.

Der Haken: Es ist noch ein laufendes Projekt

Obwohl die Ergebnisse vielversprechend sind, ist das Paper vorsichtig damit, zu behaupten, dass dies ein perfektes, fertiges Produkt ist, das heute in jedem Auto auf der Straße fahren kann. Die Autoren weisen auf einige wichtige Einschränkungen hin:

• Das „Augen“-Problem: Momentan verlässt sich das Modell auf perfekte, vorab gelabelte Daten. Es setzt voraus, dass bereits jemand die Boxen um die Fußgänger gezeichnet und die Ampeln perfekt identifiziert hat. In der realen Welt muss ein selbstfahrendes Auto diese Dinge selbst finden, indem es seine eigenen Kameras und Sensoren nutzt. Wenn die „Augen“ des Autos einen Fehler machen, könnte das TA-STGCN-Modell verwirrt werden.
• Geschwindigkeit: Das Modell ist intelligent, aber es ist auch etwas schwerfällig. Es erledigt viel Mathematik, um alle Punkte im Graphen zu verbinden. Dieses Modell auf einem kleinen Computer innerhalb eines Autos (einem Embedded System) laufen zu lassen, könnte langsam sein. Die Autoren schlagen vor, dass zukünftige Arbeiten das Modell schneller und leichter machen müssen, damit es in Echtzeit laufen kann, ohne Verzögerungen zu verursachen.
• Fehlende Szenarien: Die verwendeten Daten deckten nicht alle möglichen Situationen ab, wie etwa belebte Bushaltestellen oder geteilte Räume, in denen Menschen sich anders verhalten. Das Modell benötigt möglicherweise mehr Training, um diese kniffligen Orte zu bewältigen.

Das Fazit

Dieses Paper legt nahe, dass selbstfahrende Autos wirklich sicher sein können, wenn sie aufhören, Fußgänger isoliert zu betrachten. Sie müssen die gesamte Bühne verstehen: die Ampeln, die Zebrastreifen und den Fluss der Stadt. Indem sie den Computer lehren, auf die Verkehrssignale zu achten, zeigt das TA-STGCN-Modell eine Verbesserung der Genauigkeit um 4,75 % gegenüber den bisher besten Methoden. Es ist ein Schritt nach vorn, um autonome Fahrzeuge nicht nur smart, sondern kontextbewusst zu machen, damit sie die richtige Entscheidung treffen können, wenn ein Fußgänger abwägt, ob er die Straße überqueren soll.