🤖 machine learning

Multi-Agent Reinforcement Learning for Safe Autonomous Driving Under Pedestrian Behavioral Uncertainty

Dieser Artikel schlägt ein Multi-Agenten-Reinforcement-Learning-Framework vor, das autonome Fahrzeuge gemeinsam mit Fußgängern trainiert, die verborgene Persönlichkeitsmerkmale aufweisen, und zeigt, dass dieser Ansatz im Vergleich zu regelbasierten Baselines und Einzelagententraining realistischere Interaktionsszenarien erzeugt und die Kollisionsraten erheblich senkt.

Ursprüngliche Autoren: Prakash Aryan, Kaushik Raghupathruni, Timo Kehrer, Sebastiano Panichella

Veröffentlicht 2026-05-21

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Prakash Aryan, Kaushik Raghupathruni, Timo Kehrer, Sebastiano Panichella

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem autonomen Fahrzeug das Fahren in einer belebten Stadt bei. Normalerweise testen Ingenieure diese Fahrzeuge in Simulationen, in denen die Fußgänger auf der Straße wie Schauspieler sind, die einem strengen Skript folgen. Sie gehen in geraden Linien, überqueren die Straße nur an Zebrastreifen und tun niemals etwas Überraschendes.

Das Problem? Echte Menschen sind chaotisch. Manchmal sind sie abgelenkt, manchmal haben sie es eilig, und manchmal entscheiden sie sich, „illegal" die Straße zu überqueren (jaywalken), direkt vor einem Auto. Wenn ein autonomes Fahrzeug nur an „perfekten" Fußgängern trainiert wird, könnte es einen Unfall bauen, wenn es auf einen echten, unvorhersehbaren Menschen trifft.

Diese Arbeit schlägt eine neue Methode vor, um autonome Fahrzeuge zu trainieren: Lassen Sie auch die Fußgänger lernen, unvorhersehbar zu sein.

Hier ist eine Aufschlüsselung dessen, was sie getan haben, unter Verwendung einfacher Analogien:

1. Der „Tanzpartner"-Ansatz (Multi-Agenten-Lernen)

Anstatt das Fahrzeug (SDC) zu unterrichten, während die Fußgänger nur einem Skript folgen, brachten die Forscher das Fahrzeug und 12 Fußgänger in einen virtuellen Raum und lehrten sie gemeinsam mit einer Technik namens Multi-Agenten-Reinforcement-Learning (MARL).

Der alte Weg: Das Fahrzeug ist wie ein Schüler, der Klavier übt, während ein Lehrer ein Metronom spielt. Der Schüler lernt, den Takt zu halten, aber wenn das Metronom plötzlich stoppt oder schneller wird, gerät der Schüler in Panik.
Der neue Weg: Das Fahrzeug und die Fußgänger sind wie Tanzpartner, die gemeinsam eine Choreografie einüben. Die Fußgänger folgen nicht nur einem Skript; sie haben eigene „Persönlichkeiten" (wie vorsichtig oder rücksichtslos), die dem Fahrzeug verborgen bleiben. Sie lernen, auf das Fahrzeug zu reagieren, und das Fahrzeug lernt, auf sie zu reagieren.

2. Das verborgene „Persönlichkeits"-Merkmal

In dieser Simulation erhält jeder Fußgänger zu Beginn des Spiels ein geheimes „Persönlichkeitsmerkmal". Dieses Merkmal bestimmt, wie wahrscheinlich es ist, dass sie illegal die Straße überqueren.

Der Haken: Das autonome Fahrzeug kann dieses Merkmal nicht sehen. Es ist wie der Versuch, zu erraten, ob eine Person gleich von der Bordsteinkante steigt, basierend nur auf ihrer Körpersprache, ohne zu wissen, ob sie es eilig hat oder nur tagträumt.
Dies erzeugt Unsicherheit. Das Fahrzeug muss auf alles vorbereitet sein, genau wie ein menschlicher Fahrer.

3. Die Ergebnisse: Lernen zu „warten"

Als das Fahrzeug und die Fußgänger gemeinsam trainierten, geschah etwas Interessantes:

Die Fußgänger lernten: Sie stellten fest, dass es klüger ist, eine Sekunde zu warten, wenn das Fahrzeug schnell auf sie zukommt, als in dieses zu rennen. Sie lernten eine Form des „kooperativen Wartens", ohne dass ihnen jemand dies explizit befohlen hatte.
Das Fahrzeug lernte: Da die Fußgänger realistischer waren (manchmal wartend, manchmal herausschießend), wurde das Fahrzeug besser im Umgang mit dem Chaos.
Die Ergebnisliste:
- Alte Methode (Skriptierte Fußgänger): Das Fahrzeug erreichte sein Ziel nur in 35 % der Fälle und hatte in 33 % der Fälle einen Unfall.
- Neue Methode (Gemeinsam trainiert): Das Fahrzeug erreichte sein Ziel in 78 % der Fälle und hatte nur in 14 % der Fälle einen Unfall.

4. Der „Geschwindigkeitslücke"-Test

Die Forscher wollten wissen: Versteht das Fahrzeug tatsächlich den Unterschied zwischen einem sicheren Zebrastreifen und einem gefährlichen illegalen Überquerer?

Sie entwickelten eine Metrik namens „Geschwindigkeitsdifferenz". Stellen Sie sich vor, Sie prüfen, wie schnell ein Fahrer abbremst, wenn er ein Kind sieht, im Vergleich zu einem Erwachsenen.

Die Erkenntnis: Wenn sich das Fahrzeug einem Fußgänger an einem Zebrastreifen näherte, bremste es ordentlich ab. Aber wenn es sich einem illegalen Überquerer näherte, fuhr es immer noch 2,65 Meter pro Sekunde schneller.
Was dies bedeutet: Das Fahrzeug erwartete den illegalen Überquerer nicht vollständig. Es fuhr immer noch ein wenig zu schnell für die Überraschung. Da die Fußgänger jedoch trainiert wurden, manchmal zu warten, hatte das Fahrzeug nicht so oft einen Unfall wie mit den alten, starren Modellen.

5. Der „Illegalen Überquerung"-Realitätscheck

Die Studie ergab, dass illegales Überqueren selten war (nur in 13 % der Fälle, in denen Menschen die Straße überquerten), aber für 62 % aller Unfälle verantwortlich war.

Dies unterstreicht, dass bereits ein kleiner Anteil an unvorhersehbarem Verhalten die größte Gefahr darstellt.
Das System handhabte dies bis zu einem gewissen Punkt gut. Wenn sie illegales Überqueren zu häufig machten (50 % der Zeit), begann das System zu versagen, was sinnvoll ist – niemand kann sicher fahren, wenn jeder zufällig in die Straße läuft.

Das Fazit

Die Arbeit behauptet, dass wir durch das Training autonomer Fahrzeuge gemeinsam mit „intelligenten" Fußgängern, die verborgene Persönlichkeiten haben und vom Fahrzeug lernen, einen viel realistischeren und sichereren Testgrund erhalten. Es geht nicht nur darum, dass das Fahrzeug das Fahren lernt; es geht darum, dass die gesamte Umgebung lernt, zu interagieren.

Das Ergebnis? Ein autonomes Fahrzeug, das viel besser in der Lage ist, die chaotische, unvorhersehbare Realität einer Stadtstraße zu überstehen, und das Unfälle im Vergleich zum Training des Fahrzeugs allein gegen statische, skriptierte Fußgänger um 30 % reduziert.

Technischer Zusammenfassung: Multi-Agenten-Verstärkungslernen für sicheres autonomes Fahren unter Unsicherheit des Fußgängerverhaltens

Problemstellung
Derzeitige simulationsbasierte Tests für selbstfahrende Autos (SDCs) verlassen sich häufig auf skriptbasierte oder vereinfachte Fußgängermodule, die die Heterogenität und Unsicherheit des realen menschlichen Überquerungsverhaltens nicht erfassen können. Diese Einschränkung ist insbesondere in Szenarien mit illegaler Straßenüberquerung (Jaywalking) gravierend, die durch latente Persönlichkeitsmerkmale gesteuert wird, die für das Fahrzeug unsichtbar sind. Folglich können Sicherheitsbewertungen SDCs möglicherweise nicht angemessen „latenten Absichten" aussetzen, was zu unrealistischen Einschätzungen ihrer Fähigkeit führt, unvorhersehbare Interaktionen mit Fußgängern zu bewältigen.

Methodik
Die Autoren schlagen ein Multi-Agenten-Verstärkungslern-Framework (MARL) vor, bei dem ein SDC und 12 Fußgänger gemeinsam trainiert werden, um realistischere Interaktionsszenarien zu generieren. Das System wird mittels Multi-Agent Proximal Policy Optimization (MAPPO) in einer JAX-basierten Umgebung implementiert, die auf einer einzelnen GPU mit 512 parallelen Umgebungen läuft.

Umgebungsdesign: Die Simulation findet in einer 120×120 m großen städtischen Karte mit einer vierarmigen Kreuzung und einer T-Kreuzung statt. Die Szene umfasst 12 Fußgänger-Agenten, eine signifikante Steigerung gegenüber früheren Arbeiten, die typischerweise nur wenige Hintergrundfußgänger verwenden.
Fußgängerverhalten: Fußgänger nutzen skriptbasiertes Dijkstra-Pathfinding für die niedrigere Bewegungsebene. Hochlevel-Entscheidungen (gehen/warten) werden durch eine RL-Richtlinie gesteuert. Entscheidend ist, dass jedem Fußgänger ein latenter Persönlichkeitszug ( $\tau_j$ ) zugewiesen wird, der zu Beginn einer Episode gesampelt wird und seine Tendenz zum illegalen Überqueren repräsentiert. Dieser Zug ist für den SDC unsichtbar. Wenn ein Fußgänger entscheidet zu „gehen", bestimmt ein probabilistischer Wurf, ob er eine gekennzeichnete Fußgängerüberquerung nutzt oder illegal überquert, basierend auf seinem spezifischen $\tau_j$ .
SDC-Modell: Der SDC verwendet ein kinematisches Fahrradmodell mit einer Höchstgeschwindigkeit von 30 km/h. Er operiert unter dem Paradigma des zentralisierten Trainings und dezentralisierten Ausführens (CTDE).
Trainingsarchitektur:
- Akteure: Der SDC und alle 12 Fußgänger teilen sich die Akteur-Parameter (homogene Agenten).
- Kritiker: Ein gemeinsamer zentralisierter Kritiker beobachtet einen globalen Zustand (58 Dimensionen), einschließlich aller Agentenpositionen, Geschwindigkeiten, des SDC-Zustands und der verborgenen Neigungen zum illegalen Überqueren der Fußgänger.
- Belohnungen: Das System verwendet eine kombinierte Belohnungsfunktion (50 % Fußgänger, 50 % SDC), um Kooperation zu fördern. Fußgänger erhalten Belohnungen für Fortschritt und einen Bonus für „intelligentes Warten", wenn sie in der Nähe eines schnell näherkommenden SDC warten. Der SDC wird bei Kollisionen und zu hoher Geschwindigkeit in der Nähe besetzter Überquerungen stark bestraft, erhält aber keine positive Belohnung für unbegrenztes Anhalten, um Belohnungshacking zu verhindern.
Unsicherheitsquantifizierung: Die Autoren führen eine Differenzmetrik der Geschwindigkeit ein, um die Reaktion des SDC auf Unsicherheit zu messen. Sie berechnet die Differenz der SDC-Geschwindigkeit beim Annähern an vorhersehbare Nutzer von Fußgängerüberquerungen im Vergleich zu unvorhersehbaren illegalen Überquerern bei bestimmten Entfernungen. Eine positive Differenz zeigt an, dass der SDC die Begegnung mit illegalen Überquerern nicht vorausgesehen hat.

Hauptbeiträge

MARL-Gemeinschaftstraining-Umgebung: Die Arbeit beschreibt eine neuartige Umgebung, in der ein SDC und 12 Fußgänger gemeinsam trainiert werden, wobei das illegale Überqueren durch einen latenten, für das Fahrzeug unsichtbaren Persönlichkeitszug angetrieben wird. Dies erweitert frühere MARL-Kreuzungsarbeiten durch die Skalierung der Agentenanzahl und die Einführung von verhaltensgesteuerter Unsicherheit durch Merkmale.
Differenzmetrik der Geschwindigkeit: Eine neue Metrik wird eingeführt, um direkt aus Trajektorien zu quantifizieren, wie sich die Geschwindigkeit eines SDC zwischen vorhersehbaren und unvorhersehbaren Begegnungen unterscheidet, und liefert so ein Maß für Unsicherheit auf Trajektorienebene.
Entstehendes kooperatives Verhalten: Die Studie zeigt empirisch, dass Gemeinschaftstraining zu entstehendem kooperativem Warteverhalten bei Fußgängern führt (die lernen, zu warten, wenn sich der SDC mit Geschwindigkeit nähert) und Kollisionen im Vergleich zum Einzelagenten-Training reduziert.

Experimentelle Ergebnisse
Die Bewertungen wurden über 500 Episoden mit festen Seeds durchgeführt:

Leistung im Vergleich zu Baselines: Der gemeinsam trainierte MARL-SDC erreichte eine Abschlussrate von 78 % bei einer Kollisionsrate von 14 %. Dies übertraf die beste regelbasierte Baseline (35 % Ziele, 33 % Kollisionen) und einen Einzelagenten-RL-SDC, der gegen skriptbasierte Fußgänger trainiert wurde (65 % Ziele, 20 % Kollisionen), signifikant.
Unsicherheitsanalyse: Die Differenzmetrik der Geschwindigkeit ergab, dass der SDC in der Nähe illegaler Überquerer (0–3 m) 2,65 m/s schneller (8,08 m/s) fuhr als in der Nähe von Nutzern von Fußgängerüberquerungen (5,43 m/s), was auf ein Fehlen der Vorhersage von illegalen Überquerungen hindeutet.
Kollisionszuordnung: Obwohl illegale Überquerungen nur 13 % der Überquerungsereignisse ausmachten, waren sie für 62 % aller Kollisionen verantwortlich.
Vorteile des Gemeinschaftstrainings: Gemeinschaftstraining reduzierte Kollisionen um 30 % im Vergleich zum Einzelagenten-RL (von 20 % auf 14 %). Darüber hinaus generalisierte der gemeinsam trainierte SDC gut auf skriptbasierte Fußgänger (76 % Ziele), und selbst ein Einzelagenten-SDC, der mit MARL-trainierten Fußgängern gepaart wurde, sah seine Kollisionsrate von 20 % auf 16 % sinken.
Ablationsstudie: Die Leistung verschlechterte sich graceful, wenn die Raten illegaler Überquerungen von 0 % auf 30 % stiegen, verschlechterte sich jedoch drastisch, wenn illegale Überquerungen 50 % erreichten, was darauf hindeutet, dass das System realistische Unsicherheitsniveaus toleriert, aber Schwierigkeiten hat, wenn Unvorhersehbarkeit dominant wird.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass der Hauptbeitrag die Generierung reichhaltigerer Fußgängerverhaltensweisen während des Trainings und der Bewertung von SDCs ohne explizite Programmierung kooperativen Wartens ist. Die Autoren argumentieren, dass die Realitätsnähe des Fußgängermusters die Sicherheitsbewertung eines SDC direkt prägt; skriptbasierte Modelle unterschätzen das Überraschungselement illegaler Überquerungen. Durch die Aussetzung von SDCs gegenüber Situationen latenter Absichten mittels vertriebsgesteuertem Gemeinschaftstraining liefert das Framework eine rigorosere Sicherheitsbewertung. Die vorgeschlagene Differenzmetrik der Geschwindigkeit bietet ein quantitatives Werkzeug, um zu bewerten, wie gut eine SDC-Richtlinie mit Unsicherheit umgeht, und ergänzt bewertungen auf Basis menschlicher Wahrnehmung. Die Arbeit legt nahe, dass MARL-Gemeinschaftstraining ein gangbarer Weg ist, um SDCs den komplexen, heterogenen Verhaltensweisen in realen städtischen Umgebungen auszusetzen.