🤖 machine learning

Interacting safely with cyclists using Hamilton-Jacobi reachability and reinforcement learning

Diese Arbeit stellt einen Rahmen vor, der Hamilton-Jacobi-Erreichbarkeitsanalyse mit Deep Q-Learning kombiniert, um autonomen Fahrzeugen sichere und effiziente Interaktionen mit Radfahrern durch die Integration von Sicherheitsgarantien als strukturierte Belohnung und die Modellierung menschlicher Verhaltensanpassungen zu ermöglichen.

Ursprüngliche Autoren: Aarati Andrea Noronha, Jean Oh

Veröffentlicht 2026-02-23

📖 3 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Aarati Andrea Noronha, Jean Oh

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie fahren mit Ihrem Auto durch eine belebte Stadt. Plötzlich taucht ein Radfahrer auf. Was tun Sie?

Die meisten menschlichen Fahrer sind hier oft zögerlich: Sie bremsen abrupt, warten ewig und blockieren den Verkehr, nur um auf Nummer sicher zu gehen.
Andere sind zu aggressiv: Sie rasen vorbei, was den Radfahrer erschreckt und gefährlich macht.

Das Ziel dieses Forschungsprojekts war es, einen autonomen (selbstfahrenden) Wagen zu bauen, der genau die goldene Mitte findet: Er muss sicher sein, aber auch flüssig und schnell fahren, ohne den Radfahrer zu verunsichern.

Hier ist die einfache Erklärung, wie die Forscher (Noronha und Oh) das geschafft haben, mit ein paar bildhaften Vergleichen:

1. Der "Sicherheits-Schirm" (Hamilton-Jacobi Reachability)

Stellen Sie sich vor, der autonome Wagen hat einen unsichtbaren, magischen Schirm um sich herum. Dieser Schirm ist das Ergebnis einer komplexen Mathematik namens Hamilton-Jacobi-Analyse.

Wie es funktioniert: Dieser Schirm berechnet genau, welche Bewegungen den Wagen in einen "Unfall-Zustand" bringen würden. Wenn der Wagen diesen Schirm berührt, weiß er: "Achtung, hier könnte es knallen!"
Das Problem: Wenn sich der Wagen nur auf diesen Schirm verlässt, wird er extrem ängstlich. Er würde lieber stehen bleiben als auch nur einen Zentimeter riskant zu bewegen. Das ist sicher, aber extrem langsam und ineffizient.

2. Der "Intelligente Navigator" (Reinforcement Learning)

Um die Angst des Schirms zu überwinden, haben die Forscher einen intelligenten Navigator (ein KI-System namens Deep Q-Learning) hinzugefügt.

Die Analogie: Stellen Sie sich den Schirm als einen strengen Sicherheitsbeauftragten vor, der sagt: "Kein Schritt vorwärts!" Der Navigator ist wie ein erfahrener Rennfahrer, der sagt: "Ich weiß, wo die Grenzen sind, aber ich finde den schnellsten Weg, ohne sie zu verletzen."
Die Zusammenarbeit: Der Navigator lernt durch Versuch und Irrtum (wie ein Kind, das Fahrrad fahren lernt), wie man den Sicherheitsbeauftragten überzeugt, dass eine bestimmte Bewegung trotzdem sicher ist. So findet der Wagen den besten Kompromiss zwischen Sicherheit und Geschwindigkeit.

3. Der "Geheimtipp": Den Radfahrer verstehen (Modellierung des Komforts)

Das ist der eigentliche Clou der Studie. Bisherige Systeme behandelten Radfahrer wie unberechenbare Objekte (wie ein fallender Stein). Die Forscher haben aber erkannt: Radfahrer haben Gefühle.

Das Problem: Ein Radfahrer fühlt sich bedroht, wenn ein Auto zu nah kommt, selbst wenn es technisch gesehen sicher wäre.
Die Lösung: Die Forscher haben eine Art "Empathie-Maschine" (ein sogenannter Auto-Encoder) gebaut.
- Sie haben dem System gezeigt, wie echte Radfahrer reagieren.
- Das System lernte: "Wenn das Auto zu nah ist, wird der Radfahrer nervös und weicht aus."
- Der autonome Wagen nutzt dieses Wissen nun als "Störung" in seiner Berechnung. Er denkt: "Ich darf nicht nur die Physik berechnen, ich muss auch das Gefühl des Radfahrers berücksichtigen."

4. Das Ergebnis: Ein harmonisches Tanzpaar

In Tests mit echten Daten aus Ann Arbor (Michigan) zeigten die Ergebnisse, dass ihr System besser funktioniert als:

Menschliche Fahrer: Die oft zu zögerlich oder zu ruppig waren.
Alte KI-Systeme: Die zwar sicher waren, aber den Radfahrer nicht "verstanden" und daher unnötig lange warteten.

Zusammenfassend:
Die Forscher haben eine KI gebaut, die nicht nur rechnet, sondern auch fühlt. Sie kombiniert einen mathematischen Sicherheits-Check (der vor Unfällen warnt) mit einer lernenden KI (die den schnellsten Weg sucht) und einem Modell, das die Psyche des Radfahrers versteht. Das Ergebnis ist ein autonomes Fahrzeug, das Radfahrer wie ein erfahrener, rücksichtsvoller menschlicher Fahrer behandelt: Es gibt ihnen Platz, wenn es nötig ist, und fährt flüssig weiter, wenn es sicher ist.

Es ist wie ein Tanz: Der Wagen führt nicht einfach blind, sondern passt seine Schritte perfekt an die Bewegungen und das Wohlbefinden des Radfahrers an.

1. Problemstellung

Autonome Fahrzeuge stehen bei der Interaktion mit Radfahrern vor einer besonderen Herausforderung. Radfahrer bewegen sich im Vergleich zu anderen Verkehrsteilnehmern oft unvorhersehbar, langsamer und mit einer gewissen Zufälligkeit. Bestehende Navigationsalgorithmen neigen dazu, bei der Überholung von Radfahrern übermäßig vorsichtig zu sein, was zu suboptimalen Fahrzeiten führt. Umgekehrt zeigen menschliche Fahrer oft zu aggressive Manöver.

Das Hauptproblem besteht darin, einen Fahrpfad zu generieren, der einen Kompromiss zwischen Sicherheit und Optimalität (Zeit) findet. Bisherige Ansätze basierend auf Hamilton-Jacobi (HJ) Reachability garantieren zwar Sicherheit, opfern aber oft die Zielerreichbarkeit innerhalb einer akzeptablen Zeit. Reinforcement Learning (RL) bietet zwar gute Trade-offs, liefert aber oft keine formalen Sicherheitsgarantien. Zudem fehlt es vielen Algorithmen an einer quantitativen Modellierung des Radfahrerkomforts und der menschlichen Reaktion auf das Fahrzeug.

2. Methodik

Die Autoren schlagen einen hybriden Rahmen vor, der Hamilton-Jacobi-Erreichbarkeitsanalyse mit Deep Q-Learning (DQN) kombiniert, um ein Zwei-Agenten-System (Fahrzeug vs. Radfahrer) zu steuern.

A. Sicherheitsanalyse durch Reachability

Das Problem wird als differentialer Nullsummenspiel formuliert, bei dem das autonome Fahrzeug der Kontrollinput ( $u$ ) und der Radfahrer der Störinput ( $d$ ) ist.

Kollisionsmenge ( $C_0$ ): Definiert Zustände, in denen eine Kollision stattfindet.
Rückwärts erreichbare Menge ( $B$ ): Eine Menge potenziell unsicherer Zustände, die zu einer Kollision führen könnten. Sie wird als Null-Level-Teilmenge der Lösung einer zeitabhängigen Hamilton-Jacobi-Bellman (HJB) partiellen Differentialgleichung berechnet.
Wertfunktion ( $v$ ): Liefert ein quantitatives Maß für die Sicherheit eines Zustands. Ein positiver Wert bedeutet, dass eine kollisionsfreie Lösung existiert; ein negativer oder nuller Wert bedeutet, dass eine Kollision unvermeidbar ist.

B. Modellierung der Störung (Radfahrer-Komfort)

Ein wesentlicher Unterschied zu vorherigen Arbeiten (z. B. Fisac et al., 2019) ist die Modellierung des Radfahrerverhaltens. Statt den Radfahrer nur als physikalische Störung zu betrachten, wird dessen latente Reaktion (Komfort/Unbehagen) modelliert.

Auto-Encoder-Ansatz: Ein Auto-Encoder wird auf Daten trainiert, die als „sicher" klassifiziert wurden (basierend auf der HJ-Wertfunktion).
Anomalieerkennung: Wenn der Rekonstruktionsfehler für einen neuen Zustand hoch ist, wird dieser als „gefährlich" oder als Zustand interpretiert, der vom Radfahrer als Bedrohung wahrgenommen wird (z. B. zu nahe bei zu niedriger Geschwindigkeit).
Diese Modellierung führt zu einer eingeschränkten Störmenge, die menschliche Komfortgrenzen widerspiegelt.

C. Deep Q-Learning für die Navigation

Die reine Reachability-Lösung ist zu konservativ. Um die Optimalität zu verbessern, wird die berechnete HJ-Wertfunktion als strukturierte Belohnungssignal (Reward) in ein Deep Q-Network (DQN) integriert.

Das DQN lernt eine Policy, die den kumulierten diskontierten Ertrag maximiert.
Der Agent lernt, die Sicherheit (durch den HJ-Wert) mit der Effizienz (Zeit) abzuwägen.
Der Zustandsraum umfasst longitudinale und laterale Distanzen, Geschwindigkeitsdifferenzen und die Distanz zum Ziel.

3. Hauptbeiträge

Erweiterung auf Zwei-Agenten-Systeme: Die Methode von Fisac et al. (ursprünglich für einen Agenten) wurde auf ein System mit einem autonomen Fahrzeug und einem Radfahrer erweitert.
Quantitative Komfortmodellierung: Einführung eines Mechanismus, der den Komfort des Radfahrers (basierend auf der latenten Reaktion auf den Fahrzeugzustand) quantitativ erfasst und in die Störungsmodellierung integriert.
Optimale Interaktion: Entwicklung eines Algorithmus, der sowohl Sicherheit als auch Zeitoptimierung berücksichtigt, anstatt nur extrem vorsichtig zu sein.
Quantifizierung der Sicherheit: Eine Metrik, die definiert, was eine „sichere" Überholmanöver ist (angemessene Geschwindigkeit und Distanz), basierend auf der HJ-Wertfunktion.

4. Ergebnisse

Die Evaluation erfolgte mittels Simulation und Vergleich mit menschlichem Fahrverhalten sowie dem State-of-the-Art-Algorithmus von Fisac et al. (2019) unter Verwendung des Safety Pilot Michigan Database (ca. 40.000 Radfahrer-Ereignisse).

Vergleich der Wertfunktionen: Die neu berechnete Wertfunktion zeigt zusätzliche unsichere Bereiche, die menschliche Wahrnehmung (z. B. Bedrohung durch zu große Nähe bei niedriger Geschwindigkeit) besser abbilden als der reine physikalische Ansatz.
Quantitative Metriken (basierend auf 60 Test-Trajektorien):
- Sicherheit: Das vorgeschlagene Framework erreicht die höchste Sicherheit (bester „Safety Factor" von -2.01 im Vergleich zu -2.18 bei Fisac '19 und -2.31 bei menschlichen Fahrern; niedrigere Werte sind unsicherer, aber hier ist der Wert relativ am besten, da er näher an Null liegt, was weniger Risiko bedeutet).
- Unsichere Zustände: Das Framework durchläuft weniger unsichere Zustände (31,6 %) als menschliche Fahrer (39,0 %) oder Fisac '19 (36,8 %).
- Zeit: Das Framework ist schneller als menschliche Fahrer (233 Sek. vs. 253 Sek.), aber etwas langsamer als der reine Fisac '19-Algorithmus (199 Sek.). Dies liegt daran, dass der reine Algorithmus den Radfahrerkomfort ignoriert und daher aggressiver (und schneller) fährt.
- Kollisionen & Zielerreichung: Keine Kollisionen in allen Tests; 100 % Zielerreichung für alle Methoden.

5. Bedeutung und Fazit

Dieses Paper demonstriert erfolgreich, wie Deep Q-Learning mit Hamilton-Jacobi-Bellman-Wertfunktionen kombiniert werden kann, um autonome Fahrzeuge sicher und effizient mit Radfahrern interagieren zu lassen.

Der entscheidende Fortschritt liegt in der Integration menschlicher Komfortfaktoren in die mathematische Sicherheitsgarantie. Durch die Modellierung des Radfahrerverhaltens als Reaktion auf den Fahrzeugzustand (anstatt nur als physikalische Störung) gelingt es dem System, nicht nur kollisionsfrei, sondern auch sozial akzeptabel zu navigieren. Das Framework bietet eine robuste Lösung, die die Lücke zwischen strikter mathematischer Sicherheit und praktischer Fahrtauglichkeit schließt, und ebnet den Weg für zukünftige Erweiterungen auf Multi-Agenten-Systeme.