🤖 Maschinelles Lernen

Offline Reinforcement Learning using Human-Aligned Reward Labeling for Autonomous Emergency Braking in Occluded Pedestrian Crossing

Dieses Paper schlägt ein neuartiges Offline-Reinforcement-Learning-Framework für die autonome Notbremsung an verdeckten Fußgängerüberwegen vor, das durch eine adaptive Sicherheitskomponente, die aus semantischer Segmentierung abgeleitet wird, menschenorientierte Belohnungslabels generiert und dadurch effektiv sichere Policies trainiert sowie sicherheitskritische Zustände identifiziert, die menschliche Annotatoren möglicherweise übersehen.

Ursprüngliche Autoren: Vinal Asodia, Barkin Dagda, Yinglong He, Zhenhua Feng, Saber Fallah

Veröffentlicht 2026-01-27

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Vinal Asodia, Barkin Dagda, Yinglong He, Zhenhua Feng, Saber Fallah

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter das Autofahren beizubringen. Normalerweise würde man den Roboter in einen Videospiel-Simulator setzen, ihn tausendmal verunglücken lassen und ihm beibringen, was er nicht tun soll. Aber die reale Welt ist chaotisch, und was der Roboter im Spiel lernt, scheitert oft, wenn er auf echte Straßen trifft (die „Sim-to-Real“-Lücke).

Deshalb fragten Forscher: „Warum bringen wir dem Roboter nicht einfach anhand von echten Fahrvideos von Autos das Fahren bei, ohne dass er dabei Unfälle bauen darf?“ Dies wird Offline Reinforcement Learning genannt. Aber es gibt ein Problem: Reale Fahrvideos kommen nicht mit einer „Bewertungskarte“ daher. Der Roboter weiß nicht, ob ein bestimmter Moment „gut“ (sicher) oder „schlecht“ (gefährlich) war. Es ist, als würde man einen Film schauen, ohne zu wissen, welche Szenen der Höhepunkt sind und welche langweilig sind.

Diese Arbeit schlägt einen neuen Weg vor, um diese „Bewertungskarte“ (Reward Labeling) zu erstellen, speziell für eine schwierige Situation: einen Fußgängerüberweg, bei dem die Sicht blockiert ist (wie etwa ein Lieferwagen, der einen Menschen verbirgt, der vielleicht gerade auf die Straße tritt).

So haben sie es gemacht, erklärt mit Alltagsanalogien:

1. Das „Intelligente Auge“ (Semantische Segmentierung)

Die Kamera des Roboters sieht ein verschwommenes Chaos aus Pixeln. Um daraus Sinn zu machen, gaben die Forscher dem Roboter ein „Intelligentes Auge“ (ein Computer-Vision-Modell).

Die Analogie: Stellen Sie sich vor, Sie blicken auf eine belebte Straße. Eine normale Person sieht einen Blur aus Farben. Das „Intelligente Auge“ ist wie ein Textmarker, der sofort alle Fußgänger rot, die Zebrastreifen gelb und die Autos blau einfärbt.
Warum es wichtig ist: Anstatt zu raten, weiß der Roboter nun genau, wo die gefährlichen Dinge sind.

2. Der „Adaptive Sicherheits-Schalter“

Die Forscher bauten ein spezielles Regelwerk für den Roboter. Es hat zwei Modi: Effizienz-Modus (schnell fahren, um ans Ziel zu kommen) und Sicherheits-Modus (langsam fahren und anhalten).

Die Analogie: Denken Sie an ein Ampelsystem im Gehirn des Roboters.
- Wenn die Straße frei ist, ist das Licht Grün (Effizienz-Modus). Der Roboter erhält Punkte für schnelles Fahren.
- Wenn das „Intelligente Auge“ einen Fußgänger auf der Straße oder einen Zebrastreifen hinter einem Lieferwagen sieht, schaltet das Licht auf Rot (Sicherheits-Modus).
- Der Schalter: Der Roboter nutzt einen „Risiko-Rechner“. Wenn er einen Fußgänger sieht, einen versteckten Zebrastreifen oder einen Fußgänger, der plötzlich verschwindet (und vielleicht hinter einem Auto steht), legt er den Schalter auf Rot. Wenn der Schalter auf Rot steht, wird der Roboter für schnelles Fahren bestraft und für das Anhalten belohnt.

3. Der „Spotlight“ (Räumliche Aufmerksamkeit)

Selbst mit dem „Intelligenten Auge“ könnte der Roboter von zu vielen Informationen überwältigt werden.

Die Analogie: Stellen Sie sich vor, Sie sind in einem dunklen Raum mit einer Taschenlampe. Sie müssen das Licht nicht in den ganzen Raum strahlen; Sie müssen es nur auf die Person richten, mit der Sie gerade sprechen.
Wie es funktioniert: Die Forscher brachten dem Roboter bei, einen „digitalen Spotlight“ zu benutzen. Er leuchtet am hellsten auf Fußgänger (die Wichtigsten), ein mittleres Licht auf Zebrastreifen und ein schwächeres Licht auf andere Autos. Dies hilft dem Roboter, seine Rechenleistung auf das zu konzentrieren, was tatsächlich wichtig ist, um Menschen nicht zu treffen.

4. Die Ergebnisse: Hat es funktioniert?

Das Team testete dieses System auf zwei Arten:

Im Simulator (Das Videospiel): Sie erstellten ein Szenario, in dem ein Lieferwagen einen Zebrastreifen blockiert und Fußgänger unerwartet auftauchen.
- Der Gewinner: Der Roboter, der mit der neuen „Intelligenten Auge“-Bewertungskarte trainiert wurde, lernte, sicher anzuhalten und auf Fußgänger zu warten. Er schnitt viel besser ab als Roboter, die mit einer „dummen“ Bewertungskarte trainiert wurden (die einfach Null Punkte für alles gaben) oder ein Roboter, der durch eine „Black Box“-KI trainiert wurde, die die Scores errät.
- Der Haken: Wenn der Verkehr extrem dicht wurde, wurde der Roboter manchmal verwirrt und hielt zu oft an oder übersah eine Kollision. Es ist wie ein nervöser Fahrer, der im dichten Verkehr einfriert.
In echten Daten (Der Audi-Datensatz): Sie nahmen echte Fahrvideos und verglichen die „Bewertungskarte“ ihres Roboters mit der eines menschlichen Fahrers.
- Die Überraschung: Der Roboter und der Mensch stimmten in den meisten Punkten überein. Der Roboter erkannte jedoch einige Gefahrensituationen, die der Mensch übersah! Zum Beispiel bemerkte der Mensch nicht einen hinter einem Schild verborgenen Fußgänger, aber der „Intelligente Auge“ des Roboters sah die roten Pixel und markierte die Situation als gefährlich.
- Der Fehler: Der Roboter machte auch Fehler. Manchmal dachte er, ein Fußgänger sei sicher, obwohl dieser gerade die Straße überquerte, weil er den Kontext (wie zum Beispiel die Gehrichtung der Person) nicht vollständig verstand.

Das Fazit

Diese Arbeit zeigt einen neuen Weg, autonom fahrende Autos mithilfe von realen Daten zu trainieren, ohne dass sie zuerst Unfälle bauen müssen. Indem sie dem Auto ein „Intelligentes Auge“ gaben, um Objekte zu sehen, und einen „Sicherheits-Schalter“, um das Anhalten gegenüber der Geschwindigkeit zu priorisieren, schufen sie ein Trainingssystem, das in schwierigen Szenarien mit blockierten Übergängen gut funktioniert.

Dennoch räumt die Arbeit ein:

Es ist noch nicht perfekt; das System hat Schwierigkeiten in sehr dichtem Verkehr.
Es versteht manchmal die „menschliche Nuance“ nicht, warum eine Situation gefährlich ist.
Es benötigt weitere Tests auf echten Straßen, um zu beweisen, dass es sicher genug ist, um uns herumzufahren.

Die Forscher schlagen vor, dass sie in Zukunft dem Roboter mehr „Augen“ (Kameras an den Seiten) und ein besseres „Gedächtnis“ geben könnten, um sich zu merken, wo sich Fußgänger vor einer Sekunde befanden, was ihn noch intelligenter machen würde.

Technisches Resümee: Offline-Reinforcement-Learning mittels human-ausgerichteter Belohnungs-Labeling für autonomes Notbremsmanöver bei verdeckten Fußgängern beim Zebrastreifenüberqueren

Problemformulierung

Die Arbeit adressiert einen kritischen Engpass bei der Implementierung von autonomen Fahrsystemen (AD): den Mangel an aussagekräftigen Belohnungs-Labels in realen Datensätzen, die für Offline-Reinforcement-Learning (Offline RL) erforderlich sind. Während reale Datensätze (z. B. Waymo, nuScenes, A2D2) reichhaltige, hochpräzise Daten bieten, fehlen ihnen typischerweise die Belohnungssignale, die notwendig sind, um Agenten darauf zu trainieren, zwischen wünschenswerten und unerwünschten Verhaltensweisen zu unterscheiden. Bestehende Lösungen verlassen sich oft auf Simulationen, die unter dem „Sim-to-Real“-Gap leiden, oder nutzen niedrigdimensionale Zustandsrepräsentationen, welche die perzeptive Reichhaltigkeit bildbasierter Beobachtungen ignorieren.

Die spezifisch untersuchte Aufgabe ist die longitudinale Fahrzeugsteuerung innerhalb eines Szenarios einer verdeckten Fußgängerüberquerung. In dieser Hochrisiko-Umgebung muss ein autonomes Fahrzeug (AV) einen Zebrastreifen navigieren, an dem Fußgänger durch andere Fahrzeuge verdeckt sein können (Okklusion) und plötzlich auftauchen können. Die Herausforderung besteht darin, Belohnungs-Labels zu generieren, die mit menschlichen Sicherheitswerten übereinstimmen (Priorisierung von Sicherheit vor Effizienz in potenziellen Kollisionsszenarien), ohne eine direkte menschliche Annotation jedes einzelnen Frames zu benötigen, wodurch das Training von perzeptionsbasierten Offline-RL-Agenten direkt aus statischen Datensätzen ermöglicht wird.

Methodik

Die vorgeschlagene Lösung führt eine neuartige Belohnungs-Labeling-Pipeline ein, die unbeschriftete AD-Datensätze in trainingsbereite Daten für Offline RL transformiert. Die Methodik besteht aus drei primären Phasen:

Semantische Segmentierung und Risikobewertung:
- Semantische Kartierung: Rohe Kamerabilder werden durch ein ResNet18 UNet-Modell verarbeitet, um pixelgenaue semantische Segmentierungskarten zu erzeugen. Diese Karten identifizieren 28 Klassen, einschließlich Fußgänger, Fahrzeuge, Zebrastreifen und Fahrbahnmarkierungen.
- Adaptives Sicherheitskomponente ( $c_t$ ): Das System analysiert spezifische Schichten der semantischen Karte, um eine adaptive Sicherheitsflagge ( $c_t$ $c_{t}$ ) zu berechnen. Diese Flagge wird durch drei Risikofaktoren bestimmt:
  - Anwesenheit von Fußgängern ( $F_p$ ): Erkennt, ob sich ein Fußgänger auf der Straße oder auf dem Gehweg befindet.
  - Verdeckung des Zebrastreifens ( $F_c$ ): Bewertet, ob ein Zebrastreifen teilweise durch Verkehr verdeckt ist, was Unsicherheit erzeugt.
  - Historie der Fußgänger ( $F_h$ ): Nutzt eine Memory Bank, um Fußgänger zu verfolgen, die erscheinen und dann verschwinden (was auf eine Okklusion hindeutet), und stuft sie als mittleres Risiko ein.
- Entscheidungslogik: Diese Faktoren werden summiert und durch eine skalierte Sigmoid-Funktion geleitet. Wenn die resultierende Wahrscheinlichkeit einen Schwellenwert ( $\psi = 0,75$ ) überschreitet, wird $c_t$ auf 1 gesetzt, wodurch die Sicherheitsbelohnungskomponente aktiviert und die Effizienzkomponente deaktiviert wird.
Konstruktion der Belohnungsfunktion:
Das finale Belohnungssignal ( $R_{final}$ ) ist eine gewichtete Summe aus drei Komponenten, die dynamisch basierend auf $c_t$ umgeschaltet werden:
- Sicherheit ( $g_{safe}$ ): Bestraft hohe Geschwindigkeiten in der Nähe von Fußgängern und Kollisionen. Aktiviert, wenn $c_t=1$ .
- Effizienz ( $g_{efficient}$ ): Fördert höhere Geschwindigkeiten, wenn keine Kollision unmittelbar bevorsteht. Aktiviert, wenn $c_t=0$ .
- Glätte ( $g_{smooth}$ ): Bestraft ruckartige Beschleunigung, stets aktiv.
- Sensordaten-Integration: Für Realdaten wird die Distanz zu Fußgängern unter Verwendung des Pinhole-Kamera-Modells kombiniert mit semantischer Segmentierung abgeleitet, während Geschwindigkeit und Beschleunigung aus dem Fahrzeug-CAN-Bus und der IMU abgeleitet werden.
Offline RL Training mit räumlicher Aufmerksamkeit (Spatial Attention):
Um den Agenten zu trainieren, schlägt das Paper eine perzeptionsbasierte Pipeline vor, die die semantischen Karten nutzt, um die Merkmalsextraktion zu steuern:
- Merkmalsextraktion: Kamerabilder werden durch einen ResNet18 Autoencoder geleitet, um latente Feature-Embeddings zu erzeugen.
- Räumliche Aufmerksamkeit: Die aufgabenrelevanten semantischen Schichten (Fußgänger, Zebrastreifen, Fahrzeug) werden isoliert und genutzt, um räumliche Aufmerksamkeit auf die latenten Features anzuwenden. Dies wird durch eine gewichtete kreuzweise Multiplikation erreicht, wobei Fußgänger-Features die höchste Gewichtung ( $\omega_{ped}=1,0$ ) erhalten, gefolgt von Zebrastreifen ( $\omega_{cross}=0,75$ ) und Fahrzeugen ( $\omega_{veh}=0,50$ ). Dieser Mechanismus zwingt den Agenten, sich auf die für die Kollisionsvermeidung relevanten, markanten Objekte zu konzentrieren.

Wichtigste Beiträge

Das Paper skizziert drei Hauptbeiträge:

Human-Aligned Reward Labeling: Ein neuartiger Ansatz zur Generierung von Belohnungs-Labels für bestehende AD-Datensätze, der deren Nutzung für End-to-End Offline RL ermöglicht, ohne dass eine neue Datenerhebung erforderlich ist.
Adaptiver Sicherheitsmechanismus: Eine Belohnungsfunktion, die eine adaptive Sicherheitskomponente enthält, die aus semantischen Segmentierungskarten abgeleitet wird. Dies ermöglicht es dem Agenten, die Sicherheit dynamisch gegenüber der Effizienz zu priorisieren, basierend auf Echtzeit-Risikofaktoren wie Fußgängerposition und Okklusion.
Räumliche Aufmerksamkeit via semantischer Karten: Eine Methode, um semantische Segmentierungsschichten zu nutzen, um unterschiedliche Ebenen der räumlichen Aufmerksamkeit auf verschiedene Objektklassen innerhalb der Bildbeobachtung anzuwenden, wodurch die Entscheidungsfindung des Agenten durch die Fokussierung auf relevante Szenenelemente verbessert wird.

Experimentelle Ergebnisse

Die Methode wurde in zwei Settings evaluiert: einer CARLA-Simulation und einem Teil des realen Audi Autonomous Driving Datensatzes (A2D2).

Simulation (CARLA):
- Getestete Algorithmen: Die gelabelten Daten wurden verwendet, um CQL, IQL und BPPO zu trainieren.
- Baselines: Die vorgeschlagene Methode („Gen“) wurde mit Unlabeled Data Sharing (UDS) (Zuweisung von Null-Belohnungen) und einem Vision Language Model (VLM)-Ansatz verglichen.
- Performance: Das IQL (Gen) Setup erreichte die höchste Performance mit Erfolgsraten von 98–100 % in Szenarien mit teilweiser Okklusion. Die vorgeschlagene Methode produzierte generell stabilere und zuverlässigere Verhaltensweisen als die UDS- oder VLM-Baselines.
- Einschränkungen: Die Performance sank in hochkongestierten, voll verdeckten Szenarien, insbesondere bei CQL und BPPO, was darauf hindeutet, dass die Frontalansicht der Kamera in dichtem Verkehr an Grenzen stößt.
Reale Welt (A2D2):
- Vergleich: Die generierten Belohnungs-Labels wurden mit jenen verglichen, die von einem Menschen manuell annotiert wurden.
- Ergebnisse: Während die allgemeine Verteilung der Belohnungen ähnlich war, gab es Disparitäten in spezifischen Sicherheitsklassifizierungen. Bemerkenswerterweise identifizierte die Methode bestimmte unsichere Zustände (z. B. stark verdeckte Fußgänger), die der menschliche Annotator übersehen hatte. Umgekehrt versäumte es die Methode teilweise, klar sichtbare Fußgänger zu identifizieren, was auf Limitationen in den verwendeten spezifischen Risikofaktoren zurückzuführen ist (z. B. Verwechslung zwischen Fahrbahnmarkierungen und Fahrbahnoberfläche).

Bedeutung und Behauptungen

Das Paper behauptet, dass seine primäre Bedeutung darin liegt, die Lücke zwischen großskaligen, unbeschrifteten realen AD-Datensätzen und den Anforderungen von Offline RL zu schließen. Durch die Automatisierung der Generierung von human-ausgerichteten Belohnungs-Labels ermöglicht die Methode das Training von perzeptionsbasierten Agenten ohne die prohibitiven Kosten manueller Annotation oder die Fidelity-Probleme der Simulation.

Die Autoren betonen, dass die Methode zwar erfolgreich aussagekräftige Belohnungssignale generiert und die Policy-Performance in der Simulation verbessert, sie jedoch kein perfekter Ersatz für das menschliche Urteilsvermögen ist. Die A2D2-Ergebnisse verdeutlichen, dass die Methode zwar Gefahren erkennen kann, die Menschen entgehen (durch die systematische Analyse semantischer Karten), aber auch nicht über die nuancierte kontextuelle Argumentation menschlicher Fahrer verfügt. Das Paper schließt damit, dass dieser Ansatz einen praktikablen Ausgangspunkt für Offline RL in komplexen Szenarien bietet, wenngleich zukünftige Arbeiten die zeitliche Argumentation und die Multi-View-Integration angehen müssen, um dichten Verkehr robuster zu handhaben.