🤖 machine learning

Reinforcement Learning Enhancement Using Vector Semantic Representation and Symbolic Reasoning for Human-Centered Autonomous Emergency Braking

Dieses Paper schlägt ein neuro-symbolisches Reinforcement-Learning-Framework für die autonome Notbremsung vor, das vektorielle semantische Repräsentationen des Szenenkontexts mit einer Soft-First-Order-Logic-Belohnungsfunktion integriert, um die Robustheit der Policy zu erhöhen und die Entscheidungsfindung mit menschlichen Sicherheitswerten in Einklang zu bringen.

Ursprüngliche Autoren: Vinal Asodia, Iman Sharifi, Saber Fallah

Veröffentlicht 2026-02-06

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Vinal Asodia, Iman Sharifi, Saber Fallah

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem selbstfahrenden Auto bei, vor Fußgängern zu bremsen. Die alte Methode, dies zu lehren, ist wie einem Kind das Autofahren beizubringen, indem man ihm Millionen von Rohfotos zeigt und sagt: „Wenn du etwas Rotes siehst, halte an; wenn du etwas Blaues siehst, fahre weiter.“ Das Problem ist, dass das Auto Millionen von Pixeln sieht, aber nicht „Fußgänger“ oder „Zebrastreifen“. Es hat Schwierigkeiten, die Geschichte der Szene zu verstehen, und verlässt sich auf ein starres Regelwerk (eine Belohnungsfunktion), das nicht weiß, wie man Sicherheit mit dem Erreichen des Ziels in angemessener Zeit abwägt.

Dieses Paper schlägt einen neuen Weg vor, das Auto zu lehren, unter Verwendung einer Mischung aus super-organisiertem Gedächtnis und gesunden logischen Schlussfolgerungen (Common-Sense Logic). So funktioniert es, unterteilt in einfache Teile:

1. Das „Super-Organisierte Gedächtnis“ (Vektorielle semantische Repräsentation)

Anstatt nur auf ein verschwommenes Foto zu schauen, erstellt das Gehirn des Autos einen speziellen „mentalen Schnappschuss“ der Szene.

Der alte Weg: Es betrachtet die Pixel.
Der neue Weg: Es zerlegt die Szene in eine Liste von Charakteren und deren Beziehungen, wie das Skript für ein Theaterstück. Es identifiziert: „Da ist ein Fußgänger (Charakter A), der auf einem Zebrastreifen (Ort B) steht.“
Die Magie: Es verwendet eine Technik namens Hyperdimensional Computing. Stellen Sie sich das wie einen riesigen Aktenschrank vor, in dem jedes Objekt (Fußgänger, LKW, Straße) seine eigene, hochtechnologische ID-Karte besitzt. Das Auto speichert nicht nur die ID, sondern auch, wo sich das Objekt befindet und wie es aussieht, alles gebündelt in einem einzigen super-effizienten „Gedächtnisvektor“.
Der Sicherheitsfilter: Das System ist intelligent genug zu wissen, dass ein Fußgänger zerbrechlicher ist als ein LKW. Daher gibt es der ID-Karte des Fußgängers eine höhere „Lautstärke“ (ein Gewicht), um sicherzustellen, dass das Auto den Fußgängern deutlich mehr Aufmerksamkeit schenkt.

2. Der „Gesunde Richter“ (Soft First-Order Logic Reward)

Beim Reinforcement Learning lernt das Auto durch Punkte (Belohnungen) für gutes Verhalten und Punktabzug für schlechtes Verhalten.

Der alte Weg: Das Regelwerk war starr. „Wenn du einen Fußgänger triffst, -1000 Punkte. Wenn du schnell fährst, +10 Punkte.“ Das ist zu simpel. Was aber, wenn man schnell fährt, aber ein Fußgänger hinter einem geparkten Auto verborgen ist? Die alten Regeln hätten das vielleicht nicht erfasst.
Der neue Weg: Das Paper führt einen Soft First-Order Logic (SFOL) Richter ein. Anstatt eines starren Regelwerks ist dies wie ein weiser Richter, der den Kontext betrachtet.
- Der Richter stellt Fragen basierend auf dem „mentalen Schnappschuss“: „Ist dort ein Zebrastreifen? Ist er frei? Blockiert ein Auto die Sicht auf den Zebrastreifen?“
- Basierend auf den Antworten entscheidet der Richter, wie sehr das Auto Sicherheit gegenüber Effizienz gewichten soll.
- Wenn der Richter einen Fußgänger auf einem Zebrastreifen sieht, sagt er: „Sicherheit ist gerade zu 100 % wichtig; Effizienz spielt keine Rolle.“
- Wenn die Straße leer ist, sagt er: „Sicherheit ist immer noch wichtig, aber lassen Sie uns auch zügig ans Ziel kommen.“
- Das „Soft“ bedeutet, dass der Richter nicht binär (ja/nein) arbeitet; er versteht Unsicherheit. Wenn die Sicht blockiert ist, sagt der Richter: „Ich bin mir nicht zu 100 % sicher, aber ich bin mir zu 80 % sicher, dass dort ein Fußgänger sein könnte, also lassen Sie uns vorsichtig sein.“

3. Das Trainingsgelände (Das Experiment)

Die Forscher testeten dies in einer virtuellen Stadt (CARLA-Simulator) mit einem spezifischen, kniffligen Szenario: Der verborgene Fußgänger.

Der Aufbau: Ein Auto fährt eine Straße entlang. Ein großer Van ist geparkt und verdeckt einen Zebrastreifen. Ein Fußgänger tritt hinter dem Van hervor.
Der Test: Sie testeten das Auto bei leichtem, mittlerem und starkem Verkehr, wobei der Fußgänger manchmal vollständig verborgen und manchmal teilweise sichtbar war.

4. Die Ergebnisse: Was hat am besten funktioniert?

Das Paper fand heraus, dass das „Super-Organisierte Gedächtnis“ und der „Gesunde Richter“ am besten zusammenarbeiteten, aber nur, wenn sie auf eine bestimmte Weise kombiniert wurden:

Nur das Gedächtnis (ohne Logik): Das Auto war zu aggressiv und verursachte oft Unfälle. Es wusste zwar, was dort war, aber nicht, wie es reagieren sollte.
Nur die Logik (ohne Gedächtnis): Das Auto war bei leichtem Verkehr okay, wurde aber in schwerem Verkehr verwirrt und fuhr Unfälle, weil es die Details nicht gut genug „sehen“ konnte.
Der Gewinner (Gedächtnis + Logik + Addition): Als sie das Gedächnis der Szene mit der logischen Schlussfolgerung mittels einer einfachen „Additionsmethode“ kombinierten, wurde das Auto am robustesten. Es stoppte erfolgreich für verborgene Fußgänger, vermied Unfälle in schwerem Verkehr und fuhr nicht zu konservativ (was den Verkehr aufhalten würde).

Das Fazit

Dieses Paper zeigt, dass wir selbstfahrende Autos nicht einfach nur mit mehr Fotos füttern sollten, um sie sicherer zu machen. Wir müssen ihnen einen Weg geben, die Szene zu verstehen (wer ist wo) und ein flexibles Gehirn, um zu entscheiden, wann sie sicher und wann sie effizient sein müssen. Durch die Kombination eines strukturierten Straßen-Gedächtnisses mit einem logikbasierten Richter lernt das Auto, Entscheidungen zu treffen, die sicherer sind und besser mit menschlichen Werten übereinstimmen – selbst wenn die Sicht versperrt ist.

Technisches Resümee: Verbesserung des Reinforcement Learning durch vektorielle semantische Repräsentation und symbolisches Schließen für eine menschenzentrierte autonome Notbremsung

Problemstellung

Bestehende kamerabasierte Deep Reinforcement Learning (DRL)-Ansätze für das autonome Fahren (AD) stehen vor zwei primären Einschränkungen:

Merkmalsrepräsentation: Sie integrieren selten den hochgradigen Szenenkontext in die Merkmalsrepräsentationen und verlassen sich stattdessen auf Rohbilder oder Aufmerksamkeitsmechanismen, die zwar Regionen hervorheben, aber kein explizites semantisches Verständnis von Objektbeziehungen besitzen (z. B. die Nähe eines Fußgängers zu einem Zebrastreifen).
Belohnungsfunktion (Reward Function): Diese basieren typischerweise auf starren, festen Belohnungsfunktionen (gewichtete Summen von Strafen und Anreizen). Diese scheitern daran, nuancierte Abwägungen zwischen konkurrierenden menschlichen Werten (Sicherheit, Effizienz, Komfort) in komplexen, dynamischen Szenarien zu erfassen. Adaptive Belohnungsfunktionen existieren zwar, nutzen aber oft ein „hartes Umschalten“ zwischen den Zielen, was zu einem spröden Verhalten führt.

Methodik

Die Arbeit schlägt eine neuro-symbolische Pipeline vor, die eine vektorielle semantische Repräsentation (VSR) für die Zustandskodierung und Soft First-Order Logic (SFOL) für das Reward Shaping kombiniert.

1. Vektorielle semantische Repräsentation (VSR)

Die Autoren erweitern das VSR-Framework, um sowohl statische als auch dynamische Entitäten mittels Hyperdimensionaler Computer (HDC), spezifisch Holographischer Reduzierter Repräsentationen (HRR), zu kodieren.

Input-Verarbeitung: Kamerabilder werden durch ein ResNet18-basiertes UNet verarbeitet, um semantische Segmentierungskarten zu generieren, sowie durch einen ResNet18-Autoencoder, um latente Feature-Embeddings zu erzeugen.
Entitätskodierung: Jede dynamische Entität ( $E_i$ $E_{i}$ ) wird als Hypervektor dargestellt, der Folgendes kombiniert:
- Räumlich-semantische Information (SSI): Kodiert die semantische Klasse (z. B. Fußgänger, Fahrzeug), räumliche Beziehungen zu Nachbarn (z. B. „Fußgänger unter dem Zebrastreifen“) sowie Form und Position innerhalb eines Gitters. Dies wird durch die Bindung von semantischen Klassen-, Richtungs- und Form-Hypervektoren konstruiert.
- Räumliche Merkmale (SF): Räumlich aufmerksamkeitsgesteuerte Feature-Embeddings, die aus den latenten Merkmalen abgeleitet und durch die semantische Karte gewichtet werden.
Fusion: Der endgültige VSR-Vektor ist die gewichtete Summe aller Entitäts-Hypervektoren. Entscheidend ist, dass Gewichtungsschemata vulnerable Verkehrsteilnehmer priorisieren (z. B. werden Fußgänger auf der Straße/dem Zebrastreifen höher gewichtet als auf dem Gehweg oder Fahrzeuge).
Integration: Der SSI-Hypervektor und die SF-Embeddings werden mittels elementweiser Addition ( $\oplus$ ) oder Multiplikation ( $\otimes$ ) fusioniert, um einen kompakten, kontextreichen Deskriptor zu erstellen, der in einen Proximal Policy Optimization (PPO)-Agenten eingespeist wird.

2. Soft First-Order Logic (SFOL) Belohnungsfunktion

Um die Starrheit fester Belohnungen zu adressieren, integrieren die Autoren ein symbolisches Schlussmodul unter Verwendung von PyReason.

Prädikatsextraktion: Semantische und räumliche Prädikate (z. B. Pedestrian(X), OnCrosswalk(X), Occludes(X,Y)) werden aus den Segmentierungskarten und der räumlichen Analyse extrahiert. Unsicherheit wird dadurch behandelt, dass „weiche“ Wahrheitswerte im Intervall $[0, 1]$ zugewiesen werden.
Regelbasis: Eine Menge von Horn-Klauseln definiert Regeln für Sicherheit (z. B. Priorisierung der Sicherheit, wenn ein Fußgänger auf der Straße ist oder ein Zebrastreifen verdeckt ist) und Effizienz (z. B. Priorisierung der Geschwindigkeit, wenn die Spur frei ist).
Dynamische Gewichtung: Das System inferiert Konfidenzniveaus für diese Regeln. Diese Konfidenzen werden verwendet, um die Gewichte ( $\bar{w}_{saf}$ , $\bar{w}_{eff}$ ) der Basis-Belohnungskomponenten (Sicherheit, Effizienz und Glätte) dynamisch zu berechnen. Dies ermöglicht es der Belohnungsfunktion, menschliche Werte basierend auf dem spezifischen Kontext der Fahrszene auszubalancieren, anstatt feste Umschaltlogiken zu verwenden.

Zentrale Beiträge

Erweitertes VSR: Anpassung von VSR zur Kodierung dynamischer Entitäten mit Gewichtungsschemata, die vulnerable Verkehrsteilnehmer hervorheben, fusioniert mit räumlich aufmerksamkeitsgesteuerten Merkmalen.
Neuro-symbolische Fusion: Erstellung eines kompakten Szenen-Deskriptors durch die Fusion von symbolischen Hypervektoren (SSI) mit Deep-Learning-Feature-Embeddings (SF).
SFOL-Belohnungsfunktion: Vorschlag einer Belohnungsfunktion, die durch symbolisches Schließen dynamisch zwischen Sicherheit, Effizienz und Komfort abwägt und damit über feste oder hart umschaltende Formulierungen hinausgeht.

Experimentelle Ergebnisse

Die Pipeline wurde im CARLA-Simulator in einem Szenario mit verdecktem Fußgängerüberweg bei variierenden Verkehrsdichten (Niedrig, Mittel, Hoch) und Verdeckungsebenen (Teilweise, Vollständig) evaluiert.

VSR-Integration:
- Nur SSI: Performte schlecht, was darauf hindeutet, dass rein symbolische Informationen für das Policy-Learning unzureglich sind.
- Nur SF: Konvergierte schnell, verschlechterte sich jedoch in hochdichtem Verkehr signifikant, was zu höheren Kollisionsraten führte.
- SSI $\oplus$ SF (Elementweise Addition): Erzielte die robusteste Performance, indem sie hohe Erfolgsraten, niedrige Kollisionsraten und stabile Bremsabstände über alle Dichten hinweg ausbalancierte. Sie übertraf die Multiplikationsvariante ( $\otimes$ ) in der Stabilität.
SFOL-Belohnungs-Ablation:
- Vollständiger Regelsatz (CE & CS): Lieferte die stärkste Gesamtleistung mit der geringsten Degradation in Szenarien mit hoher Dichte.
- Partielle Regelsätze: Das Entfernen subtiler Sicherheitsregeln (CE & PS) führte zu aggressivem Fahrverhalten und verzögerten Reaktionen. Das Entfernen subtiler Effizienzregeln (PE & CS) resultierte in übermäßig konservativem Verhalten und hohen Timeout-Raten.
- Baseline-Vergleich: Der vorgeschlagene SFOL-Ansatz übertraf eine Standard-Risikofaktor-adaptive Baseline, insbesondere in Szenarien mit hoher Dichte und Verdeckung, in denen die Baseline Sprödigkeit zeigte.

Bedeutung und Ansprüche

Die Arbeit behauptet, dass die Integration ganzheitlicher neuro-symbolischer Repräsentationen und des weichen Schließens in das Reinforcement Learning ein kontextbewussteres und werteorientierteres Entscheidungsverhalten für das autonome Fahren ermöglicht.

Robustheit: Die Kombination aus symbolischem Kontext (VSR) und räumlichen Merkmalen ermöglicht es dem Agenten, komplexe, verdeckte Szenarien besser zu handhaben als Methoden, die sich ausschließlich auf visuelle Merkmale oder symbolische Daten verlassen.
Menschliche Ausrichtung: Die SFOL-Belohnungsfunktion balanciert erfolgreich konkurrierende menschliche Werte (Sicherheit vs. Effizienz) dynamisch aus und vermeidet so die Sprödigkeit der Hard-Switching-Logik.
Einschränkungen: Die Autoren merken bescheiden an, dass keine Konfiguration eine Erfolgsrate von 100 % erreichte. Sie identifizieren potenzielle Instabilitäten im Prozess des Schließens (Fluktuationen der Belohnungsgewichte) bei starker Verkehrsverdichtung als einen Bereich für zukünftige Verfeinerungen, was auf die Notwendigkeit temporaler symbolischer Informationen oder abduktiven Schließens zur Handhabung verborgener Gefahren hindeutet.