🤖 machine learning

Reinforcement Learning Enhancement Using Vector Semantic Representation and Symbolic Reasoning for Human-Centered Autonomous Emergency Braking

Dit artikel stelt een neuro-symbolisch reinforcement learning-framework voor voor autonoom noodremsysteem dat vectorale semantische representaties van de scènecontext integreert met een Soft First-Order Logic-beloningsfunctie om de robuustheid van de beleidsregeling te verbeteren en besluitvorming af te stemmen op menselijke veiligheidswaarden.

Oorspronkelijke auteurs: Vinal Asodia, Iman Sharifi, Saber Fallah

Gepubliceerd 2026-02-06

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Vinal Asodia, Iman Sharifi, Saber Fallah

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zelfrijdende auto leert om te remmen voor voetgangers. De oude manier om dit te doen, is als het leren rijden aan een kind door ze een miljoen ruwe foto's te laten zien en te zeggen: "Als je iets roods ziet, stop; als je iets blauws ziet, gaan." Het probleem is dat de auto miljoenen pixels ziet, en geen "voetgangers" of "zebrastraatjes". De auto worstelt om de context van de scène te begrijpen en vertrouwt op een rigide regelboek (een beloningsfunctie) dat niet weet hoe het veiligheid moet afwegen tegen het op tijd aankomen op de bestemming.

Dit artikel stelt een nieuwe manier voor om de auto te onderwijzen, met behulp van een mix van supergeorganiseerd geheugen en gezond verstand (common-sense logic). Hier is hoe het werkt, onderverdeeld in eenvoudige delen:

1. Het "Supergeorganiseerde Geheugen" (Vector Semantische Representatie)

In plaats van alleen naar een wazige foto te kijken, maakt het brein van de auto een speciale "mentale snapshot" van de scène.

De Oude Manier: Het kijkt naar de pixels.
De Nieuwe Manier: Het breekt de scène af in een lijst met personages en hun relaties, zoals een script voor een toneelstuk. Het identificeert: "Er is een voetganger (Personage A) die op een zebrastraat (Locatie B) staat."
De Magie: Het gebruikt een techniek genaamd Hyperdimensionale Computing. Zie dit als een enorme archiefkast waar elk object (voetganger, vrachtwagen, weg) zijn eigen unieke, hoogtechnologische ID-kaart heeft. De auto slaat niet alleen de ID op; het slaat ook op waar het object is en hoe het eruitziet, alles gebundeld in één superefficiënte "geheugensvector".
Het Veiligheidsfilter: Het systeem is slim genoeg om te weten dat een voetganger kwetsbaarder is dan een vrachtwagen. Daarom geeft het de ID-kaart van de voetganger een "luidheid" (een gewicht) die veel hoger is dan die van de vrachtwagen, zodat de auto extra aandacht besteedt aan kwetsbare mensen.

2. De "Gezond Verstand-Rechter" (Soft First-Order Logic Reward)

In Reinforcement Learning leert de auto door punten te krijgen (beloningen) voor goed gedrag en punten te verliezen voor slecht gedrag.

De Oude Manier: Het regelboek was rigide. "Als je een voetganger raakt, -1000 punten. Als je snel rijdt, +10 punten." Dit is te simpel. Wat als je snel rijdt maar er een verborgen voetganger achter een geparkeerde auto staat? De oude regels zouden dit misschien niet opmerken.
De Nieuwe Manier: Het artikel introduceert een Soft First-Order Logic (SFOL) rechter. In plaats van een rigide regelboek, is dit als een wijze rechter die naar de context kijkt.
- De rechter stelt vragen op basis van de "mentale snapshot": "Is er een zebrastraat? Is deze vrij? Blokkeert een auto het zicht op de zebrastraat?"
- Op basis van de antwoorden beslist de rechter hoeveel de auto moet geven om Veiligheid versus Efficiëntie.
- Als de rechter een voetganger op een zebrastraat ziet, zegt hij: "Veiligheid is nu 100% belangrijk; efficiëntie doet er niet toe."
- Als de weg leeg is, zegt hij: "Veiligheid is nog steeds belangrijk, maar laten we ook snel naar de bestemming rijden."
- Het "Soft"-gedeelte betekent dat de rechter niet binair is (ja/nee); hij begrijnt onzekerheid. Als het zicht geblokkeerd is, zegt de rechter: "Ik weet het niet 100% zeker, maar ik weet voor 80% zeker dat er een voetganger zou kunnen zijn, dus laten we voorzichtig zijn."

3. De Trainingsgrond (Het Experiment)

De onderzoekers testten dit in een virtuele stad (CARLA-simulator) met een specifiek, lastig scenario: De Verborgen Voetganger.

De Opstelling: Een auto rijdt over een weg. Een grote bestelwagen staat geparkeerd en verbergt een zebrastraat. Een voetganger stapt achter de bestelwagen vandaan.
De Test: Ze testten de auto in lichte, gemiddelde en zware verkeerssituaties, waarbij de voetganger soms volledig verborgen was en soms gedeeltelijk zichtbaar.

4. De Resultaten: Wat werkte het best?

Het artikel vond dat het "Supergeorganiseerde Geheugen" en de "Gezond Verstand-Rechter" het beste werkten wanneer ze samen werden gebruikt, maar alleen als ze op een specifieke manier werden gecombineerd:

Alleen het Geheugen (Geen Logica): De auto was te agressief en crashte vaak. De auto wist wat er was, maar wist niet hoe te reageren.
Alleen de Logica (Geen Geheugen): De auto deed het oké in licht verkeer, maar raakte in de war en crashte in druk verkeer omdat de auto de details niet goed genoeg kon "zien".
De Winnaar (Geheugen + Logica + Toevoeging): Wanneer ze het geheugen van de scène combineerden met het logisch redeneren via een eenvoudige "optelmethode", werd de auto het meest robuust. De auto stopte succesvol voor verborgen voetgangers, vermeed crashes in druk verkeer en reed niet te voorzichtig (waardoor het verkeer niet stil kwam te liggen).

De Kernboodschap

Dit artikel laat zien dat om zelfrijdende auto's veiliger te maken, we ze niet alleen meer foto's moeten voeren. We moeten ze een manier geven om de scène te begrijpen (wie is waar) en een flexibel brein om te beslissen wanneer ze veilig moeten zijn en wanneer ze efficiënt moeten zijn. Door een gestructureerd geheugen van de weg te combineren met een logica-gebaseerde rechter, leert de auto beslissingen te nemen die veiliger zijn en beter aansluiten bij menselijke waarden, zelfs wanneer het zicht geblokkeerd is.

Technische Samenvatting: Versterking van Reinforcement Learning middels Vectorele Semantische Representatie en Symbolische Redenering voor Mensgerichte Autonome Noodremsystemen

Probleemstelling

Bestaande op camera gebaseerde Deep Reinforcement Learning (DRL) benaderingen voor Autonoom Rijden (AD) kampen met twee primaire beperkingen:

Feature Representatie: Ze integreren zelden hoogwaardige scènecontext in feature representaties, en vertrouwen in plaats daarvan op ruwe beelden of aandachtmechanismen die regio's accentueren zonder expliciet semantisch begrip van objectrelaties (bijv. de nabijheid van een voetganger tot een zebrapad).
Beloningsfunctie Ontwerp: Ze vertrouwen doorgaans op rigide, vaste beloningsfuncties (gewogen sommen van straffen en prikkels). Deze slagen er niet in om genuanceerde afwegingen te maken tussen concurrerende menselijke waarden (veiligheid, efficiëntie, comfort) in complexe, dynamische scenario's. Adaptieve beloningsfuncties bestaan wel, maar maken vaak gebruik van "hard switching" tussen doelstellingen, wat leidt tot broos gedrag.

Methodologie

Het artikel stelt een neuro-symbolische pijplijn voor die Vector Semantic Representation (VSR) combineert met Soft First-Order Logic (SFOL) voor beloningsvorming (reward shaping).

1. Vector Semantic Representation (VSR)

De auteurs breiden het VSR-framework uit om zowel statische als dynamische entiteiten te coderen met behulp van Hyperdimensional Computing (HDC), specifiek Holographic Reduced Representations (HRR).

Inputverwerking: Camera-beelden worden verwerkt via een ResNet18-gebaseerde UNet om semantische segmentatiekaarten te genereren en een ResNet18 autoencoder om latente feature-embeddings te produceren.
Entiteit Codering: Elke dynamische entiteit ( $E_i$ $E_{i}$ ) wordt gerepresenteerd als een hypervector die de volgende componenten combineert:
- Spatial Semantic Information (SSI): Codeert de semantische klasse (bijv. voetganger, voertuig), ruimtelijke relaties met buren (bijv. "voetganger onder zebrapad"), en vorm/locatie binnen een raster. Dit wordt geconstrueerd door de semantische klasse, directionele en vorm-hypervectoren aan elkaar te binden.
- Spatial Features (SF): Ruimtelijk geatendeerde feature-embeddings afgeleid van de latente features, gewogen door de semantische kaart.
Fusie: De uiteindelijke VSR-vector is een gewogen som van alle entiteit-hypervectoren. Cruciaal is dat wegingsschema's kwetsbare weggebruikers prioriteren (bijv. voetgangers op de weg/het zebrapad krijgen een hogere weging dan die op de stoep of voertuigen).
Integratie: De SSI-hypervector en SF-embeddings worden gefuseerd via elementgewijze optelling ( $\oplus$ ) of vermenigvuldiging ( $\otimes$ ) om een compacte, contextrijke descriptor te creëren die wordt ingevoerd in een Proximal Policy Optimization (PPO) agent.

2. Soft First-Order Logic (SFOL) Beloningsfunctie

Om de rigiditeit van vaste beloningen aan te pakken, integreren de auteurs een symbolische redeneermodule met behulp van PyReason.

Predicaat Extractie: Semantische en ruimtelijke predicaten (bijv. Pedestrian(X), OnCrosswalk(X), Occludes(X,Y)) worden geëxtraheerd uit de segmentatiekaarten en ruimtelijke analyse. Onzekerheid wordt afgehandeld door soft waarheidswaarden in $[0, 1]$ toe te kennen.
Regelbasis: Een set Horn-clausules definieert regels voor Veiligheid (bijv. prioriteit geven aan veiligheid als een voetganger op de weg staat of een zebrapad geblokkeerd is) en Efficiëntie (bijv. prioriteit geven aan snelheid als de rijstrook vrij is).
Dynamische Weging: Het systeem indiceert vertrouwensniveaus voor deze regels. Deze vertrouwensniveaus worden gebruikt om dynamisch gewichten ( $\bar{w}_{saf}$ , $\bar{w}_{eff}$ ) te berekenen voor de basiscomponenten van de beloning (veiligheid, efficiëntie en vloeiendheid). Dit stelt de beloningsfunctie in staat om menselijke waarden te balanceren op basis van de specifieke context van de rijscène, in plaats van vaste of hard-switching logica te gebruiken.

Belangrijkste Bijdragen

Uitgebreide VSR: Het aanpassen van VSR om dynamische entiteiten te coderen met wegingsschema's die kwetsbare weggebruikers benadrukken, gefuseerd met ruimtelijk geatendeerde features.
Neuro-Symbolische Fusie: Het creëren van een compacte scène-descriptor door het fuseren van symbolische hypervectoren (SSI) met diepe leer feature-embeddings (SF).
SFOL Beloningsfunctie: Het voorstellen van een beloningsfunctie die via symbolische redenering dynamisch een balans vindt tussen veiligheid, efficiëntie en comfort, waarmee verder wordt gegaan dan vaste of hard-switching formuleringen.

Experimentele Resultaten

De pijplijn werd geëvalueerd in de CARLA simulator in een scenario met een geoccludeerde voetgangersoversteek met variërende verkeersdichtheden (Laag, Medium, Hoog) en occlusieniveaus (Partieel, Volledig).

VSR Integratie:
- Alleen SSI: Presteerde slecht, wat aangeeft dat louter symbolische informatie onvoldoende is voor beleidslering.
- Alleen SF: Convergeerde snel maar degradeerde aanzienlijk in druk verkeer, wat leidde tot hogere botsingspercentages.
- SSI $\oplus$ SF (Elementgewijze Optelling): Bereikte de meest robuuste prestaties, waarbij een balans werd gevonden tussen hoge succespercentages, lage botsingspercentages en stabiele remafstanden over alle dichtheden heen. Het presteerde beter dan de vermenigvuldigingsvariant ( $\otimes$ ) wat betreft stabiliteit.
SFOL Belonings Ablatie:
- Volledige Regelset (CE & CS): Leverde de sterkste algehele prestaties met de minste degradatie in scenario's met hoge dichtheid.
- Partiële Regelsets: Het verwijderen van subtiele veiligheidsregels (CE & PS) leidde tot agressief rijgedrag en vertraagde reacties. Het verwijderen van subtiele efficiëntieregels (PE & CS) resulteerde in te conservatief gedrag en hoge timeout-percentages.
- Baseline Vergelijking: De voorgestelde SFOL-aanpak presteerde beter dan een standaard risicofactor-adaptieve baseline, met name in scenario's met hoge dichtheid en occlusie, waar de baseline brosheid vertoonde.

Betekenis en Claims

Het artikel claimt dat het integreren van holistische neuro-symbolische representaties en soft redenering in Reinforcement Learning zorgt voor meer contextbewuste en waarde-afgestemde besluitvorming voor autonoom rijden.

Robuustheid: De combinatie van symbolische context (VSR) en ruimtelijke features stelt de agent in staat om complexe, geoccludeerde scenario's beter te behandelen dan methoden die uitsluitend vertrouwen op visuele features of symbolische data.
Menselijke Afstemming: De SFOL-beloningsfunctie slaagt erin om concurrerende menselijke waarden (veiligheid vs. efficiëntie) dynamisch te balanceren, waardoor de brosheid van hard-switching logica wordt vermeden.
Beperkingen: De auteurs merken bescheiden op dat geen enkele configuratie een succespercentage van 100% bereikte. Zij identificeren mogelijke instabiliteit in het redeneerproces (fluctuaties in beloningsgewichten) tijdens zware congestie als een gebied voor toekomstige verfijning, wat wijst op de noodzaak van temporele symbolische informatie of abductieve redenering om verborgen gevaren te behandelen.