Neuro-Cognitive Reward Modeling for Human-Centered Autonomous Vehicle Control

Probleemstelling

Hoewel autonome voertuigen (AIVs) grote vooruitgang hebben geboekt dankzij deep learning en end-to-end modellen, blijven deze systemen vaak beperkt in hun vermogen om te handelen zoals mensen dat doen, vooral in onvoorspelbare situaties.

• Beperkingen van imitatielearning (IL): Bestaande methoden kopiëren vaak alleen experttrajecten zonder echte redeneercapaciteiten, wat leidt tot falen bij "out-of-distribution" scenario's (situaties die niet in de trainingsdata zaten).
• Beperkingen van Reinforcement Learning (RL): RL kan zich aanpassen, maar mist vaak een duidelijke uitlijning met menselijke verwachtingen en waarden zonder expliciete feedback.
• Beperkingen van traditionele RLHF (Reinforcement Learning with Human Feedback): Bestaande RLHF-methoden vertrouwen op handmatige ranking van outputs door mensen. Dit proces is tijdrovend, indirect en vangt niet de subtiele, onbewuste cognitieve reacties van de mens op.

Het paper stelt dat het integreren van menselijke cognitieve inzichten, zonder het gedrag van de gebruiker te onderbreken, essentieel is voor veiliger en meer mensgerichte autonome rijsystemen.

Methodologie

De auteurs stellen een nieuw framework voor dat elektro-encefalografie (EEG) gebruikt om een "cognitieve beloning" (reward) te genereren voor RL-algoritmen, zonder dat er tijdens het rijden EEG-data hoeft te worden verzameld.

1. Dataverzameling en Analyse:

• Dataset: Er is een multimodale dataset verzameld met 20 deelnemers in een realistische VR-rijomgeving (CARLA simulator). De dataset bevat EEG-signalen (64 kanalen), oogvolgingsdata (eye-tracking), rijgedrag en scènebeelden.
• Scenario's: Er zijn twee kritieke scenario's ontworpen:
  • Noodremming: Een voertuig remt onverwacht, wat reacties vereist.
  • Linksafslag: Een complexe situatie met tegenliggers.
• ERP-analyse: De auteurs analyseren Event-Related Potentials (ERP), specifiek de P3-component (een positieve piek 300-500 ms na een stimulus). Ze vonden een significante correlatie tussen de amplitude van de ERP en de reactietijd van de bestuurder. Een hogere cognitieve last (bijv. onverwachte remming) resulteert in een sterkere ERP-piek.

2. Het Cognitieve Beloningsmodel (Human Cognitive Reward Model):

• Doel: Om het probleem van het verzamelen van EEG-data tijdens het inference-proces (rijden) op te lossen, trainen de auteurs een model dat EEG-kenmerken voorspelt op basis van visuele scènes.
• Architectuur: Een lichtgewicht Convolutional Neural Network (CNN) dat ingang neemt van gesegmenteerde beelden van de rijomgeving.
• Output: Het model voorspelt de waarschijnlijkheid dat een bepaalde scène een sterke ERP-reactie (hoge cognitieve belasting/verwarring) zou veroorzaken bij een mens.
• Efficiëntie: Het model werkt met 204 frames per seconde (fps), wat veel sneller is dan bestaande basismodellen (zoals ResNet-18), waardoor het geschikt is voor real-time toepassing.

3. Reinforcement Learning Framework:

• Reward Functie: De totale beloning ($r_t$) voor de RL-agent bestaat uit een som van omgevingsbeloningen (bijv. botsing vermijden, snelheid houden) en de cognitieve beloning.
  • $r_t = \beta \cdot r_{cog}(s_t) + \dots$
  • De cognitieve beloning ($r_{cog}$) is negatief gewogen ($\beta = -1$). Dit betekent dat situaties die het model voorspelt als "hoog cognitief belastend" voor een mens, worden bestraft. De agent leert dus situaties te vermijden die menselijke verwarring of stress zouden veroorzaken.
• Policy Network: Een netwerk dat gebruikmaakt van een self-attention mechanisme om sequenties van beelden te verwerken en actie (gas/rem) en Time-to-Collision (TTC) te voorspellen.

Belangrijkste Bijdragen

1. Nieuwe Dataset: De eerste dataset die actief rijgedrag, oogvolging, EEG-signalen en bijbehorende scènebeelden combineert in een realistische VR-omgeving.
2. Cognitief Beloningsmodel: Ontwikkeling van een model dat EEG-kenmerken (ERP-strength) direct voorspelt vanuit visuele input, waardoor EEG-sensoren tijdens het daadwerkelijke rijden niet meer nodig zijn.
3. RLHF Framework: Integratie van deze voorspelde cognitieve feedback in een RL-algoritme, wat resulteert in een systeem dat beter uitgelijnd is met menselijke verwachtingen en veiligheidsnormen.

Resultaten

De methode werd getest in de CARLA-simulator en vergeleken met baselines zoals Vanilla RL (TD3), Behavior Cloning (BC), en traditionele RLHF (met menselijke ranking).

• Prestatieverbetering: Het voorgestelde model ("Ours") behaalde de hoogste scores in beide scenario's:
  • Noodremming: 85% route voltooiing, 79% rij-score.
  • Linksafslag: 67% route voltooiing, 57% rij-score.
  • Dit is significant beter dan de baselines (bijv. Vanilla RL haalde slechts 23% route voltooiing in de noodremming).
• Aandachtsvisualisatie: Visualisatie van de "machine attention" toonde aan dat het model consistent focust op het leidende voertuig (de bron van het gevaar), terwijl andere modellen een verspreide aandacht hadden.
• Efficiëntie: Het gebruik van het voorspellende model bespaarde 2,1 uur trainingstijd vergeleken met het gebruik van ResNet-18 als basis, en elimineerde de noodzaak van dure en tijdrovende menselijke annotatie tijdens het trainen.

Betekenis en Conclusie

Dit paper markeert een doorbraak in de uitlijning van autonome voertuigen met menselijke cognitieve processen.

• Schaalbaarheid: Door EEG-data te voorspellen uit beelden in plaats van het te meten tijdens het rijden, wordt het framework schaalbaar en praktisch toepasbaar voor real-world toepassingen.
• Veiligheid: Het bewijst dat neuro-cognitieve feedback, zelfs indirect afgeleid, de beslissingsvaardigheid van AI kan verbeteren, wat leidt tot veiligere rijgedragingen die beter overeenkomen met menselijke intuïtie.
• Toekomstperspectief: Hoewel het huidige model scenario-specifiek is, legt het de basis voor een generiekere benadering waarbij neuro-cognitieve signalen worden gebruikt om robuustere en mensvriendelijkere autonome systemen te ontwikkelen.