Offline Reinforcement Learning using Human-Aligned Reward Labeling for Autonomous Emergency Braking in Occluded Pedestrian Crossing

Technische Samenvatting: Offline Reinforcement Learning met de door de mens afgestemde beloningslabeling voor Autonome Noodremsystemen bij Occlusie van Voetgangers bij Voetgangersoversteekplaatsen

Probleemformulering

Het artikel behandelt een kritieke flessenhals bij de inzet van Autonomous Driving (AD) systemen: het tekort aan betekenisvolle beloningslabels in real-world datasets die vereist zijn voor Offline Reinforcement Learning (Offline RL). Hoewel real-world datasets (bijv. Waymo, nuScenes, A2D2) rijke, hoogwaardige data bieden, ontbreken ze doorgaans aan de beloningssignalen die nodig zijn om agenten te trainen om gewenst en ongewenst gedrag van elkaar te onderscheiden. Bestaande oplossingen vertrouwen vaak op simulatie, wat lijdt onder de "sim-to-real" kloof, of gebruiken laagdimensionale toestandsrepresentaties die de perceptuele rijkdom van beeldgebaseerde observaties negeren.

De specifieke taak die wordt onderzocht is voertuig longitudinale controle binnen een scenario van een occlusie van een voetgangersoversteekplaats. In deze risicovolle omgeving moet een autonoom voertuig (AV) een zebrapad navigeren waar voetgangers verborgen kunnen zijn door andere voertuigen (occlusie) en plotseling kunnen verschijnen. De uitdaging ligt in het genereren van beloningslabels die in lijn zijn met menselijke veiligheidswaarden (veiligheid prioriteren boven efficiëntie in potentiële botsingsscenario's) zonder directe menselijke annotatie van elk frame, waardoor het mogelijk wordt om perceptie-gebaseerde Offline RL-agenten direct vanaf statische datasets te trainen.

Methodologie

De voorgestelde oplossing introduceert een nieuwe beloningslabeling-pipeline die ongelabelde AD-datasets transformeert naar trainingsgereed data voor Offline RL. De methodologie bestaat uit drie primaire fasen:

1. Semantische Segmentatie en Risicoanalyse:

   • Semantische Mapping: Ruwe camerabeelden worden verwerkt via een ResNet18 UNet model om pixel-niveau semantische segmentatiekaarten te genereren. Deze kaarten identificeren 28 klassen, waaronder voetgangers, voertuigen, zebrapaden en wegmarkeringen.
   • Adaptieve Veiligheidscomponent ($c_t$): Het systeem analyseert specifieke lagen van de semantische kaart om een adaptieve veiligheidsvlag ($c_t$) te berekenen. Deze vlag wordt bepaald door drie risicofactoren:
     • Aanwezigheid van Voetgangers ($F_p$): Detecteert of een voetganger op de weg versus op de stoep staat.
     • Occlusie van het Zebrapad ($F_c$): Beoordeelt of een zebrapad gedeeltelijk wordt afgeschermd door verkeer, wat onzekerheid creëert.
     • Geschiedenis van de Voetganger ($F_h$): Gebruikt een geheugenbank om voetgangers te volgen die verschijnen en vervolgens verdwijnen (wat duidt op occlusie), en markeert hen als middel risico.
   • Beslissingslogica: Deze factoren worden opgeteld en door een geschaalde sigmoidfunctie geleid. Als de resulterende waarschijnlijkheid een drempelwaarde ($\psi = 0,75$) overschrijdt, wordt $c_t$ op 1 gezet, wat de veiligheidsbeloningscomponent activeert en de efficiëntiecomponent deactiveert.

2. Constructie van de Beloningsfunctie:
   Het uiteindelijke beloningssignaal ($R_{final}$) is een gewogen som van drie componenten, die dynamisch worden geschakeld op basis van $c_t$:

   • Veiligheid ($g_{safe}$): Bestraft hoge snelheden nabij voetgangers en botsingen. Geactiveerd wanneer $c_t=1$.
   • Efficiëntie ($g_{efficient}$): Moedigt hogere snelheden aan wanneer er geen botsing dreigt. Geactiveerd wanneer $c_t=0$.
   • Gladheid ($g_{smooth}$): Bestraft schokkerige acceleratie, altijd actief.
   • Sensorintegratie: Voor real-world data wordt de afstand tot voetgangers afgeleid met behulp van het pinhole cameramodel gecombineerd met semantische segmentatie, terwijl snelheid en acceleratie worden afgeleid van de voertuig CAN-bus en IMU-data.

3. Offline RL Training met Ruimtelijke Attentie:
   Om de agent te trainen, stelt het artikel een perceptie-gebaseerde pipeline voor die gebruikmaakt van de semantische kaarten om de extractie van kenmerken te sturen:

   • Kenmerkextractie: Camerabeelden worden door een ResNet18 autoencoder gestuurd om latente feature-embeddings te produceren.
   • Ruimtelijke Attentie: De taakrelevante semantische lagen (voetganger, zebrapad, voertuig) worden geïsoleerd en gebruikt om ruimtelijke attentie toe te passen op de latente kenmerken. Dit wordt bereikt via gewogen cross-wise vermenigvuldiging, waarbij voetgangerskenmerken de hoogste weging ontvangen ($\omega_{ped}=1,0$), gevolgd door zebrapaden ($\omega_{cross}=0,75$) en voertuigen ($\omega_{veh}=0,50$). Dit mechanisme dwingt de agent om zich te concentreren op de meest relevante objecten voor het voorkomen van botsingen.

Belangrijkste Bijdragen

Het artikel schetst drie belangrijke bijdragen:

1. Door de mens afgestemde Beloningslabeling: Een nieuwe aanpak om beloningslabels te genereren voor bestaande AD-datasets, waardoor hun gebruik voor end-to-end Offline RL mogelijk wordt zonder dat er nieuwe dataverzameling nodig is.
2. Adaptief Veiligheidsmechanisme: Een beloningsfunctie die een adaptieve veiligheidscomponent bevat, afgeleid van semantische segmentatiekaarten. Dit stelt de agent in staat om real-time risicofactoren zoals de locatie van voetgangers en occlusie te gebruiken om veiligheid boven efficiëntie te prioriteren.
3. Ruimtelijke Attentie via Semantische Kaarten: Een methode om semantische segmentatielagen te gebruiken om verschillende niveaus van ruimtelijke attentie toe te passen op verschillende objectklassen binnen de beeldobservatie, wat de besluitvorming van de agent verbetert door te focussen op relevante scènelagen.

Experimentele Resultaten

De methode werd geëvalueerd in twee settings: een CARLA-simulatie en een subset van de real-world Audi Autonomous Driving Dataset (A2D2).

• Simulatie (CARLA):

  • Geteste Algoritmen: De gelabelde data werd gebruikt om CQL, IQL en BPPO te trainen.
  • Baselines: De voorgestelde methode ("Gen") werd vergeleken met Unlabeled Data Sharing (UDS) (het toekennen van nul beloningen) en een Vision Language Model (VLM) benadering.
  • Prestaties: De IQL (Gen) setup behaalde de hoogste prestaties, met succespercentages van 98-100% in scenario's met gedeeltelijke occlusie. De voorgestelde methode produceerde over het algemeen stabielere en betrouwbaardere gedragingen dan de UDS of VLM baselines.
  • Beperkingen: De prestaties verslechterden in zeer drukke, volledig geoccludeerde scenario's, met name voor CQL en BPPO, wat suggereert dat het frontale camerabeeld beperkingen heeft in druk verkeer.

• Real-World (A2D2):

  • Vergelijking: De gegenereerde beloningslabels werden vergeleken met de handmatig door een mens geannoteerde labels.
  • Bevindingen: Hoewel de algehele distributie van beloningen vergelijkbaar was, was er een matige discrepantie in specifieke veiligheidsclassificaties. Opvallend genoeg markeerde de methode bepaalde onveilige toestanden (bijv. zwaar geoccludeerde voetgangers) die de menselijke annotator miste. Omgekeerd faalde de methode soms in het identificeren van duidelijk zichtbare voetgangers door beperkingen in de specifieke risicofactoren die werden gebruikt (bijv. verwarring tussen wegmarkeringen en wegdek).

Betekenis en Claims

Het artikel claimt dat de primaire betekenis ligt in het overbruggen van de kloof tussen grootschalige, ongelabelde real-world AD-datasets en de vereisten van Offline RL. Door de generatie van mens-afgestemde beloningslabels te automatiseren, maakt de methode het mogelijk om perceptie-gebaseerde agenten te trainen zonder de prohibitieve kosten van handmatige annotatie of de betrouwbaarheidsproblemen van simulatie.

De auteurs benadrukken dat hoewel de methode succesvol betekenisvolle beloningssignalen genereert en de beleidsprestaties in simulatie verbetert, het geen perfect vervanging is voor menselijk oordeel. De A2D2-resultaten onderstrepen dat de methode gevaren kan detecteren die mensen missen (door de systematische analyse van semantische kaarten), maar ook niet beschikt over de genuanceerde contextuele redenering van menselijke bestuurders. Het artikel concludeert dat deze aanpak een levensvatbaar startpunt biedt voor Offline RL in complexe scenario's, hoewel toekomstig werk temporele redenering en multi-view integratie moet aanpakken om robuuster om te gaan met drukke verkeersomgevingen.