Uncertainty-Aware and Temporally Regulated Expert Advice in Reinforcement Learning for Autonomous Driving

Technische Samenvatting: Onzekerheidsbewust en Temporeel Gereguleerd Expertadvies in Reinforcement Learning voor Autonoom Rijden

Probleemstelling
End-to-end reinforcement learning (RL) biedt een veelbelovend paradigma voor autonoom rijden (AD) door agenten in staat te stellen zich aan te passen aan complexe, zeldzame en geoccludeerde scenario's door directe interactie met de omgeving. De inherente exploratie die vereist is voor RL om effectieve policies te leren, brengt echter aanzienlijke veiligheidsrisico's met zich mee, aangezien agenten nieuw gedrag moeten ervaren dat kan leiden tot botsingen of het verlaten van de weg. Bovendien leidt uitgebreide exploratie tot een slechte sample-efficiëntie. Bestaande veiligheidsmechanismen, zoals Constrained Markov Decision Processes (CMDP's) of Lyapunov-functies, vertrouwen vaak op handmatig gedefinieerde risico's en complexe optimalisatie zonder actieve sturing van policies naar veiligere acties. Hoewel expertdemonstraties het leren kunnen versnellen, laat statische pre-training agenten kwetsbaar voor onveilige exploratie, en missen human-in-the-loop systemen schaalbaarheid. Huidige methoden die expertadvies opvragen op basis van staatsonzekerheid verwaarlozen vaak het risico dat wordt geïnduceerd door de specifieke acties van de agent en missen mechanismen om de frequentie en duur van begeleiding te reguleren, wat leidt tot ofwel overmatige afhankelijkheid of onvoldoende correctie.

Methodologie
De auteurs stellen een onzekerheidsbewust framework voor dat expertadvies integreert in een off-policy Implicit Quantile Network (IQN) backbone. De kern van de aanpak bestaat uit drie onderling verbonden componenten:

1. Onzekerheidsschatting: Het framework maakt onderscheid tussen twee soorten onzekerheid om advies te triggeren:

   • Epistemische Onzekerheid (Beperkte Kennis): Gemeten met behulp van een ensemble van IQN-heads die getraind zijn op verschillende subsets van de replay buffer. De auteurs stellen twee formuleringen voor: één gebaseerd op de Wasserstein-afstand ($W_1$) tussen de return-distributies over de ensemble-heads, en een risicosensitieve formulering gebaseerd op de variantie van de Conditional Value at Risk (CVaR) schattingen over de heads.
   • Aleatorische Onzekerheid (Omgevingsrisico): Afgeleid van de spreiding van de voorspelde return-distributie voor de specifieke actie die de agent beoogt uit te voeren. Dit vangt inherente omgevingswillekeur op, zoals sensorgruis of occlusies.

2. Adaptief Query-mechanisme: In plaats van vaste drempelwaarden gebruikt het systeem adaptieve drempels afgeleid van rolling buffers van voorgaande onzekerheidswaarden. Advies wordt getriggerd wanneer zowel de epistemische als de aleatorische onzekerheid de empirische $\beta$-percentiel van hun respectieve buffer overschrijdt. Dit zorgt ervoor dat het triggeringsmechanisme meebeweegt met de zelfverzekerdheid van de agent en de trainingsdynamiek.

3. Commitment–Cooldown Strategie: Om overmatige afhankelijkheid te voorkomen en te garanderen dat de agent coherente manoeuvres internaliseert, reguleert het framework de duur van het advies. Eenmaal getriggerd, volgt de agent het expertbeleid gedurende een "commitment"-periode in plaats van slechts één stap. Dit wordt gevolgd door een "cooldown"-periode waarin de agent onafhankelijk opereert. Daarnaast staat een stochastische early-stop heuristiek de agent toe om de expert los te laten als statistisch bewijs suggereert dat het eigen beleid van de agent hogere veiligheidsgecorrigeerde returns oplevert, wat onnodige afhankelijkheid voorkomt.

4. Integratie: Expert- en agent-ervaringen worden opgeslagen in een gedeelde replay buffer. In tegenstelling tot benaderingen die buffers scheiden of hoge beloningen afdwingen op expertacties, behandelt deze methode expert-transities als standaard samples die onder dezelfde beloningsfunctie worden geëvalueerd, waardoor de policy op natuurlijke wijze de expert kan overtreffen naarmiddels de competentie toeneemt.

Belangrijkste Bijdragen

• Onzekerheidsbewuste Begeleiding: Een framework waarbij de agent advies vraagt op basis van hoge epistemische of aleatorische onzekerheid, gebruikmakend van een gedeelde replay buffer voor efficiënt hergebruik van expert-trajecten.
• Duale Onzekerheidsschatting: Een methode die aleatorische onzekerheid afleidt uit de return-variantie en epistemische onzekerheid via gebootstrapted ensembles, waarbij expliciet rekening wordt gehouden met actie-gerelateerd risico.
• Temporele Regulatie: Een commitment–cooldown strategie met een stochastische early-stop heuristiek die de balans bewaart tussen effectieve begeleiding en het voorkomen van langdurige afhankelijkheid van de expert.
• Risicosensitieve Integratie: Het gebruik van IQN om de volledige return-distributie te modelleren, wat risicosensitieve besluitvorming en de detectie van zowel risicovolle als onderbelichte staten mogelijk maakt.

Experimentele Resultaten
Experimenten werden uitgevoerd in de CARLA-simulator tijdens taken voor navigatie op ongesignaleerde kruispunten met gerandomiseerde verkeersdichtheden. De voorgestelde methode werd vergeleken met een standaard IQN-baseline en diverse ablatie-configuraties.

• Prestatiewinsten: De beste configuratie (CVaR-gebaseerde onzekerheid, 50% expertbudget en 5-staps commitment/cooldown-periodes) presteerde beter dan de IQN-baseline, met een verbetering van het succespercentage van 5–7% en een vermindering van de foutpercentages bij alle verkeersdichtheden.
• Ablatie-inzichten:
  • Commitment/Cooldown: Temporele consistentie (bijv. 5-staps commitment) stabiliseerde het leren van de policy aanzienlijk vergeleken met single-step interventies.
  • Expert Budget: Een budget van 50% bood de optimale balans; hogere budgetten (75%) leidden tot overmatige afhankelijkheid en verslechterde generalisatie.
  • Onzekerheidsformulering: De CVaR-gebaseerde epistemische onzekerheidsformulering presteerde consequent beter dan de Wasserstein-gebaseerde benadering door distributionele ruis beter te filteren en risicosensitieve kwantielen te benadrukken.
  • Runtime Veiligheid: Het gebruik van aleatorische onzekerheid als runtime veiligheidsbewaker (het triggeren van vertraging-naar-stop wanneer de onzekerheid de 90e percentiel overschrijdt) verbeterde de succespercentages in druk verkeer verder.
• Statistische Robuustheid: Analyse met RLiable-metrieken bevestigde dat de voorgestelde methode niet alleen een hogere gemiddelde prestatie bereikte, maar ook een grotere statistische stabiliteit (hogere Interquartile Mean) en een kleinere optimaliteitskloof vertoonde vergeleken met de baseline.

Betekenis
Het artikel stelt dat het koppelen van risicosensitieve onzekerheidsschatting aan gereguleerde expertintegratie een veiligere en efficiëntere exploratie mogelijk maakt voor sensor-gebaseerd RL-beleidsleren. Door de beperkingen van statische veiligheidsrestricties en ongeregeerde expertinterventie aan te pakken, stelt het framework de agent in staat om veiligheid te internaliseren binnen de geleerde policy zonder een blijvende afhankelijkheid van externe begeleiding te creëren. De resultaten tonen aan dat deze aanpak effectief de trade-off tussen exploratieveiligheid en sample-efficiëntie navigeert in complexe scenario's van ongesignaleerde kruispunten.