Technische Samenvatting: HyPlan - Hybride Learning-Assisted Planning onder Onzekerheid voor Veilig Autonoom Rijden

1. Probleemdefinitie

Het artikel behandelt het Collision-Free Navigation (CFN) probleem voor autonome voertuigen (AV's) die opereren in gedeeltelijk observeerbare verkeersomgevingen. Het doel is om de tijd tot het bereiken van een doel te minimaliseren terwijl botsingen met exogene agenten (voetgangers, fietsers, andere auto's) worden vermeden.

Dit probleem wordt gemodelleerd als een Partially Observable Markov Decision Process (POMDP). De belangrijkste kenmerken zijn:

• Toestandsruimte ($S$): Bestaat uit de volledige toestand van de ego-auto en de gedeeltelijke toestanden van $n$ exogene agenten. Terwijl de toestand van de ego-auto volledig observeerbaar is, zijn exogene agenten slechts gedeeltelijk observeerbaar (alleen positie, indien niet geoccludeerd).
• Acties ($A$): Besturinginputs bestaande uit een stuurhoek en discrete acceleratiekeuzes (Versnellen, Vertragen, Constant houden).
• Constraints: De omgeving bevat onzekerheid met betrekking tot de intenties van agenten en occlusies.
• De Kloof: Bestaande methoden kampen met een trade-off. Pure Deep Learning (DL) methoden zijn snel maar missen veiligheidsgaranties. Expliciete online POMDP-planners (bijv. IS-DESPOT) bieden veiligheid en bewijsbaarheid, maar lijden onder hoge executietijden, wat ze ongeschikt maakt voor real-time controle in vergelijking met DL-baselines.

2. Methodologie: HyPlan

HyPlan is een hybride learning-assisted online POMDP-planner die ontworpen is om de kloof te overbruggen tussen de veiligheid van expliciete planning en de snelheid van deep learning. Het integreert vier kerncomponenten:

A. Systeemarchitectuur

HyPlan werkt in een lus waarbij voor elke scène-observatie het volgende gebeurt:

1. Multi-Agent Behavior Prediction: Gebruikt het MABP AutoBots model om de trajecten van exogene agenten te voorspellen.
2. Path Planning: Een gewogen Hybrid A* planner genereert een veilig pad voor de ego-auto met behulp van een costmap die verrijkt is met voorspelde paden van agenten. Dit bepaalt de stuurhoek.
3. Velocity Planning (Kerninnovatie): Een verbeterde online POMDP-planner, IS-DESPOT*, bepaalt de optimale acceleratie.

B. De IS-DESPOT* Planner

IS-DESPOT* is een uitbreiding van de standaard IS-DESPOT planner. De nieuwheid ligt in de manier waarop het de zoekboom stuurt met behulp van een Deep Reinforcement Learning (DRL) component:

• NavPPO (Learner): Een op Proximal Policy Optimization (PPO) gebaseerd neuraal netwerk fungeert als een critic. Het schat de waarde van belief states (heuristische bovengrenzen) om de planner te sturen.
• Input voor NavPPO:
  • Een "intentie-afbeelding" ($I$) die de costmap van de ego-auto, voorspelde paden van agenten en het geplande pad van de auto combineert.
  • Niet-visuele toestandkenmerken (vorige beloning, laatste actie, huidige snelheid).
  • LSTM hidden states om temporele context te behouden.
• Training: NavPPO wordt getraind om het beleid van de IS-DESPOT* planner na te bootsen (imitation learning) terwijl het leert om de waarden van toestanden te schatten. Het gebruikt een PPO-gebaseerde loss-functie die een balans vindt tussen beleidsimitatie en de nauwkeurigheid van de waardedatatie.

C. Confidence-Based Vertical Pruning

Om de executietijd te verminderen, introduceert HyPlan een mechanisme voor verticale pruning tijdens de implementatie:

• Onzekerheidsschatting: NavPPO voert meerdere stochastische forward passes uit (met behulp van Monte Carlo dropout) om een gemiddelde ($\mu$) en variantie ($\sigma^2$) voor de waarde-inschattingen van de belief states te genereren.
• Kalibratie: Het systeem gebruikt CRUDE om deze inschattingen te kalibreren, waardoor de betrouwbaarheidsniveaus (confidence levels) betrouwbaar zijn en fout-positieven worden verminderd.
• Pruning Logica: De planner berekent een confidence-gewogen heuristische ondergrens: $L(b) = (1-\phi)L_{tr}(b) + \phi U(b)$, waarbij $\phi$ de confidence is afgeleid van de variantie.
  • Als de planner een belief state bereikt met een hoogwaardige schatting en een hoge confidence, beëindigt het de planning-trial voortijdig (vertical pruning).
  • Dit voorkomt het overmatig verkennen van bekende regio's in de belief space waar de uitkomst voorspelbaar is, wat de besluitvorming aanzienlijk versnelt zonder de veiligheid in gevaar te brengen.

3. Belangrijkste Bijdragen

1. HyPlan Framework: Een nieuwe hybride architectuur die multi-agent voorspelling, expliciete padplanning en DRL-gestuurde POMDP-planning combineert.
2. IS-DESPOT Algoritme:* Een benaderde online POMDP-planner die gebruikmaakt van een PPO-gebaseerde learner (NavPPO) om heuristische waardedataties en confidence-metrieken te leveren.
3. Vertical Pruning Strategie: Een mechanisme om de zoekboom dynamisch te snoeien op basis van de confidence van de learner in zijn waardedataties, wat de planningstijd drastisch vermindert.
4. Kalibratiemechanisme: De integratie van CRUD om de confidence-inschattingen van de DRL-learner te kalibreren, wat ervoor zorgt dat de pruning-beslissingen veilig zijn en niet gebaseerd zijn op over-optimistische voorspellingen.

4. Experimentele Resultaten

De auteurs hebben HyPlan geëvalueerd op de CARLA-CTS2 benchmark, een dataset van 23.000 kritieke verkeersscenario's met voetgangersoversteekplaatsen.

Prestatie-metrieken

• Veiligheid: HyPlan behaalde de hoogste veiligheidsindex van alle geteste methoden (inclusclusief pure DL, pure expliciete planning en andere hybride benaderingen). Het had de laagste crashrate (12,36%) en near-miss rate (8,04%).
• Executietijd: HyPlan was significant sneller (tot 40% reductie) dan andere expliciete en hybride POMDP-planners (bijv. IS-DESPOTp, LEADER, HyLEAP). Het bleef echter 3–4 keer langzamer dan pure deep learning baselines (NavPPO, NavA2C).
• Planning Efficiëntie: HyPlan vereiste minder planning-trials, minder diepe zoekdieptes en minder belief nodes om te evalueren vergeleken met alternatieve planners.
• Trade-offs:
  • Pure DL-methoden (NavPPO) waren het snelst maar hadden het slechtste veiligheidsrecord.
  • Pure expliciete planners waren het langzaamst.
  • HyPlan bood de beste trade-off, waarbij prioriteit werd gegeven aan veiligheid terwijl de snelheid van expliciete planning aanzienlijk werd verbeterd.

Ablatieonderzoek

• Zonder Vertical Pruning: Het systeem was het veiligst maar had de langste executietijd.
• Zonder Confidence Kalibratie: Het systeem was het snelst maar leed aan de slechtste veiligheid door over-optimistische pruning.
• Volledige HyPlan: De combinatie van alle componenten bood de optimale balans tussen veiligheid en executietijd.

5. Betekenis en Claims

Het artikel claimt dat HyPlan er succesvol in slaagt de prestatiekloof tussen deep learning en expliciete planning in autonoom rijden te overbruggen.

• Veiligheid Eerst: Het demonstreert dat hybride methoden veiliger kunnen navigeren dan zowel pure deep learning als pure expliciete planning baselines in kritieke voetgengersscenario's.
• Efficiëntie: Het bewijst dat learning-assisted pruning online POMDP-planning levensvatbaar kan maken voor real-time toepassingen, waarbij de executietijd aanzienlijk wordt verminderd zonder de veiligheidsgaranties van expliciete planning op te offeren.
• Bescheiden Omvang: De auteurs erkennen dat hoewel HyPlan sneller is dan andere expliciete planners, het de snelheidskloof met pure deep learning methoden nog niet heeft gedicht. Ze merken ook op dat de huidige evaluatie beperkt is tot de CARLA-CTS2 benchmark, waarbij toekomstig werk gepland is voor bredere scenario's zoals nuPlan.

Het werk wordt gepresenteerd als een stap naar bewijsbaar correcte actieplanning onder onzekerheid die niet lijdt onder de prohibitieve computationele kosten die traditioneel geassocieerd worden met online POMDP's.