Technische Samenvatting: REAP – Reinforcement-Learning End-to-End Automaatisch Parkeren met Gaussian Splatting Simulator

1. Probleemstelling

Autonoom parkeren blijft een aanzienlijke uitdaging, vooral in extreme scenario's zoals mechanische parkeergarages en doodlopende ruimtes. Traditionele meerstapsbenaderingen (perceptie $\to$ planning $\to$ besturing) lijden aan foutopstapeling en falen vaak wanneer vooraf bestaande kaarten niet beschikbaar zijn of wanneer real-time perceptie onnauwkeurig is. Hoewel end-to-end-methoden gezamenlijke optimalisatie bieden, staan ze voor specifieke hindernissen:

• Imitatielearning: Vereist enorme hoeveelheden hoogwaardige expertdata, wat kostbaar is om te produceren en vaak leidt tot "gemiddeld gedrag", waarbij het model diverse of complexe manoeuvres niet effectief uitvoert.
• Versterkende Leer (RL): Hoewel schaalbaar, lijdt standaard RL aan inefficiënte exploratie en de "Sim2Real"-kloof. Modellen die in simulatoren zijn getraind, falen vaak bij implementatie in de echte wereld door discrepanties in visuele kwaliteit en fysische dynamiek.
• Simulatiebeperkingen: Bestaande high-fidelity simulatoren (zoals die NeRF of traditionele CAD-assets gebruiken) missen vaak de visuele realisme of fysieke nauwkeurigheid die vereist is voor wielenrobots, of ze vertrouwen op handmatige modellering die niet schaalbaar is.

2. Methodologie

De auteurs stellen REAP (Reinforcement learning End-to-end Autonomous Parking) voor, een op visie gebaseerd systeem dat voertuigacties direct voorspelt vanuit camera-beelden van de omgeving. Het raamwerk integreert drie kerncomponenten:

A. End-to-End Netwerk met BEV-hulptaken

Het systeem maakt gebruik van een uniforme Bird's-Eye View (BEV)-representatie. Camera-beelden van de omgeving worden omgezet in BEV-kenmerken, en een doelparkeervak wordt weergegeven als een BEV-warmtekaart.

• Architectuur: Het netwerk bevat een actor (planner) en een criticus.
• Hulptaken: Om de kenmerkrepresentatie te verbeteren, wordt het netwerk medegetraind met drie aanvullende perceptietaken:
  1. Occupancy (OCC): Voorspelt geometrische bezetting om obstakels te vermijden.
  2. Parkeervakdetectie (PSD): Identificeert beschikbare vakken.
  3. Doelvoorspelling: Combineert PSD met de door de gebruiker geselecteerde doellocatie om stabiele lokalisatie van het parkeervak te garanderen.
• Modellering: Parkeervakken worden gemodelleerd met 2D-Gaussische verdelingen om scheiding tussen aangrenzende ruimtes te behouden, en asymmetrische gating-functies onderscheiden toegankelijke parkeerrichtingen.

B. Asymmetrische Hybride Versterkende Leerstrategie

Om de inefficiëntie van pure RL en de data-afhankelijkheid van imitatielearning aan te pakken, hanteert REAP een dynamische hybride strategie:

• Behavior Cloning (BC): Tijdens exploratie raadpleegt het systeem een op regels gebaseerde planner (Reed-Shepp-curves) om expertacties te genereren. Deze worden gebruikt om vaardigheden in het actor-netwerk te distilleren via behavior cloning, waardoor directe, op de staat afgestemde begeleiding wordt geboden zonder vooraf verzamelde datasets.
• Asymmetrische Training: De actor leert van ruwe camera-beelden van de omgeving (wat real-world beperkingen simuleert), terwijl de criticus wordt getraind met "bevoorrechte" informatie die alleen in simulatie beschikbaar is (artefactvrije BEV-kaarten). Dit stabiliseert de waarde-schatting en verlaagt de rekenkosten.
• Soft Actor-Critic (SAC): Het algoritme gebruikt SAC om zowel de actiewaarde als de policy-entropie te maximaliseren, waardoor exploratie wordt aangemoedigd.
• Replay Buffers: Er worden twee buffers gebruikt: een primaire buffer voor alle ervaringen en een buffer voor "succesvolle ervaringen" specifiek voor botsingsvrije successen, waardoor het gebruik van zeldzame positieve steekproeven in moeilijke scenario's wordt verbeterd.

C. Beloningsontwerp & Veiligheidsmechanismen

De beloningsfunctie ($R_{total}$) combineert schaarse en dichte beloningen:

• Schaarse Beloningen: Omvatten succes, time-out, grensoverschrijding en een nieuwe Parkeerankerbeloning. De ankerbeloning wordt toegekend wanneer het voertuig een staat bereikt waarin een op regels gebaseerde planner een haalbare traject kan genereren, wat de convergentie versnelt in taken met een lange horizon.
• Dichte Beloningen & Veiligheid:
  • Voorspellende Botsingsbeloning ($R_{PC}$): Straft acties op basis van de verhouding tussen botsingslengte en totale trajectlengte, waardoor de agent onderscheid kan maken tussen ernstige en milde potentiële botsingen voordat deze plaatsvinden.
  • Zachte Botsingsbeloning ($R_{SC}$): Gebruikt een Truncated Signed Distance Field (TSDF) om acties te straffen die het voertuig te dicht bij obstakels brengen, waardoor een veilig marge wordt aangemoedigd, zelfs als er geen harde botsing optreedt.

D. Real2Sim2Real Simulator gebaseerd op 3D Gaussian Splatting (3DGS)

Om de Sim2Real-kloof te overbruggen, hebben de auteurs een gesloten-lus simulator gebouwd:

• Real2Sim: Wereldse scènes worden vastgelegd met draagbare LiDAR en camera's. 3D Gaussian Splatting (3DGS) wordt gebruikt om de omgeving te reconstrueren, wat fotorealistische rendering en schaalnauwkeurige geometrie biedt zonder handmatige CAD-modellering.
• Sim2Real: De simulator omvat domeinrandomisatie (verlichting, camera-intrinsieken/extrinsieken) en een 2.5D hoogtekaart met een voertuigmodel met dubbele laag. Dit maakt nauwkeurige simulatie van hellingen, drempels en de specifieke vrijheidsruimtebeperkingen van mechanische parkeervakken mogelijk (waar het voertuig over lage barrières moet rijden).

3. Belangrijkste Bijdragen

1. REAP-algoritme: Een op visie gebaseerd end-to-end parkeer-algoritme dat de prestaties in extreme scenario's aanzienlijk verbetert. Het combineert behavior cloning voor efficiënte initialisatie met asymmetrische RL voor robuuste policy-learning.
2. Op 3DGS gebaseerde Simulator: Een Real2Sim2Real-pijplijn die 3D Gaussian Splatting gebruikt om high-fidelity visuele en fysische simulaties te creëren. Dit maakt directe overdracht van in simulatie getrainde modellen naar echte voertuigen mogelijk, waardoor de domeinkloof effectief wordt verkleind.
3. Zachte Voorspellende Botsingsstraf: Een nieuw veiligheidsmechanisme dat voorspellende botsingsbeoordeling combineert met zachte afstandsveldstraffen om botsingspercentages te verlagen en veilige marges aan te moedigen.
4. Implementatie in de Echte Wereld: Succesvolle implementatie op een fysiek voertuigplatform, wat de haalbaarheid van end-to-end RL-parkeren in extreem smalle mechanische vakken aantoont (2,1 m breedte met ~10 cm vrije ruimte).

4. Experimentele Resultaten

De auteurs hebben REAP geëvalueerd in vijf scenario's: vier standaard parkeergarages (ondergronds en op grondniveau) en één sterk beperkt mechanisch parkeervak.

• Prestatiemetingen:
  • Standaard Vakken: REAP-SAC behaalde een 83,5% parkeersuccespercentage (PSR) in simulatie en 65–85% in tests in de echte wereld.
  • Mechanische Vakken: In het meest uitdagende scenario (2,1 m breed) behaalde REAP-SAC een 70,0% PSR in simulatie en 55,0% in tests in de echte wereld, met een gemiddelde parkeertijd van 89 seconden.
• Vergelijkingen:
  • REAP presteerde beter dan op regels gebaseerde planners (die vaak faalden bij complexe manoeuvres) en andere RL/Imitatie-baselines (PPO, SAC, HOPE, ParkingE2E) zowel in succespercentage als in botsingsvermijding.
  • Ablatiestudies: Het verwijderen van de 3DGS-simulator (vervangen door CAD- of mesh-gebaseerde simulatoren) resulteerde in een drastische daling van het PSR in de echte wereld (van 70% naar 0% of 45%), wat de kritieke rol van visuele fideliteit bevestigt. Het verwijderen van hulptaken of de hybride trainingsstrategie degradeerde de prestaties ook aanzienlijk.
• Sim2Real-kloof: De nauwe correlatie tussen simulatie- en real-world resultaten (bijv. 70% versus 55% in mechanische vakken) valideert de effectiviteit van de Real2Sim2Real-pijplijn.

5. Betekenis en Claims

Het artikel beweert dat REAP een aanzienlijke stap voorwaarts is in autonoom parkeren door:

• Extreme Scenario's Oplossen: Het is een van de eerste end-to-end versterkende leerbenaderingen die succesvol navigeren en parkeren in extreem smalle mechanische vakken, een taak waarbij traditionele methoden vaak falen.
• Efficiënte Real2Sim2Real-overdracht: Door gebruik te maken van 3DGS tonen de auteurs aan dat high-fidelity visuele simulatie kan worden bereikt met minimale kosten voor dataverzameling (handmatig scannen) en zonder handmatige modellering, waardoor modellen die in simulatie zijn getraind direct kunnen generaliseren naar de echte wereld.
• Veiligheid en Efficiëntie: De integratie van zachte voorspellende botsingsstraffen en asymmetrische RL-training adresseert de veiligheids- en exploratie-efficiëntie-uitdagingen die inherent zijn aan op visie gebaseerde RL.

Beperkingen Erkend door de Auteurs:

• Gladheid: Fijne afstelling verbetert de succespercentages maar kan versnellingswisselingen verhogen, wat de bewegingsgladheid licht vermindert.
• Afhankelijkheid van Training: De huidige pijplijn is nog steeds afhankelijk van supervisie door een op regels gebaseerde planner voor vroege trainingsstabiliteit en definitie van de ankerbeloning.
• Generalisatie: Validatie is momenteel beperkt tot gestructureerde omgevingen; generalisatie naar ongezichte buitenomgevingen of sterk dynamische obstakels vereist verder onderzoek.
• Berekening: Het implementeren van end-to-end modellen op randapparatuur introduceert rekenkundige overhead, en het huidige veiligheidsontwerp biedt empirische in plaats van formele garanties.