⚡ electrical engineering

A Hybrid End-to-End and Modular Control Architecture Toward Safe Vehicle Lateral Control: Combining Soft Actor-Critic with Model Predictive Control

Dit artikel stelt een hybride architectuur voor voor de laterale voertuigbesturing die een Soft Actor-Critic reinforcement learning-beleid integreert met een beperkte Model Predictive Controller via een monotone blendingscoëfficiënt, waarmee de adaptiviteit van end-to-end leren wordt bereikt terwijl de veiligheidsgaranties en interpreteerbaarheid van modelgebaseerde besturing behouden blijven.

Oorspronkelijke auteurs: Farzaneh Tatari

Gepubliceerd 2026-08-19

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Farzaneh Tatari

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het besturen van een auto houdt een constante, subtiele onderhandeling in tussen de weg en de machine. Om in een rijstrook te blijven, moet een voertuig voortdurend het stuur aanpassen, reagerend op bochten, wind en de ongelijkmatige grip van banden. Decennialang hebben ingenieurs vertrouwd op twee hoofdwijzen om een computer te leren hoe dit moet. De eerste is een regelgebaseerde aanpak, waarbij de auto een strikte set natuurkundige vergelijkingen en vooraf geprogrammeerde limieten volgt. Deze methode is voorspelbaar en veilig, maar kan rigide zijn; als de wegomstandigheden veranderen op een manier die de regels niet hadden voorzien, kan de auto moeite hebben. De tweede aanpak is leergericht, waarbij een computerprogramma duizenden rijvoorbeelden bekijkt en zelf uitzoekt wat de beste zetten zijn. Deze methode is ongelooflijk flexibel en kan complexe, chaotische situaties aan, maar het is een 'black box': het is moeilijk te begrijpen waarom de computer een specifieke keuze heeft gemaakt, en het biedt geen garantie dat de auto geen gevaarlijke fout zal maken in een situatie die hij nog niet eerder heeft gezien.

De uitdaging voor de toekomst van autonoom rijden is om het beste van beide werelden te combineren. We hebben een systeem nodig dat even aanpasbaar is als een menselijke leerling, maar ook even betrouwbaar en begrijpbaar als een regelgebaseerde ingenieur. Een nieuwe studie door onafhankelijk onderzoeker Farzaneh Tatari pakt precies dit probleem aan door een hybride controller te creëren voor de zijwaartse beweging van een auto. Het onderzoek vertrouwt niet op één enkele methode, maar combineert een leergerichte strategie met een regelgebaseerd vangnet. Het doel is om te zien of een auto kan leren om soepel en nauwkeurig te rijden, terwijl hij nog steeds gebonden is aan een veiligheidssysteem dat voorkomt dat hij ooit de fysieke limieten overschrijdt of onvoorspelbare bewegingen maakt.

Om dit idee te testen, bouwde de onderzoeker een digitale simulatie van een auto die met een constante snelheid van 15 meter per seconde rijdt. In deze virtuele wereld stelde zij vier verschillende bestuurders op om te zien hoe zij presteerden. De eerste was een standaard, eenvoudige controller die al jaren in auto's wordt gebruikt. De tweede was een geavanceerd, regelgebaseerd systeem dat voortdurend het beste pad naar voren berekent, terwijl het strikte limieten respecteert voor hoe snel het stuur gedraaid kan worden. De derde was een puur leersysteem, vanaf nul getraind om fouten te minimaliseren zonder vooraf geschreven regels. De vierde, en belangrijkste, was het nieuwe hybride systeem. Dit systeem neemt het stuurcommando van de lerende AI en het stuurcommando van de regelgebaseerde rekenmachine en mengt deze samen tot één instructie. Het gebruikt een enkele draaiknop om de mix aan te passen: de knop naar de ene kant draaien geeft meer gewicht aan de flexibele lerende AI, terwijl de andere kant meer gewicht geeft aan de veilige, regelgebaseerde rekenmachine.

De resultaten van de simulatie toonden aan dat de lerende AI het meest nauwkeurig was in het centreren van de auto in de rijstrook, waarbij minder fouten werden gemaakt dan de traditionele regelgebaseerde systemen. De pure lerende AI had echter een zwakte: in enkele extreme situaties die sterk afweken van de training, maakte hij af en toe een fout waardoor de auto te ver van de koers afdrifte. Het hybride systeem behield de hoge nauwkeurigheid van de lerende AI, terwijl het ervoor zorgde dat elk stuurcommando binnen de veilige fysieke grenzen van de auto bleef. In de overgrote meerderheid van de tests presteerde de hybride auto bijna net zo goed als de pure lerende AI. Echter, in de zeldzame, extreme gevallen waarin de pure lerende AI faalde, erfde het hybride systeem exact diezelfde fouten. Omdat de lerende AI zo dominant was in de mix, kon de regelgebaseerde veiligheidscomponent de fout niet snel genoeg corrigeren om de fout in die specifieke uitzonderingsgevallen te voorkomen.

De studie onderzocht ook wat er gebeurt wanneer de auto omstandigheden tegenkomt waarvoor hij niet is getraind, zoals een glad wegdek of plotselinge, grote fouten in de startpositie. Het hybride systeem bleek robuust en behield zijn nauwkeurigheid, zelfs wanneer de bandengrip zwakker was dan verwacht of wanneer de auto met een aanzienlijke zijwaartse drift begon. De onderzoeker vond echter een specifieke grens aan deze veiligheid. In een paar zeer zeldzame uitzonderingsgevallen, waarbij de auto met een grote fout begon en de lerende AI probeerde te sturen in een richting die al op zijn fysieke maximum zat, kon de mix de fout niet snel genoeg herstellen. Dit gebeurde omdat de lerende AI zo dominant was in de mix dat de regelgebaseerde veiligheidscomponent de fout niet snel genoeg kon overrulen om een crash te voorkomen.

Dit inzicht leidde tot een cruciaal inzicht over hoe een dergelijk systeem in de echte wereld zou moeten werken. De onderzoeker stelde voor dat de "draaiknop" die de mix regelt, niet vast moet staan. In plaats daarvan zou deze verbonden moeten zijn met externe informatie, zoals gegevens van andere auto's of wegsensoren. Als het systeem detecteert dat de auto een situatie betreedt die hij nog nooit heeft gezien, of als de wegomstandigheden gevaarlijk zijn, moet de knop automatisch verschuiven om meer kracht te geven aan de veilige, regelgebaseerde rekenmachine. Dit zou de auto in staat stellen om flexibel en efficiënt te zijn op normale wegen, maar onmiddellijk conservatiever en voorspelbaarder te worden wanneer de situatie onzeker wordt.

Het werk laat zien dat het mogelijk is om een voertuigcontroller te bouwen die leert van ervaring zonder de veiligheidsgaranties van traditionele techniek te verliezen. De hybride aanpak slaagde erin de vloeiende, nauwkeurige sporing van het leersysteem te behouden, terwijl de auto binnen zijn fysieke grenzen bleef. Hoewel de huidige versie een vereenvoudigde mix van twee signalen is, wijst het onderzoek naar een toekomst waarin een geavanceerdere versie de resterende zeldzame fouten zou kunnen oplossen. Door de controller te verbinden met een netwerk van voertuigen en weginfrastructuur, kan het systeem zijn gedrag dynamisch aanpassen, waardoor de auto veilig blijft, zelfs wanneer de weg een onverwachte wending maakt. Dit is een belangrijke stap naar voertuigen die niet alleen slim genoeg zijn om te leren, maar ook wijs genoeg om te weten wanneer ze op hun veiligheidsregels moeten vertrouwen.

Technische Samenvatting: Een hybride end-to-end en modulair controlearchitectuur gericht op veilige laterale voertuigbesturing

Probleemstelling
Verbonden en geautomatiseerde voertuigen (CAV's) vereisen laterale regelaars die een balans vinden tussen nauwkeurigheid, lage regelkracht en veiligheid onder omstandigheden van modeleerfouten, sensorruis en ongemodelleerde verstoringen. De literatuur wordt momenteel gedomineerd door twee afzonderlijke benaderingen, elk met aanzienlijke beperkingen:

Modulaire regelaars (bijv. MPC, PID): Deze vertrouwen op natuurkundige modellen en expliciete restricties, wat interpreteerbaarheid en veiligheidsgaranties biedt. Ze zijn echter gevoelig voor modelonnauwkeurigheden en vereisen uitgebreide handmatige afstemming.
End-to-end geleerde beleidsregels (bijv. Deep RL): Deze passen zich aan nonlineariteiten en ongemodelleerde dynamica aan zonder handmatig ontworpen regellaws, maar missen intrinsieke veiligheidsgaranties, interpreteerbaarheid en robuustheid onder distributieverschuivingen.

Dit artikel behandelt de uitdaging om de aanpassingsvermogen van geleerde beleidsregels te combineren met de veiligheid en voorspelbaarheid van modulaire controle, zonder de sterke punten van een van beide op te offeren.

Methodologie
De auteur stelt een hybride architectuur voor die een getraind Soft Actor-Critic (SAC) beleid lineair mengt met een beperkte lineaire Model Predictive Control (MPC) regelaar.

Voertuigmodel: Experimenten maken gebruik van een vier-toestands lineair gestabiliseerd zijwaarts fietsmodel bij een constante longitudinale snelheid van 15 m/s.
Modulair component (MPC): Een lineaire MPC is geformuleerd als een kwadratisch programmeerprobleem (QP) over een horizon van 15 stappen met expliciete inputrestricties ( $|\delta| \leq 0,4$ rad) en input-snelheidsrestricties ( $|\dot{\delta}| \leq 3$ rad/s). Het is afgestemd via grid search over 243 gewichtconfiguraties.
End-to-end component (SAC): Een SAC-beleid is vanaf nul getraind op hetzelfde plant met een beloningsfunctie die de laterale fout, de koersfout, de stuurgrootte en de stuurfrequentie bestraft. De training vindt plaats in een episodische simulator met gerandomiseerde beginsituaties.
Hybride Architectuur: Op elk tijdstip $k$ berekent de regelaar een convexe combinatie van het eerste optimale stap van de MPC ( $\delta_{MPC}$ ) en de output van het SAC-beleid ( $\delta_{SAC}$ ). Het definitieve stuurcommando is:
$\delta_k = \text{sat}_{\delta_{max}} \left( (1 - \alpha(\lambda)) \delta_{MPC} + \alpha(\lambda) \delta_{SAC} \right)$
waarbij $\alpha(\lambda) = \lambda / (1 + \lambda)$ een monotone mengcoëfficiënt is. Het resultaat wordt verzadigd naar dezelfde actuatorlimieten die voor de MPC worden gebruikt.
Evaluatie: Het systeem wordt getest tegen PID, getunede lineaire MPC en stand-alone SAC onder nominale condities, robuustheidscasussen (grote initiële fouten, procesruis, mismatch in bandstijfheid) en een ensemble met meerdere beginsituaties (5x5 grid gekruist met 5 trainingszaden).

Belangrijkste Bijdragen

Benchmarking: Een uitgebreide vergelijking van vier regelaars (PID, MPC, SAC, Hybride) op een lineair zijwaarts fietsmodel met gedeelde metrieken (RMSE, piekfout, gemiddelde absolute stuurkracht, eindfout).
Hybride Formulering: Het voorstel van een gesloten vorm mengmechanisme dat interpoleert tussen een beperkte model-gebaseerde anker en een geleerd beleid, waarbij wordt gegarandeerd dat de output binnen de actuator-envelop blijft.
Robuustheidsanalyse: Evaluatie van de prestaties van de hybride onder significante perturbaties, inclusief procesruis en mismatches in bandstijfheid.
Beperkings- en Extensieanalyse: Een gedetailleerde discussie over de huidige implementatie die niet in staat is tot het garanderen van recursieve haalbaarheid of het voorkomen van alle uiterste gevallen (corner-cases), wat motiveert voor een connectiviteitsbewuste extensie waarbij de mengcoëfficiënt wordt gescheduled op basis van Vehicle-to-Everything (V2X) signalen.

Resultaten

Nominale Prestaties: Het SAC-beleid behaalde de laagste laterale-fout RMSE (0,0167 m), waarmee het PID met 48% en lineaire MPC met 41% versloeg. De hybride regelaar (met $\lambda=12$ ) kwam zeer dicht in de buurt van de trackingkwaliteit van SAC (RMSE 0,0171 m), terwijl de actuator-envelop van de MPC behouden bleef en een deterministische, model-gebaseerde bijdrage aan elke opdracht werd geleverd.
Robuustheid: In alle vier de robuustheidscasussen (grote laterale fout, grote koersfout, procesruis en bandstijfheid-mismatch) behaalden SAC en de hybride de laagste RMSE, waarbij de fouten met 32–49% werden verminderd ten opzichte van PID en MPC.
Divergentie in Uiterste Gegevallen: In een ensemble met meerdere beginsituaties (125 paren) bleven PID en MPC convergent in alle tests. SAC en de hybride divergeerden in 3 van de 125 gevallen (2,4%), specifiek op de uiterste grenzen van de trainingsdistributie (bijv. $\pm 0,4$ m laterale fout, $\pm 0,10$ rad koersfout).
Foutmodus: De analyse toonde aan dat bij de gekozen menggewicht ( $\alpha \approx 0,92$ ), de model-gebaseerde bijdrage beperkt is tot $\approx 0,031$ rad. Dit is onvoldoende om een verzadigde SAC-opdracht in de verkeerde richting binnen één sample te compenseren, wat leidt tot divergentie.

Significantie en Claims
Het artikel claimt dat de hybride architectuur erin slaagt de trackingkwaliteit van stand-alone SAC te behouden, terwijl de veiligheidsrestricties en interpreteerbaarheid van de modulaire MPC worden bewaard. De primaire waarde van de hybride is niet noodzakelijkerwijs een reductie in nominale RMSE (waar SAC al uitblinkt), maar het bieden van een instelbare interface (de mengcoëfficiënt $\lambda$ ) die systeemintegratoren in staat stelt de balans tussen aanpassingsvermogen en veiligheid aan te passen.

De auteur merkt bescheiden op dat de huidige implementatie een closed-form convex blend is en geen volledige predictieve veiligheidsfilter. Daarom garandeert het geen recursieve haalbaarheid of terminal invariantie, en kan het niet voorkomen dat er fouten optreden bij extreme distributieverschuivingen, maar kan het de omvang ervan wel dempen.

Het artikel concludeert dat de architectuur een tussenstap is naar een striktere veiligheidsfilter. De voorgestelde weg voorwaarts omvat:

Het vervangen van de closed-form blend door een volledige beperkte QP predictieve veiligheidsfilter (waarbij de actie van de SAC als een zachte voorkeur in de MPC-doelfunctie ingaat).
Het implementeren van een connectiviteitsbewuste extensie waarbij $\lambda$ dynamisch wordt gescheduled op basis van V2X-signalen (bijv. wegwrijving, weer) om de autoriteit terug te leggen bij de model-gebaseerde regelaar wanneer het voertuig buiten de trainingsdistributie opereert.

Het werk wordt gepresenteerd als een onafhankelijke studie, verschillend van de producten van enige werkgever, en dient als fundament voor toekomstig werk met hogere-getrouwheid nonlineariteit en validatie op echte voertuigen.

Meer zoals dit