⚡ electrical engineering

Adaptive Control in Autonomous Driving via Real-Time Recurrent RL

Dit artikel presenteert een adaptief besturingskader voor autonoom rijden dat offline gedragskloonen combineert met online Real-Time Recurrent Reinforcement Learning (RTRRL)-fijntuning met LrcSSM, waarbij succesvol een verbeterde beleidsaanpassing aan distributieveranderingen wordt aangetoond in zowel CarRacing-simulaties als realiteitsexperimenten op een 1:10-schaal RoboRacer-platform uitgerust met een event-camera.

Oorspronkelijke auteurs: Julian Lemmel, Felix Resch, Mónika Farsang, Ramin Hasani, Daniela Rus, Radu Grosu

Gepubliceerd 2026-05-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Julian Lemmel, Felix Resch, Mónika Farsang, Ramin Hasani, Daniela Rus, Radu Grosu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robotauto hebt leren rijden door haar duizenden uren aan video van een menselijke bestuurder te tonen. Je hebt dit gedaan in een simulator en zelfs op een klein echt parcours. De robot is nu "voorgetraind". Hij weet hoe hij goed moet rijden... onder de exacte omstandigheden waarin hij is onderwezen.

Maar hier zit het probleem: de echte wereld is rommelig. De zon kan in de camera schijnen, de weg kan iets anders zijn, of het stuur kan een beetje vastlopen naar links. In het verleden zou de robot, als hij deze veranderingen tegenkwam, in paniek raken en crashen omdat hij niet kon aanpassen. Het was als een student die de antwoorden op een specifieke toets heeft uit het hoofd geleerd, maar direct faalt als de leraar één woord in de vraag verandert.

Dit artikel introduceert een nieuwe manier om de robot te leren: Real-Time Recurrent Reinforcement Learning (RTRRL).

De Kernidee: Leren tijdens het rijden

Denk aan traditionele training als studeren voor een eindexamen. Je leest het boek, maakt aantekeningen en maakt dan de toets. Als je een vraag fout hebt, moet je terug naar de bibliotheek, het hele hoofdstuk opnieuw lezen en de toets opnieuw maken. Dit is traag en vereist veel geheugen.

RTRRL is anders. Het is als een student die tijdens het maken van de toets leert.

Geen "Terugspoel"-knop: Normaliter moet een computer, om van een fout te leren, de tijd "terugspoelen" om precies te zien wat hij verkeerd deed (een proces genaamd Backpropagation Through Time). Dit is zwaar en traag.
De "Alleen-voorwaarts"-benadering: Deze nieuwe methode is als een bestuurder die direct na het voelen van een uitwaaiering een kleine correctie maakt, zonder de laatste minuut rijden in zijn hoofd opnieuw af te spelen. Het werkt zijn "hersenen" (het beleid) stap voor stap bij elk moment bij.

Het Nieuwe "Hersen"-model: LrcSSM

De onderzoekers gebruikten niet alleen de nieuwe leermethode; ze hebben ook de architectuur van de "hersenen" van de robot verbeterd.

De Oude Hersenen (LRU): Stel je een brein voor dat alleen in rechte lijnen denkt. Het is snel en efficiënt, maar als de weg scherp bocht of het licht plotseling verandert, raakt een denker in rechte lijnen in de war.
De Nieuwe Hersenen (LrcSSM): Dit is een "bio-geïnspireerd" brein. Het is als een levend organisme dat zijn interne logica kan buigen en aanpassen aan wat het ziet. Het behoudt de snelheid van het oude brein, maar voegt de mogelijkheid toe om complexe, niet-lineaire situaties aan te pakken (zoals plotselinge veranderingen in licht of sturen).

Het Experiment: Twee Parcours

Het team testte dit op twee zeer verschillende parcoursen:

Het Videospel-parcours (CarRacing): Ze gebruikten een standaard simulator met normale camera-afbeeldingen. Ze toonden de robot hoe ze moesten rijden en lieten haar daarna zelf rijden. Toen ze een "glitch" introduceerden (zoals het veranderen van de stuurgevoeligheid), kwam de robot die de nieuwe methode gebruikte er snel achter hoe ze dit moest compenseren en bleef soepel rijden. De oude methoden hadden moeite of faalden.
Het Echte Parcours (RoboRacer): Dit is de grote. Ze plaatsten de robot op een raceauto in schaal 1:10 in een echt lab. In plaats van een normale camera gebruikten ze een Event Camera.
- Analogie: Een normale camera maakt 60 keer per seconde een foto, zelfs als er niets beweegt. Een Event Camera is als een zenuwstelsel; het "schiet" alleen als er iets verandert (zoals een pixel die lichter of donkerder wordt). Het is ongelooflijk snel en goed in het zien van beweging.
- De robot moest een lijn op de vloer volgen met alleen deze "events". Toen de onderzoekers met het stuur speelden of felle lichten opstaken (om de zon na te bootsen), zakte de prestatie van de robot, maar daarna paste hij zich in real-time aan en begon hij beter te rijden dan voor de glitch.

De Grote Conclusie

Dit artikel bewijst dat je een robot niet hoeft te stoppen, opnieuw vanaf nul hoeft op te leiden of enorme nieuwe datasets hoeft te voeren om zijn fouten te herstellen.

Door Behavioral Cloning (eerst leren van menselijke demonstraties) te combineren met Real-Time Online Learning (direct aanpassen tijdens het rijden), kan de robot het onverwachte aan. Het is het verschil tussen een robot die een star, uit het hoofd geleerd script is en een robot die een flexibele, aanpasbare bestuurder is die leert van elke hobbel op de weg terwijl deze gebeurt.

Belangrijkste Beweringen uit het Artikel:

Dit is de eerste keer dat deze specifieke "online learning"-methode succesvol is gedemonstreerd op een echte robot met event cameras.
Het nieuwe "LrcSSM"-hersenmodel werkte het beste, sneller en consistenter aanpassend dan de oudere modellen.
Het systeem werkt op standaard computerhardware (niet op gespecialiseerde, dure supercomputers), waardoor het haalbaar is voor echte auto's en robots.

Technische Samenvatting: Adaptieve Regeling in Autonomisch Vervoer via Real-Time Recurrente RL

Probleemstelling

Op leerprocessen gebaseerde regelpolitieken voor autonomisch vervoer falen vaak bij implementatie in omgevingen die afwijken van hun trainingsdata. Deze "distributieverschuivingen"—veroorzaakt door subtiele veranderingen in systeemdynamica, sensorkenmerken of omgevingscondities—kunnen leiden tot catastrofale prestatiedegradatie. Traditionele offline leerparradigma's, waarbij politieken één keer worden getraind en zonder aanpassing worden ingezet, zijn ontoereikend voor deze niet-stationaire real-world settings. Hoewel online aanpassing vereist is, vertrouwen bestaande methoden vaak op meta-learning (vereist specifieke taakdata), aanpassing op testtijd (afhankelijk van handgemaakte beloningen) of conventionele online RL die latentie introduceert door te wachten op volledige episodes of mini-batches voordat er wordt bijgewerkt. Bovendien vereist standaard online learning in recurrente netwerken vaak Backpropagation Through Time (BPTT), wat geheugenintensief is en biologisch onwaarschijnlijk.

Methodologie

De auteurs stellen een hybride leerpipeline voor die offline behavioral cloning combineert met online Real-Time Recurrent Reinforcement Learning (RTRRL). Deze aanpak stelt politieken in staat om continu aan te passen op elk tijdstip zonder opnieuw vanaf nul te trainen of toegang te hebben tot grote offline datasets.

Kernalgoritme: RTRRL

RTRRL is een geheugenefficiënt, biologisch plausibel algoritme dat beleidsparameters op elk tijdstip bijwerkt met behulp van een voorwaartse pass, waardoor de noodzaak voor BPTT wordt geëlimineerd.

Gradiëntberekening: In plaats van BPTT maakt het framework gebruik van Real-Time Recurrent Learning (RTRL) of Random Feedback Local Online (RFLO) learning. Deze methoden berekenen gradiënten online met behulp van eligibility traces en Jacobiaan-benaderingen. RFLO, in het bijzonder, dwingt localiteit en biologische plausibiliteit af door het gebruik van vaste willekeurige feedback-matrices, wat de complexiteit reduceert van $O(n^3)$ naar $O(n^2)$ .
Leerdoel: Het algoritme combineert temporal-difference (TD) learning met eligibility traces (TD( $\lambda$ )) om vertraagde beloningen te verwerken. Het update actor- en critic-netwerken op basis van de TD-fout $\delta_t = r_t + \gamma\hat{v}(h_{t+1}) - \hat{v}(h_t)$ .
Architectuur: De auteurs maken gebruik van aparte Recurrente Neurale Netwerken (RNN's) voor het beleid (actor) en de waardenfunctie (critic), in plaats van een gedeelde backbone. De actor ontvangt gecodeerde observaties en geeft een actie-distributie uit, terwijl de critic de staatwaarde schat.

Modelintegratie: LrcSSM

Een belangrijke methodologische uitbreiding in dit werk is de integratie van Liquid-Resistance Liquid-Capacitance State-Space Models (LrcSSMs) in het RTRRL-framework.

LrcSSM Kenmerken: In tegenstelling tot Lineaire Recurrente Units (LRU's) die puur lineaire dynamica gebruiken, of standaard Continuous-Time RNN's (CT-RNN's) met vaste tijdsconstanten, introduceren LrcSSMs input- en staat-afhankelijke niet-lineaire tijdsconstanten. Dit stelt neuronen in staat hun temporale gedrag dynamisch aan te passen.
Diagonale Structuur: LrcSSMs behouden een diagonale structuur, wat de exacte berekening van RTRL-gradiënten mogelijk maakt zonder het prestatieverlies dat typisch geassocieerd wordt met benaderingen, waardoor ze computationeel efficiënt zijn voor online learning.

Trainingspipeline

Offline Pre-training: Een beleid wordt eerst getraind via behavioral cloning op een dataset van menselijke demonstraties. Dit omvat een convolutie-encoder (autoencoder voor beeldreconstructie) en een recurrent beleidsnetwerk.
Online Fine-tuning: Het voorgeprogrammeerde beleid wordt ingezet en in real-time verfijnd met RTRRL. Om overfitting tijdens single-omgeving fine-tuning te voorkomen (effectieve batchgrootte van 1), wordt een parameterveranderingsstraf ( $L_\theta = \beta ||\theta_{pre} - \theta_t||^2$ ) toegevoegd aan de verliesfunctie.

Experimentele Opstelling

De aanpak werd gevalideerd in twee verschillende settings:

Simulatie (CarRacing): Een aangepaste OpenAI Gym-omgeving waarin agenten een baanmiddellijn moeten volgen. De omgeving bevat een straf voor wielafwijking.
Real-World (RoboRacer): Een 1:10-schaal autonoom voertuig uitgerust met een Dynamic Vision Sensor (DVS) (gebeurteniscamera). De taak is lijnvolging. Deze opstelling is opmerkelijk vanwege het gebruik van gebeurtenisgebaseerd visie (het vastleggen van intensiteitsveranderingen in plaats van frames) op standaard niet-spikende hardware.

Belangrijkste Resultaten

Simulatie (CarRacing)

Prestaties: Alle modeltypen (CT-RNN, LRU, LrcSSM) vertoonden significante verbetering na online fine-tuning in vergelijking met hun voorgeprogrammeerde baselines.
Superioriteit van LrcSSM: Op LrcSSM gebaseerde politieken toonden de snelste en meest consistente verbetering over verschillende willekeurige zaden en banen.
Aanpassing: Gefinetunte politieken slaagden erin zich succesvol aan te passen aan distributieverschuivingen, zoals een gesimuleerde stuurhoekverschuiving, en herstelden prestatieniveaus die vergelijkbaar waren met de initiële beloningen.

Real-World Implementatie (LineTracking)

Succes met Gebeurteniscamera: Dit werk presenteert de eerste demonstratie van online RL fine-tuning met behulp van gebeurteniscamera-observaties op standaard hardware in een gesloten-regelkring besturingssituatie.
Modelfalen en Succes:
- LRU-falen: Voorgeprogrammeerde LRU-modellen faalden erin een effectief lijnvolgingsbeleid te leren, en waren niet in staat om één ronde te voltooien zonder ingrijpen. De auteurs veronderstellen dat de puur lineaire recurrentie van LRU's ontoereikend is om de discontinuïteit, drempelachtige overgangen inherent aan gebeurtenis-frame data (schakelen tussen lijn-zichtbaar en lijn-afwezig toestanden) te vangen.
- LrcSSM-succes: Daarentegen leerden LrcSSMs de taak succesvol. De auteurs schrijven dit toe aan de niet-lineaire statische dynamica van LrcSSMs, die essentieel zijn voor het verwerken van de specifieke kenmerken van gebeurtenisgebaseerde regeling, terwijl ze de diagonale structuur behouden die nodig is voor efficiënte gradiëntberekening.
Robuustheid: Het systeem paste zich aan aan real-world distributieverschuivingen, waaronder een stuurhoekverschuiving van 0,1 rad en visuele verstoringen veroorzaakt door omgevingszonlicht. De beloning degradeerde aanvankelijk bij de verschuiving, maar herstelde zich binnen enkele ronden naar niveaus voor de verschuiving.

Betekenis en Claims

Het artikel claimt meerdere eerste en significante bijdragen aan het veld van autonome regeling:

Eerste Toepassing van LrcSSM in Online RL: Dit is de eerste toepassing van LrcSSMs binnen een online reinforcement learning setting, wat hun levensvatbaarheid demonstreert als een drop-in vervanging voor LRU's die superieure expressiviteit biedt.
Hybride Leerpipeline: Het werk stelt de eerste pipeline voor die offline behavioral cloning combineert met online real-time RTRRL fine-tuning, waardoor continue aanpassing aan niet-stationaire omgevingen mogelijk is zonder volledige hertraining.
Haalbaarheid op Ingebouwde Systemen: De resultaten valideren dat biologisch plausibele, real-time online learning algoritmen haalbaar zijn op ingebouwde robotsystemen (RoboRacer) zonder gespecialiseerde neuromorfe chips te vereisen.
Gebeurtenisgebaseerde Online Regeling: Het presenteert de eerste hoogfrequente, niet-spikende machine learning toepassing van online fine-tuning met behulp van gebeurteniscamera-observaties in een gesloten-regelkring besturingssituatie.
Synergie van Bio-Inspratie: Het artikel toont de synergie tussen bio-geïnspireerde sensoren (gebeurteniscamera's), bio-geïnspireerde recurrente modellen (LrcSSMs) en biologisch plausibele leerrules (RTRRL/RFLO).

De auteurs concluderen dat hoewel op leerprocessen gebaseerde regeling kwetsbaar is voor distributieverschuivingen, de voorgestelde op RTRRL gebaseerde aanpak het mogelijk maakt dat ingezette politieken hun prestaties behouden door continu in real-time aan te passen, waarbij LrcSSMs naar voren komen als de meest effectieve architectuur voor dit doel.