🤖 machine learning

Path Following and Stabilisation of a Bicycle Model using a Reinforcement Learning Approach

Dit artikel presenteert een Reinforcement Learning-benadering die er succesvol in slaagt om een virtueel Whipple-fietsmodel simultaan complexe paden te laten volgen en de laterale stabiliteit te laten handhaven over een snelheidsbereik van 2 m/s tot 7 m/s met uitsluitend stuurhoekoutputs, gevalideerd door middel van curriculum learning en verklarende analyse.

Oorspronkelijke auteurs: Sebastian Weyrer, Peter Manzl, A. L. Schwab, Johannes Gerstmayr

Gepubliceerd 2026-07-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sebastian Weyrer, Peter Manzl, A. L. Schwab, Johannes Gerstmayr

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een peuter leert fietsen. Je zegt niet alleen: "Ga rechtdoor." Je moet hem ook leren hoe hij moet evenwicht houden, hoe hij in bochten moet leunen en hoe hij moet sturen zonder om te vallen. Stel je nu voor dat je dit niet met een menselijk kind doet, maar met een computerprogramma en een virtuele fiets, met behulp van een methode die Reinforcement Learning (RL) wordt genoemd.

Dit artikel is in essentie het verhaal van hoe onderzoekers een digitale "agent" (een slim computerprogramma) leerden om perfect op een virtuele fiets te rijden, waarbij de fiets in evenwicht bleef terwijl deze een kronkelend pad volgde, allemaal zonder zijwieltjes of fysieke hulp.

Hier is de uiteenzetting van hun reis, gebruikmakend van enkele alledaagse analogieën:

1. De Virtuele Testbaan

De onderzoekers gebruikten geen echte fiets in een garage. Ze bouwden een virtuele fiets in een computer. Dit is niet zomaar een cartoon; het is een zeer nauwkeurig fysica-model (het "Whipple-model") dat zich precies gedraagt als een echte fiets.

De Uitdaging: Echte fietsen zijn lastig. Als je te langzaam gaat, val je om. Als je te snel gaat, word je wiebelig. Ze hebben ook een vreemde eigenschap: om naar links af te slaan, moet je eigenlijk eerst een klein beetje naar rechts sturen (dit wordt "counter-steering" genoemd).
Het Doel: De computeragent moest twee dingen tegelijk doen: rechtop blijven (stabilisatie) en een specifiek pad op de grond volgen (padvolging). De agent kon alleen de stuurhendels bedienen. Hij kon de fiets niet duwen of de snelheid aanpassen; de snelheid werd bepaald door een onzichtbare "fietser".

2. De Leraar: Reinforcement Learning

Beschouw de agent als een student en de computersimulatie als een zeer strenge leraar.

Het Spel: De agent probeert te fietsen.
Het Scorebord (Beloning): Elke keer dat de fiets dicht bij de lijn blijft en niet omvalt, krijgt de agent punten (een "beloning"). Als de fiets valt of te ver van het pad afwijkt, krijgt de agent nul punten en wordt het spel opnieuw gestart.
Het Leren: De agent probeert het miljoenen keren. In het begin crasht hij constant. Maar langzaam begint hij te beseffen: "Oh, als ik naar links leun, moet ik naar rechts sturen om rechtop te blijven," of "Wanneer het pad buigt, moet ik vooruit kijken." Hij leert door middel van trial-and-error, niet door de regels van de natuurkunde te krijgen verteld.

3. Het Geheime Ingrediënt: "Curriculum Learning"

Als je een peuter direct probeert te leren fietsen op een steile, kronkelende bergweg, zal hij falen. Je begint bij hem op een vlakke, rechte oprit.
De onderzoekers gebruikten een strategie genaamd Curriculum Learning. Dit is als een videogame die moeilijker wordt naarmate je een hoger niveau bereikt:

Niveau 1: De agent begint op een recht pad bij een matige, gemakkelijke snelheid waarbij de fiets van nature rechtop wil blijven.
Niveau 2: Naarmate de agent beter wordt, introduceert de leraar bochten en veranderingen in de snelheid.
Niveau 3: De agent krijgt te maken met de moeilijkste uitdagingen: zeer lage snelheden (waarbij de fiets erg onstabiel is) en scherpe, krappe bochten.
Door te beginnen met makkelijk en de moeilijkheid geleidelijk te verhogen, leerde de agent om het volledige bereik aan snelheden (van een trage 2 m/s tot een snelle 7 m/s) en complexe paden zoals slalom en volledige cirkels te hanteren.

4. De Resultaten: Een Meesterrijder

Na miljoenen virtuele ritten (wat ongeveer 55 uur aan gesimuleerde tijd in beslag nam), werd de agent een expert.

De Test: Ze plaatsten de getrainde agent op een "Benchmark Path"—een complex parcours met cirkels, zigzagbewegingen en rijstrookwisselingen.
De Uitkomst: De agent hield de fiets rechtop en volgde het pad met ongelooflijke precisie. De gemiddelde afstand tussen de fiets en de lijn die hij moest volgen, was minder dan 9 centimeter (ongeveer de breedte van een hand).
De Snelheid: Het werkte perfect, of de fiets nu langzaam of snel bewoog.

5. Begreep de Agent de Natuurkunde Echt?

De onderzoekers wilden niet alleen een "black box" die gewoon werkte; ze wilden weten hoe het werkte. Ze gebruikten een hulpmiddel genaamd SHAP (wat fungeert als een röntgenfoto voor AI-beslissingen) om te zien waar de agent op lette.

Wat ze ontdekten: De agent had exact dezelfde natuurkundige trucjes geleerd die mensen gebruiken!
- Counter-Steering: De agent leerde om een klein beetje de tegenovergestelde kant op te sturen om een bocht in te zetten.
- Meeleunen in de Val: Wanneer de fiets begon te kantelen, leerde de agent om in de richting van de val te sturen om het op te vangen, precies zoals een echte rijder dat doet.
- Vooruitkijken: De agent besteedde de meeste aandacht aan het pad enkele meters vooruit, en niet alleen aan waar de wielen de grond raakten.

De Kernboodschap

Dit artikel bewijst dat een computerprogramma vanaf nul kan leren om een fiets te rijden, waarbij het de fiets in evenwicht houdt en door complexe parcoursen stuurt, zonder vooraf geprogrammeerde natuurkundige vergelijkingen of menselijke hulp. Het leerde het "gevoel" van de fiets door trial-and-error, en werd uiteindelijk een meesterrijder die snelheidswijzigingen en lastige bochten beter afhandelt dan veel traditionele computercontrollers.

De onderzoekers concluderen dat deze aanpak werkt, maar merken op dat ze voor een echte robotfiets de modellen zouden moeten verfijnen om oneffen wegen aan te kunnen en om te bepalen hoe de machine het pad kan "zien" (bijvoorbeeld met een camera) in plaats van dat het pad vooraf in de computer is geladen.

Technische Samenvatting: Padvolgend en Stabiliseren van een Fietsmodel met behulp van een Reinforcement Learning-benadering

Probleemstelling
Het beheersen van de beweging van een fiets is een complexe taak vanwege de snelheid-afhankelijke laterale stabiliteit en het non-minimale fasegedrag, wat vereist dat men in de richting van een ongewenste val stuurt om het evenwicht te bewaren. Hoewel traditionele regeltechnische methoden uitgebreid zijn gebruikt voor de stabilisatie en het padvolgen van fietsen, is er een groeiende interesse in het toepassen van Machine Learning, specificaal Reinforcement Learning (RL), op deze mechanische systemen. Er bestaat een aanzienlijke kloof in de literatuur: eerdere RL-toepassingen op fietsmodellen specialiseerden zich doorgaans ofwel in stabilisatie (vaak met vereenvoudigde modellen zonder 'trail' of met hulpmiddelen voor balans) ofwel in padvolgen (vaak waarbij laterale stabilisatie werd genegeerd). Bovendien hebben bestaande werken niet voldoende aangetoond of een RL-agent in staat is om een snelheid-afhankelijk stabilisatiebeleid te induceren voor een standaard fietsmodel (met een positieve 'trail') over een breed scala aan snelheden, terwijl het tegelijkertijd padvolgend kan opereren zonder de mogelijkheid om de voorwaartse snelheid te regelen.

Methodologie
De auteurs stellen een RL-raamwerk voor waarbij een agent een virtuele Whipple-fiets controleert — een benchmarkmodel voor fietsdynamica dat wordt gekenmerkt door een positieve 'trail' en zelfstabiliteit binnen een specifiek snelheidsbereik (4,3–6 m/s). De fiets wordt gemodelleerd als een meervoudig lichamen systeem met vier starre lichamen (achterwiel, voorwiel, achterlichaam, stuur) en zonder externe stabilisatiehulpmiddelen (bijv. traagheidswielen).

Regelmechanisme: De agent werkt uitsluitend door het voorspellen van een stuurhoek ( $\delta_{set}$ ). Deze hoek wordt omgezet in een stuurtorsie via een PD-regelaar die werkt tussen het achterlichaam en de vork. De agent kan de voorwaartse snelheid niet wijzigen, die willekeurig wordt ingesteld tussen 2 m/s en 7 m/s, wat een scenario simuleert waarin de fietser de snelheid regelt terwijl de agent de sturing afhandelt.
Toestandsrepresentatie: De toestandsvector bevat de minimale coördinaten van de fiets (positie, gierhoek, rolhoek, stuurhoek en relevante hoeksnelheden) en preview-informatie van het pad. De pad-preview wordt gerepresenteerd door een vector van laterale afstanden tot toekomstige punten op het pad. De auteurs onderzochten twee formuleringen voor de toestand: één die de gierhoek direct gebruikt en één die een eenheidsvectorrepresentatie gebruikt om discontinuïteiten te vermijden.
Beloningsfunctie: De beloning is een lineaire combinatie van twee componenten:
1. Padvolgen ( $\rho_y$ ): Beloont de agent voor het houden van het contactpunt van het achterwiel dicht bij het pad.
2. Stabilisatie ( $\rho_\phi$ ): Beloont de agent voor het handhaven van een lage rolhoek.
  De auteurs analyseerden verschillende beloningsformuleringen, inclusief lineaire versus exponentiële afstandsstraf en variërende gewichten tussen padvolgen en stabilisatie.
Trainingsstrategie: Curriculum Learning (CL) wordt toegepast om de complexiteit van de taak te beheersen. Het trainingsproces is verdeeld in vier stadia waarbij de initialisatie-intervallen voor voorwaartse snelheid, padkromming (straal van circulaire elementen) en padcomplexiteit (lengte en breedte van polynomiale segmenten) geleidelijk worden uitgebreid. Dit stelt de agent in staat om eerst basisstabilisatie te leren bij een constante, stabiele snelheid voordat hij zich bezighoudt met variabele snelheden en complexe paden.
Algoritme: Het Soft Actor-Critic (SAC) algoritme wordt gebruikt voor off-policy Deep Reinforcement Learning.

Belangrijkste Bijdragen

Gelijktijdige Padvolging en Stabilisatie: Het werk toont voor het eerst aan dat een RL-agent succesvol padvolging en laterale stabilisatie tegelijkertijd kan uitvoeren op een Whipple-fietsmodel zonder balanshulpmiddelen, enkel door gebruik te maken van stuurinputs.
Snelheid-afhankelijk Beleid: De studie onderzoekt en bevestigt dat de RL-benadering een snelheid-afhankelijk beleid kan induceren dat in staat is de fiets te stabiliseren over een breed snelheidsbereik (2 m/s tot 7 m/s), waarbij zowel het onstabiele lage snelheid-regime als het zelfstabiele gemiddelde snelheid-regime worden gedekt.
Toepassing van Curriculum Learning: De toepassing van Curriculum Learning blijkt essentieel voor het trainen van de agent om de toenemende complexiteit van variabele snelheden en willekeurige paden (inclusclusief volledige cirkels, slaloms en rijstrookwisselingen) aan te kunnen.
Verklaarbaarheid: De auteurs maken gebruik van SHapley Additive exPlanations (SHAP) om het besluitvormingsproces van de getrainde agent te analyseren, waarbij de geleerde policy wordt gekoppeld aan bekende fysieke mechanismen van fietsdynamica.

Resultaten

Leerprestaties: De voorgestelde instellingen (gebruikmakend van een snelheid-geschaalde preview-afstand en een lineaire beloning voor padvolging) vereisten minder leerstappen ( $< 2 \times 10^6$ ) vergeleken met alternatieven zoals een constante preview-afstand of gelijke weging van stabilisatiebeloningen. Het opnemen van de stabilisatiebeloning ( $\rho_\phi$ ) met gelijke gewichten bleek de leerprogressie te verstoren.
Prestaties bij Implementatie: Agents getraind met de voorgestelde instellingen slaagden erin de fiets te stabiliseren en paden te volgen over het gehele geteste snelheidsbereik (2–7 m/s).
- Op willekeurig gegenereerde paden waren alle 525 gesimuleerde ritten (over 5 runs en 5 instellingen) succesvol zonder vallen.
- Op een complex benchmarkpad (volledige cirkel, slalom, rijstrookwisselingen) bereikte de beste agent een maximale gemiddelde afstand van 0,09 m van het pad bij 7 m/s (9% van de wielbasis) en een maximale gemiddelde afstand van 0,19 m bij de laagste snelheid (2 m/s).
- Sommige individuele agents faalden bij de laagste snelheden (2 m/s) op specifieke benchmarksegmenten (volledige cirkel en harde rijstrookwisseling), wat statistisch zeldzaam was in het trainingscurriculum.
Mechanisme-analyse: De SHAP-waarde analyse onthulde dat de agent fundamentele besturingsmechanismen heeft geleerd:
- Tegengesteld sturen (Counter-steering): De agent voorspelde correct een stuurhoek die tegenovergesteld is aan de gewenste draairichting om een helling te initiëren.
- Sturen in de val: Eenmaal hellend, stuurde de agent in de richting van de val om het evenwicht te bewaren, waarbij de rolhoek ( $\phi$ ) en de preview-punten ( $t_P$ ) werden gecorreleerd met de stuuracties.

Betekenis en Claims
Het artikel beweert dat Reinforcement Learning een levensvatbaar alternatief is voor traditionele regeltechniek voor fietsdynamica, in staat om de niet-lineaire, snelheid-afhankelijke aard van het systeem te hanteren zonder expliciete modellering van de regelwetten. Het werk overbrugt de kloof tussen machine learning en fietsdynamica-onderzoek door aan te tonen dat een agent de basis fysieke mechanismen van fietsbesturing (tegensturen en hellen) puur door interactie met een gesimuleerde omgeving kan leren.

De auteurs merken bescheiden op dat hoewel de virtuele omgeving in veel gevallen perfect padvolgend is, het benchmarkpad geometrische kenmerken bevat (zoals harde rijstrookwisselingen) die zelfs voor echte fietsen fysiek uitdagend zijn. Het succes van de agent in het navigeren van deze complexe paden over een brede reeks snelheden, ondanks het ontbreken van expliciete controle over de voorwaartse snelheid, onderstreept het praktische potentieel van RL voor robotische systemen waarbij snelheid een externe beperking is. Het artikel concludeert dat toekomstig werk zich moet richten op het verfijnen van het fietsmodel voor Sim-to-Real transfer en het ontwikkelen van methoden om pad-preview informatie in de echte wereld te verkrijgen (bijv. via camera's).