CycleRL: Sim-to-Real Deep Reinforcement Learning for Robust Autonomous Bicycle Control

Technische Samenvatting: CycleRL: Sim-to-Real Deep Reinforcement Learning voor Robuuste Autonome Fietsbesturing

Probleemstelling
De autonome besturing van voertuigen met twee wielen vormt een aanzienlijke uitdaging voor de robotica vanwege hun inherent instabiele, onderbediende en niet-lineaire dynamica. Traditionele besturingsstrategieën, zoals PID, Linear-Quadratic Regulators (LQR) en Model Predictive Control (MPC), hebben vaak moeite met deze dynamica. Deze modelgebaseerde benaderingen zijn doorgaans gevoelig voor parametervariaties, rekenintensief en missen robuustheid tegen real-world onzekerheden en niet-gemodelleerde verstoringen. Hoewel Deep Reinforcement Learning (DRL) een potentiële oplossing biedt door controlebeleid direct te leren via interactie, blijft er een kritische barrière: de "sim-to-real" kloof. Beleidsregels die in simulatie zijn getraind, falen vaak bij overdracht naar fysieke hardware, vooral voor fietsen die uitsluitend via sturing worden aangestuurd (zonder reactiewielen), vanwege de extreme gevoeligheid van het systeem voor minuscule fysieke discrepanties en instabiliteit bij lage snelheden.

Methodologie
De auteurs stellen CycleRL voor, een model-vrij deep reinforcement learning-framework ontworpen om de simulatie-naar-realiteit kloof voor autonome fietsbesturing te overbruggen. De methodologie is gebouwd op de volgende componenten:

• Simulatieomgeving: Training vindt plaats binnen de hoogwaardige NVIDIA Isaac Sim-omgeving, die complexe voertuig-terrein niet-lineariteiten, contactdynamica en sensoreigenschappen modelleert.
• Reinforcement Learning Formulering: Het besturingsprobleem wordt geformuleerd als een Markov Beslissingsproces (MDP). De toestandsruimte bestaat uit instantane observaties van IMU- en encodergegevens, terwijl de actieruimte de stuurhoek regelt. De auteurs maken gebruik van het Proximal Policy Optimization (PPO) algoritme om het beleid te optimaliseren.
• Samengestelde Beloningsfunctie: Een op maat gemaakte beloningsfunctie stuurt het leerproces aan door vijf componenten te aggregeren:
  • Survival Reward (Overlevingsbeloning): Stimuleert langetermijnstabiliteit.
  • Velocity Tracking Reward (Snelheidsvolgsbeloning): Bestraft afwijkingen van de gewenste voorwaartse snelheid.
  • Heading Tracking Reward (Richtingvolgsbeloning): Bestraft afwijkingen van de gewenste koers.
  • Action Magnitude Penalty (Boete op actiegrootte): Ontmoedigt agressieve controle-inputs om de energie-efficiëntie te verbeteren.
  • Action Rate Penalty (Boete op actiesnelheid): Bestraft snelle veranderingen in controle-inputs om vloeiende overgangen te garanderen.
• Domain Randomization Strategie: Om robuustheid te garanderen en directe sim-to-real transfer te faciliteren zonder fijnafstemming, implementeren de auteurs een hiërarchische randomisatie strategie. Dit omvat het randomiseren van fysieke dynamica (massa, zwaartepunt, wrijving, actuatorversterking), initiële toestanden (snelheid, hellingshoek) en taakcommando's (doelsnelheid en koers). Er wordt ook Gaussische ruis geïnjecteerd in de observaties om sensorimperfecties te simuleren.
• Systeemarchitectuur: Het geïmplementeerde systeem maakt gebruik van een hiërarchische controlearchitectuur op een NVIDIA Jetson Orin NX, die inputverwerking, beleidsinferentie en actuatorbesturing beheert met een frequentie van 50 Hz en minimale latentie.

Belangrijkste Bijdragen

1. Uitgebreide DRL Integratie: Het artikel presenteert een volledig geïntegreerd, model-vrij DRL-framework voor autonome fietsbesturing dat de afhankelijkheid van nauwkeurige analytische dynamische modellen elimineert die vereist zijn door conventionele methoden.
2. Geconstrueerde Beloning en Randomisatie: De auteurs introduceren een zorgvuldig ontworpen samengestelde beloningsfunctie en een meerlaagse domain randomization strategie. Deze elementen maken hoogwaardige besturing mogelijk in simulatie en, cruciaal, betrouwbare directe transfer naar fysieke hardware.
3. Succesvolle Sim-to-Real Transfer: Het framework wordt gevalideerd op een op maat gemaakt fysiek fietsplatform. Het werk demonstreert dat het geleerde beleid een robuust evenwicht kan behouden en stuurmanoeuvres kan uitvoeren onder diverse real-world condities, inclusief variërende terreinen, belastingen en snelheden, zonder extra hardware-afstemming.

Experimentele Resultaten

• Simulatieprestaties: In simulatie behaalde CycleRL een balanssuccespercentage van 99,90%, wat de gekalibreerde PID (76,50%), LQR (93,24%) en Modified Linear Control Law (96,43%) baselines aanzienlijk overtreft. Het vertoonde superieure hersteltijden (1,05 s vs. >1,2 s voor baselines) en kon stabiliteit behouden bij snelheden zo laag als 1,05 m/s, een regime waarin klassieke baselines faalden.
• Real-World Implementatie: Bij transfer naar het fysieke platform behield het systeem een balanssuccespercentage van 95,00%. Hoewel de richtingvolgfout licht toenam (van 1,15° in simulatie naar 2,04° in de realiteit, toegeschreven aan niet-gemodelleerde IMU-ruis), bleef de snelheidsvolging zeer accuraat. Het systeem opereerde succesvol op asfalt, grind, gras, hellingen en onder laterale verstoringen.
• Ablatie-studies: Experimenten bevestigden dat de samengestelde beloningscomponenten (met name de volgsbeloningen) en de volledige domain randomization strategie cruciaal zijn. Het verwijderen van randomisatie leidde tot een significante degradatie in de precisie van de koersvolging bij implementatie, wat de trade-off tussen piek theoretische prestaties in simulatie en brede aanpasbaarheid in de realiteit valideert.

Betekenis en Claims
Het artikel beweert dat CycleRL Deep Reinforcement Learning valideert als een effectief paradigma voor autonome fietsbesturing, waarbij een superieure adaptiviteit wordt geboden ten opzien van traditionele modelgebaseerde methoden. Door succesvol een beleid te transfereren dat in een gerandomiseerde simulatie is getraind naar een fysiek platform zonder fijnafstemming, adresseert dit werk een belangrijke engineering uitdaging bij het inzetten van learning-based controllers voor instabiele, onderbediende systemen. De auteurs positioneren deze aanpak als een veelbelovend alternatief voor stedelijke mobiliteit en last-mile logistiek, waarbij zij benadrukken dat hoewel de methode de engineeringinspanning verschuift naar simulatorconstructie en reward shaping, het effectief de noodzaak voor complexe systeemidentificatie en analytische modellering omzeilt. Het succes van de zero-shot transfer naar een scooterplatform suggereert bovendien de potentie van het framework voor de generaliseerbaarheid naar andere voertuigen met twee wielen.