⚡ electrical engineering

Differentiable Reinforcement Learning for Path Tracking by an Agile Fish-Like Robot

Dit artikel behandelt de uitdagingen van het aansturen van wendbare visachtige robots door een computationeel efficiënt simulatieplatform en een differentieerbare reinforcement learning-aanpak te introduceren die PID-instellingen optimaliseert via backpropagation en curriculumtraining, waarbij het geleerde beleid succesvol van simulatie naar een fysieke robot is overgebracht voor nauwkeurige padvolging.

Oorspronkelijke auteurs: Prashanth Chivkula, Kartik Loya, Venkata Ravindhra Reddy Varikuti, Phanindra Tallapragada

Gepubliceerd 2026-07-21

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Prashanth Chivkula, Kartik Loya, Venkata Ravindhra Reddy Varikuti, Phanindra Tallapragada

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin robots niet alleen op wielen rollen of met propellers zoemen, maar zwemmen met de vloeiende gratie van een echte vis. Decennialang hebben ingenieurs geprobeerd deze "bio-geïnspireerde" machines te bouwen, omdat vissen ongelooflijk snel, efficiënt en sluipend zijn. Ze bewegen door hun lichaam te wiebelen en op complexe manieren te interageren met het water, waarbij ze onzichtbare wervelingen creëren die zogenaamde vortexen, die hen feitelijk vooruit helpen duwen. Het aanleren van deze beweging aan een robot is echter een nachtmerrie. Water is rommelig, en de fysica van hoe het lichaam van een robot zich tegen de vloeistof afzet is zo ingewikkeld dat het schrijven van een perfecte wiskundige formule bijna onmogelijk is. Als je probeert een robot te programmeren met rigide regels, eindigt deze vaak als een vis buiten het water die wild met haar flappen slaat.

Hier komt een slimme truc genaamd "Reinforcement Learning" om de hoek kijken. Denk eraan als het trainen van een hond, maar in plaats van snoepjes krijgt de robot een score voor goed werk. De robot probeert dingen uit, maakt fouten en leert van de feedback om beter te worden. Maar er is een addertje onder het gras: om effectief te leren, moet de robot miljoenen keren oefenen. Dit in een echt zwembad doen zou eeuwig duren en de robot zou kunnen beschadigen. Daarom bouwen wetenschappers meestal een "simulator" — een videogameversie van het water. Het probleem is dat de meeste simulators ofwel te traag zijn om snel te trainen, of te simpel om accuraat te zijn. Dit artikel pakt precies die flessenhals aan: hoe bouw je een simulator die zowel snel genoeg is om van te leren als accuraat genoeg om in de echte wereld te werken, terwijl je een robot tegelijkertijd leert om in een rechte lijn te zwemmen én een kronkelend pad te volgen.

De Wendbare Zwemmer en de Magische Simulator

Maak kennis met de "wendbare visachtige robot". Het is geen robot met een propeller aan de achterkant; het is meer een mechanische paling met een geheim wapen van binnen. In de afgesloten, hydrofoil-vormige kop (ongeveer de grootte van een kleine tablet, 250 mm lang) zit een draaiende rotor. Door dit interne gewicht heen en weer te laten draaien, creëert de robot een afzet tegen het water, waardoor hij zichzelf voortstuwt zonder externe propellers. De robot heeft een flexibele staart en een klein roer om te sturen. Het doel? Om deze robot langs een specif kind pad te laten zwemmen, zoals een letter "S" of een cirkel, terwijl hij een specifieke snelheid aanhoudt, zoals een auto op een snelweg.

De uitdaging is dat de beweging van de robot een delicate dans is. Als hij te hard draait, vertraagt hij. Als hij te veel versnelt, kan hij zijn evenwicht verliezen. Traditioneel gebruiken ingenieurs "PID-controllers" om dit te beheren. Je kunt een PID-controller zien als een zeer strikte coach die drie soorten instructies geeft: "Hoe ver lig je ervan af?" (Proportioneel), "Hoe lang ben je al af?" (Integraal), en "Hoe snel drijf je af?" (Afgeleide). De coach past de sturing en snelheid van de robot aan op basis van deze getallen. Het lastige deel is dat de "gains" (de kracht van de stem van de coach) moeten veranderen afhankelijk van hoe bochtig het pad is. Een rechte lijn heeft een zachte coach nodig; een scherpe bocht een luide, dringende coach.

De "Differentiabele" Doorbraak

De auteurs van dit artikel realiseerden zich dat het handmatig afstemmen van deze coaches voor elke mogelijke curve en snelheid onmogelijk is. In plaats daarvan besloten ze de robot zelf de perfecte "coachingstijl" te laten leren met een methode genaamd Differentiable Reinforcement Learning.

Hier is de magische analogie: Stel je voor dat je probeert te leren fietsen een heuvel af. Normaal gesproken probeer je het gewoon, val je, en kom je weer op. Maar wat als je de tijd kon terugdraaien, precies kon zien hoe de plaatsing van je voet de val veroorzaakte, en direct je spieren kon aanpassen om het te herstellen? Dat is wat "differentiabel" hier betekent. De auteurs bouwden een speciale computersimulatie van de robot en het water die "differentiabel" is. Dit betekent dat de computer wiskundig kan traceren hoe een minieme verandering in de sturing of snelheid van de robot de uiteindelijke positie beïnvloedt, helemaal terug naar de allereerste instructie.

In plaats van alleen maar te gokken, voert de computer een "backpropagation" uit (een chique term voor het achteruitwerken vanuit de fout) door de gehele simulatie. Het berekent exact hoe de PID-gains aangepast moeten worden om de robot beter te laten zwemmen. Ze hebben de robot niet zomaar in een willekeurig zwembad gegooid; ze gebruikten een "curriculum". Net zoals een menselijke student eerst leert lopen voordat hij gaat rennen, begon de robot door in rechte lijnen bij lage snelheden te zwemmen. Zodra de robot goed werd, maakte de simulatie de paden bochtiger en de snelheden hoger. Deze stapsgewijze training stelde de robot in staat om complexe manoeuvres onder de knie te krijgen zonder overweldigd te raken.

Van Code naar Water: De Test in de Werkelijkheid

Het meest opwindende deel van dit artikel is dat ze niet stopten bij het computerscherm. Ze namen de "hersenen" die ze in de simulatie hadden getraind en plaatsten deze direct op de fysieke robot.

In het laboratorium zetten ze een zwembad op met een camerasysteem om de robot te observeren terwijl hij zwom. Ze vroegen de robot om de letters "I", "R", "O" en "S" te volgen bij verschillende snelheden, variërend van 0,10 meter per seconde (een langzame drift) tot 0,25 meter per seconde (een stevig tempo).

De resultaten waren indrukwekkend. De robot, geleid door de door AI geleerde gains, volgde de paden succesvol.

Het "I"-pad: Een rechte lijn. De robot zwom recht en stabiel.
De "R" en "S"-paden: Deze bevatten scherpe bochten. De robot paste zijn sturing en snelheid automatisch aan. Wanneer het pad scherp afboog, leerde de AI om de snelheidscontrole iets te versoepelen om de focus op het draaien te leggen, waardoor werd voorkomen dat de robot uit koers raakte.
De Snelheid: De robot slaagde erin om dicht bij de doel-snelheden te blijven, hoewel hij bij hogere snelheden iets nauwkeuriger was. Bij zeer lage snelheden was hij wat wiebelig, wat de auteurs verklaren door het feit dat sturingscorrecties de robot van nature vertragen, wat een afweging creëert tussen op de lijn blijven en snelheid behouden.

De gegevens toonden aan dat de "cross-track error" van de robot (hoe ver hij van de lijn afweek) erg klein was, vaak minder dan 10 centimeter, zelfs op de lastige "S"-vorm. De interne gains van de robot (de instellingen van de "coach") veranderden soepel naarmate het pad veranderde, wat bewees dat de robot niet slechts één trucje uit het hoofd leerde, maar daadwerkelijk een flexibele strategie had geleerd.

Wat Dit Betekent

Dit artikel suggereert dat we niet elke druppel waterfysica perfect hoeven te begrijpen om geweldige zwemrobots te bouwen. In plaats daarvan kunnen we, door een slimme, snelle simulator te bouwen die wiskundig "van zijn fouten kan leren", robots trainen om met de rommelige realiteit van water om te gaan. De auteurs hebben aangetoond dat een beleid (policy) die in een computersimulatie is geleerd, direct naar een fysieke robot kan worden overgebracht, waardoor deze wendbaar kan zwemmen en paden met hoge precisie kan volgen.

Hoewel de huidige robot alleen op een vlak vlak zwemt (2D), suggereert het succes van deze methode dat dezelfde aanpak uiteindelijk gebruikt kan worden om robots te leren duiken, rollen en te zwemmen in een 3D-ruimte. Het is een stap naar een toekomst waarin onderwaterrobots complexe omgevingen kunnen navigeren, pijpleidingen kunnen inspecteren of de oceaan kunnen verkennen met dezelfde natuurlijke gemak als de vissen die hen hebben geïnspireerd.

Technische Samenvatting: Differentiële Reinforcement Learning voor Padvolging door een Wendbare Visachtige Robot

1. Probleemstelling

De besturing en bewegingsplanning van bio-geïnspireerde visachtige robots wordt historisch gezien gehinderd door twee primaire uitdagingen: de moeilijkheid van het nauwkeurig modelleren van complexe interacties tussen vloeistof en structuur, en de niet-lineaire, onderbediende dynamica van dergelijke systemen. Hoewel Reinforcement Learning (RL) de besturing voor grond- en luchtrobots heeft geavanceerd, is de toepassing ervan op visachtige robots beperkt door het gebrek aan simulatieomgevingen die een balans vinden tussen computationele snelheid en nauwkeurigheid. Bov�els worden bestaande datagestuurde benaderingen voor visrobots vaak toegepast in regimes met lage snelheden (minder dan een fractie van een lichaamslengte per seconde), waarbij de hydrodynamische complexiteit afneemt, en richten zij zich doorgaans op het volgen van een referentiekoers in plaats van het gelijktijdig regelen van zowel snelheid als pad.

Dit artikel behandelt de uitdaging van het besturen van de snelheid en de koershoek van een wendbare, planaire visachtige robot om gebogen paden te volgen bij variërende referentiesnelheden. De specifieke moeilijkheid ligt in de gekoppelde aard van voortstuwing (gegenereerd door een interne rotor) en sturing (via een roer), waarbij de dynamica wordt beheerst door limietcyclusgedrag dat handmatige PID-afstemming niet triviaal maakt.

2. Methodologie

Robotontwerp en Modellering

De auteurs hebben een modulaire, besturingsgerichte experimentele testopstelling ontwikkeld: een visachtige robot met een rigide hydrofoil-kop en een flexibele staart. Voortstuwing wordt bereikt via een interne gebalanceerde rotor die wordt aangedreven door een borstelloze motor, wat periodieke inertiële excitatie creëert, terwijl sturing wordt beheerd door een servo-gestuurde staartroer.

Om efficiënte training mogelijk te maken, hebben de auteurs een vereenvoudigd wiskundig model geconstrueerd op basis van Chaplygin sleigh-dynamica. Dit model:

Vangt essentiële voortstuwingsmechanismen en stationair limietcyclusgedrag zonder dat daarvoor rekenintensieve vloeistof-structuursimulaties (bijv. CFD) nodig zijn.
Modelleert staartflexibiliteit met behulp van torsieveer tussen de verbindingen.
Integreert hydrodynamische toegevoegde massa en viskeuze weerstand via Rayleigh-dissipatiefuncties.
Handhaaft een niet-holonome beperking (nul laterale snelheid aan het uiteinde van de staart) om de Kutta-Joukowski vortex-afscheidingsconditie te benaderen.

De modelparameters werden geïdentificeerd met behulp van experimentele gegevens uit 12 proeven, en het model werd gevalideerd tegen fysieke robotgegevens, waarbij een sterke overeenkomst werd getoond in het limietcyclusgedrag en de stationaire snelheidsschaalvergroting.

Besturingskader

Het besturingsdoel is gelijktijdige voorwaartse snelheidsvolging en geometrische padvolging. De auteurs maken gebruik van een gestructureerde dual-loop PID-controller:

Koerslus (Heading Loop): Reguleert de roerhoek ( $\alpha$ ) op basis van de koersfout.
Snelheidslus (Speed Loop): Reguleert de throttle-variabele ( $s$ , gerelateerd aan de rotoramplitude en -frequentie) op basis van de snelheidsfout.

In plaats van PID-parameters handmatig af te stemmen, worden de winsten (gains) behandeld als beslissingsvariabelen die geoptimaliseerd moeten worden. Het besturingsbeleid is een neuraal netwerk dat tijdvariërende PID-parameters ( $K_p, K_i, K_d$ ) uitvoert voor beide lussen op basis van de staat van de robot (genormaliseerde koers, snelheid en volgingsfouten).

Differentiële Reinforcement Learning

De kernbijdrage aan de methodologie is het gebruik van Differentiële Reinforcement Learning via Backpropagation Through Time (BPTT).

Differentiële Simulator: Het Chaplygin sleigh-model is geïmplementeerd als een differentiële simulator, waardoor gradiënten direct door de systeemdynamica, de PID-updatewetten en de throttle-mapping kunnen propageren.
Training: Het beleid wordt getraind in simulatie met behulp van een curriculum learning-aanpak. Het curriculum verhoogt progressief de moeilijkheidsgraad van de taak door de gevraagde snelheden (0,1 tot 0,3 m/s) en de kromming van het pad (van sinusvormig naar circulaire trajecten met afnemende radii) te variëren.
Optimalisatie: Het doel is een optimalisatieprobleem met een eindige horizon dat een kostenfunctie minimaliseert die cross-track fout, koersfout, snelheidsfout en straffen voor grote of snel veranderende parameters bevat.

3. Belangrijkste Bijdragen

Differentiële Simulatieplatform: Ontwikkeling van een computationeel efficiënte, differentiële simulator voor een carangiforme visachtige robot die vloeistof-structuurinteracties benadert via vereenvoudigde mechanica, wat gradiëntgebaseerd leren mogelijk maakt.
Gain-Learning PID-framework: Een nieuwe besturingsarchitectuur waarbij een neuraal netwerk leert om de parameters van een gestructureerde PID-controller in realtime te moduleren, waarbij aangepast wordt aan de padkromming en de snelheidsvereisten.
Sim-to-Real Transfer: Succesvolle implementatie van het in simulatie getrainde beleid op een fysieke robot zonder verdere fijnafstemming, wat nauwkeurige pad- en snelheidsvolging demonstreert onder reële hydrodynamische omstandigheden.
Curriculum Learning Strategie: Een trainingsregime dat systematisch variaties in snelheid en kromming introduceert om ervoor te zorgen dat het beleid stabiele regulatie leert voordat het complexe manoeuvres aanpakt.

4. Resultaten

Simulatie-resultaten

Het beleid convergeerde snel en bereikte een gemiddelde cross-track fout van ongeveer 0,01 m over sinusvormige en circulaire trajecten.
De geleerde parameters vertoonden kromming-afhankelijke modulatie: naarmate de robot in segmenten met hogere kromming kwam, namen de proportionele en integrale parameters toe, terwijl de afgeleide parameters licht afnamen om overmatige demping van noodzakelijke draaibewegingen te voorkomen.
De controller handhaafde een verwaarloosbare koersfout en volgde de referentiesnelheden succesvol, hoewel een kleine persistente snelheidsfout (~0,05 m/s) werd waargenomen tijdens snelle circulaire bochten, wat een afweging weerspiegelt tussen strikte snelheidsvolging en padvolging vanwege hydrodynamische beperkingen.

Experimentele resultaten

Het beleid werd op de fysieke robot ingezet om "I", "R", "O" en "S" gevormde trajecten te volgen bij snelheden variërend van 0,10 tot 0,25 m/s.
Volgingsprestaties: De robot volgde alle geometrische vormen succesvol. De Root-Mean-Square (RMS) cross-track fouten varieerden van 0,011 m tot 0,122 m, met over het algemeen lagere fouten bij hogere snelheden.
Gain Adaptatie: Monitoring tijdens de uitvoering bevestigde dat het beleid de yaw-parameters (sturing) dynamisch aanpaste op basis van de trajectkromming, terwijl de snelheidsparameters relatief stabiel bleven.
Stabiliteit: Het systeem vertoonde stabiel closed-loop gedrag met begrensde overschrijdingen en snelle convergentie naar de gevraagde snelheden.

5. Betekenis en Claims

Het artikel beweert dat het voorgestelde framework erin slaagt de kloof te overbruggen tussen complexe vloeistof-structuurdynamica en efficiënte besturingsleren. Door gebruik te maken van een differentiële natuurkundige simulator, stelt de auteur directe optimalisatie van besturingsbeleid via gradiëntafdaling mogelijk, waardoor de noodzaak voor handmatig ontworpen modellen of trage, weinig efficiënte RL-methoden wordt omzeild.

De betekenis van het werk ligt in:

Demonstreren van Sim-to-Real Transfer: Aantonen dat een beleid dat volledig in een vereenvoudigde simulatie is geleerd, een fysieke, wendbare zwemmende robot in echt water kan besturen.
Gestructureerde Besturing: Het behouden van de interpreteerbaarheid van PID-besturing terwijl de aanpasbaarheid van deep learning wordt benut om parameters online af te stemmen.
Wendbare Manoeuvres: Het bereiken van padvolging bij snelheden tot 2 lichaamslengtes per seconde (hoewel experimenten zich concentreerden op 0,1–0,25 m/s), een regime waarin hydrodynamische effecten complexer zijn dan in eerdere studies met lage snelheden.

De auteurs merken nederig op dat de huidige resultaten beperkt zijn tot planair zwemmen en dat toekomstig werk de driedimensionale bewegingsbesturing zal adresseren. Zij beweren niet dat zij het probleem van de modellering van vloeistof-structuurinteractie volledig hebben opgelost, maar hebben eerder een praktische, efficiënte benadering geboden die geschikt is voor besturingsgerichte leerprocessen.