Sim-to-reality adaptation for Deep Reinforcement Learning applied to an underwater docking application

Dit artikel presenteert een effectieve sim-naar-realiteit aanpak voor diepe versterkingslering, waarbij een Girona AUV met succes wordt getraind in een vermenigvuldigde Stonefish-simulatie om autonome onderwaterdokking met een slagingspercentage van meer dan 90% te realiseren en te valideren in een fysiek testtank.

De kern

De Kunst van het Zee-Dokken: Hoe een AI-onderzeeër leert om te landen zonder te crashen

Stel je voor dat je een drone moet besturen die een heel klein gat in een muur moet vinden en binnenvliegen, maar dan in de diepe zee. En niet zomaar een drone, maar een zware, onderwaterrobot die stroomt, golven en trillingen moet doorstaan. Dat is precies wat deze paper beschrijft: hoe onderzoekers een kunstmatige intelligentie (AI) hebben getraind om een onderwaterrobot (een AUV) veilig te laten "doken" in een laadstation.

Hier is het verhaal, vertaald naar alledaagse taal:

1. Het Probleem: De "Simulatie-Val"

Vroeger leerden robots door duizenden keren te oefenen in de echte wereld. Dat is duur, gevaarlijk en traag. Als een robot in de zee crasht, is hij kapot.
Daarom trainen wetenschappers robots eerst in een virtuele wereld (een computerspelletje). Maar hier zit de adder onder het gras: wat in het spel perfect werkt, faalt vaak in de echte wereld. Het is alsof je vliegen leren in een zwembad, en dan hopen dat je kunt vliegen in de lucht. De lucht is anders dan het water. Dit noemen ze de "sim-to-real" kloof.

2. De Oplossing: Een Super-Realistische Digitale Tweeling

De onderzoekers van de Universiteit van Girona (Spanje) hebben een oplossing bedacht. Ze hebben een digitale tweeling gemaakt van hun robot, genaamd Stonefish.

• De Digitale Werkplaats: In plaats van één robot te laten oefenen, lieten ze 20 robots tegelijkertijd in de computer oefenen. Het is alsof je 20 studenten tegelijk laat studeren in plaats van één.
• De Realiteit: Ze zorgden dat de computerwereld niet te mooi was. Ze voegden ruis toe aan de camera's (alsof het water troebel is) en zorgden dat botsingen echt voelbaar waren. Als de robot in de computer tegen een muur bonkte, kreeg hij een "schok" in zijn systeem, net als in het echt.

3. De Trainer: De PPO-Methode

Hoe leer je een robot? Je gebruikt een methode genaamd PPO (Proximal Policy Optimization).

• De Analogie: Stel je voor dat je een hond traint om een bal te vangen.
  • Als de hond de bal raakt, krijgt hij een snoepje (beloning).
  • Als hij tegen de muur botst, krijgt hij een kleine tik (straf).
  • Als hij te hard remt en schokkerig beweegt, krijgt hij ook een tik.
• De AI probeert miljoenen keren de snoepjes te maximaliseren en de tikken te minimaliseren. Uiteindelijk leert hij niet alleen waar hij moet zijn, maar ook hoe hij daar moet komen: soepel en zonder te schokken.

4. De Geniale Trucs die de AI Zelf Ontwikkelde

Het meest fascinerende deel is dat de AI dingen leerde die de mensen niet hadden bedacht. De onderzoekers gaven de robot geen specifieke instructies over hoe hij moest remmen of draaien. De AI vond het zelf uit:

• Het "Pitch-Bremsen": De robot leerde dat hij zijn neus iets omhoog kon duwen om te remmen, net zoals een auto remt door de wielen te blokkeren, maar dan met water.
• Het "Glijden": De robot begon te trillen (te wiebelen) met zijn staart (het gieren) terwijl hij het station naderde. Dit leek raar, maar het hielp hem precies in het gat te glijden, alsof hij een sleutel in een slot draait om hem makkelijker te laten vallen.

5. De Echte Test: Van Scherm naar Zee

Na 3 uur trainen in de computer (wat normaal maanden zou duren), was het tijd voor de echte test.
Ze namen de robot mee naar een groot testbad (een zwembad) en lieten hem los.

• Het Resultaat: In de computer slaagde de robot in 90% van de gevallen. In het echte bad slaagde hij in 8 van de 10 keer.
• De Conclusie: De robot deed precies hetzelfde als in de computer: hij remde met zijn neus omhoog en wiebelde om in het gat te komen. De "kloof" tussen de virtuele wereld en de echte wereld was overbrugd.

Samenvatting in één zin

De onderzoekers hebben een robot getraind in een super-realistisch computerspel, waarbij de AI zelf slimme trucs bedacht om veilig te landen, en die trucjes bleken in het echte water net zo goed te werken als in de simulatie.

Dit is een grote stap vooruit voor de toekomst, waar robots misschien zelfstandig onderwater batterijen kunnen opladen of schepen kunnen repareren zonder dat een mens erbij hoeft te zijn.

Technische samenvatting

Probleemstelling

De paper adresseert de uitdagingen bij het toepassen van Deep Reinforcement Learning (DRL) voor autonoom onderwater dokken (docking) met een Autonomous Underwater Vehicle (AUV). Hoewel DRL een robuust alternatief biedt voor traditionele besturingsmethoden (zoals PID of MPC) door zich aan te passen aan onvoorspelbare omgevingscondities, zijn er twee grote knelpunten voor praktische inzet:

1. De "Sim-to-Real" kloof: Het is moeilijk om beleid dat in simulatie is getraind, succesvol over te brengen naar fysieke hardware vanwege verschillen in dynamica, sensorruis en onzekerheid.
2. Trainingslatentie: Het trainen van DRL-modellen vereist vaak enorme hoeveelheden tijd en rekenkracht, wat de ontwikkeling vertraagt.

Specifiek voor onderwater docking zijn uitdagingen zoals zeestromingen, sensorruis en de noodzaak van zachte contacten met het dokstation (DS) kritiek. Traditionele methoden falen vaak onder deze complexe omstandigheden.

Methodologie

De auteurs presenteren een systematische aanpak voor het trainen en implementeren van een DRL-agent voor de Girona AUV.

1. Simulatieomgeving (Digital Twin)

• Simulator: Er wordt gebruikgemaakt van de Stonefish-simulator, een hoog-trouwheidsomgeving die hydrodynamisch gedrag, botsingsmodellen en sensorruis nauwkeurig nabootst.
• Versnelling: Om de trainingslatentie te verminderen, is Stonefish aangepast tot een multiprocessing RL-framework. Dit maakt het mogelijk om 20 parallelle trainingsdraden (threads) plus één evaluatiedraad tegelijkertijd te draaien. Hoewel dit minder is dan sommige andere platforms (zoals Isaac Sim), garandeert het realistische hydrodynamica.
• Omgeving: De training vindt plaats in een "headless" modus (zonder grafische interface) om snelheid te maximaliseren, terwijl evaluatie met een GUI gebeurt.

2. Probleemformulering (MDP)
Het docken wordt gemodelleerd als een Markov Decision Process (MDP):

• State Space (Waarneming): De agent ontvangt een toestand vector die bestaat uit:
  • Translatiefouten ($e_x, e_y, e_z$) ten opzichte van het dokstation.
  • Gierfout ($e_\psi$).
  • Lineaire en hoeksnelheden.
  • Versnellingen gemeten door de IMU.
  • Belangrijk: Er wordt Gaussische ruis toegevoegd aan de observaties, afhankelijk van de afstand en zichtbaarheid, om overfitting op perfecte simulatiewaarden te voorkomen en de overdracht naar de realiteit te vergemakkelijken.
• Action Space (Actie): De agent stuurt een 6-DoF (Degrees of Freedom) kracht- en koppelvector ($F_x, F_y, F_z, T_r, T_p, T_\psi$) aan. Hoewel de AUV slechts vijf thrusters heeft en roll niet direct kan activeren, wordt de 6-DoF structuur behouden voor generalisatie.
• Reward Functie: De beloning is een som van meerdere componenten:
  • Afstandsbeloning: Straat op basis van de Mahalanobis-afstand (met prioriteit voor X en Y-as).
  • Hoekbeloning: Straat op basis van de yaw-fout.
  • Smoothness: Straat voor grote variaties tussen opeenvolgende acties (voor soepele besturing).
  • Botsingsstraf: Een adaptieve straf die gebaseerd is op versnellingsvariaties, zodat de agent "zacht" moet landen.
  • Missiebeloning: Een hoge beloning voor succesvol docken en een straf voor gefaalde pogingen.

3. Algorithmes
Het Proximal Policy Optimization (PPO) algoritme is gekozen als de primaire methode. Hoewel Soft Actor-Critic (SAC) ook werd geëvalueerd, bleek PPO superieure stabiliteit en prestaties te bieden tijdens fysieke experimenten.

Belangrijkste Bijdragen

1. Multiprocessing Stonefish: Aanpassing van de Stonefish-simulator naar een multiprocessing-framework, wat de leersnelheid aanzienlijk verhoogt terwijl realistische hydrodynamica behouden blijft.
2. Hoog-trouwheidsomgeving: Integratie van realistische AUV-dynamica, nauwkeurige botsingsmodellen en sensorruis om de sim-to-real kloof te minimaliseren.
3. Integratie met Servoing: Combinatie van positie-gebaseerde visuele servoing (via een 3DBM marker) met DRL als robuuste vervanging voor standaard besturingssystemen.
4. Fysieke Validatie: Succesvolle demonstratie van autonoom docken in een fysiek testtank met de Girona AUV, wat een zeldzame en waardevolle overdracht is in dit onderzoeksgebied.

Resultaten

• Simulatie: De agent bereikte een succescapaciteit van meer dan 90% in de simulatie. Het trainingsproces duurde ongeveer 3 uur op een standaard workstation (Intel i7, RTX 4060).
• Fysiek Experiment (Test Tank): In een testtank van 19x9x5 meter werden 10 missies uitgevoerd. 8 van de 10 missies waren succesvol.
• Emergent Gedrag: De agent ontwikkelde geavanceerde tactieken zonder expliciete programmering:
  • Pitch-remming: Het gebruik van pitch-bewegingen om snelheid te minderen bij het naderen van het dok.
  • Yaw-oscillaties: Kleine schommelingen in de yaw-as om mechanische uitlijning te vergemakkelijken en het schip in de geleidingsfunnels te laten glijden zonder botsingstraffen te activeren.
• Vergelijking: De krachten en momenten in de fysieke tests vertoonden een zeer sterke overeenkomst met de simulatie, wat de effectiviteit van de sim-to-real aanpassing bevestigt.

Betekenis en Conclusie

Deze paper demonstreert dat het combineren van een hoog-trouwheids digitale twin (Stonefish) met een robuuste reward-shaping strategie en multiprocessing training een betrouwbare pijplijn biedt voor het inzetten van DRL in complexe onderwateromgevingen.

De studie overbrugt de kloof tussen simulatie en realiteit door:

1. Realistische sensorruis en onzekerheid in de training te integreren.
2. Fysieke interacties (botsingen) correct te modelleren.
3. De software-architectuur in simulatie exact af te stemmen op de realiteit (via ROS interfaces).

De resultaten tonen aan dat DRL niet alleen robuuster is dan traditionele PID/MPC controllers bij onvoorspelbare omstandigheden, maar ook emergent gedrag kan ontwikkelen dat essentieel is voor succesvol onderwater docken. Toekomstig werk richt zich op het introduceren van dynamische stromingen en het randomiseren van thruster-posities tijdens training om de robuustheid verder te vergroten.