🤖 machine learning

Cross-Platform Control for Autonomous Surface Vehicles via Adaptive Reinforcement Learning

Dit artikel presenteert een adaptief reinforcement learning-framework dat zero-shot cross-platform trajectvolging voor autonome oppervlaktevaartuigen mogelijk maakt door een teacher-student-architectuur te gebruiken om latente platformdynamiek af te leiden uit interactiegeschiedenis, waarbij superieure prestaties op echte vaartuigen worden bereikt zonder fijnafstemming ondanks de afhankelijkheid van vereenvoudigde simulatiemodellen.

Oorspronkelijke auteurs: Ruiheng Jiang, Thomas Bi, Raffaello D'Andrea, Aswin Ramachandran

Gepubliceerd 2026-07-03

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Ruiheng Jiang, Thomas Bi, Raffaello D'Andrea, Aswin Ramachandran

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een vloot van verschillende boten hebt. Sommige zijn klein en wendbaar, zoals een speedboot, terwijl andere zwaar en traag zijn, zoals een bak. Ze hebben allemaal verschillende motoren en reageren op unieke manieren op het water.

Normaal gesproken, als je wilt dat een boot een specifiek pad volgt (zoals een lijn op een kaart), moet je voor elke boot een eigen specifieke "hersenen" bouwen. Je moet het gewicht, de weerstand in het water en de kracht van de motor van die specifieke boot bestuderen. Als je de boot vervangt, werkt het oude brein niet meer en moet je weer helemaal opnieuw beginnen.

Het Probleem:
De onderzoekers van ETH Zürich wilden een enkele "universele hersenpan" creëren die op elke boot uit deze vloot geplaatst kon worden en direct wist hoe hij moest sturen, zonder eerst de nieuwe boot te hoeven bestuderen. Dit wordt "zero-shot" deployment genoemd — wat betekent dat het direct werkt, zonder enige oefening op de nieuwe specifieke boot.

De Oplossing: De "Leraar" en de "Leerling"
Het team gebruikte een slimme tweestaps-trainingsmethode geïnspireerd op hoe mensen leren, gebruikmakend van een "Leraar" en een "Leerling" aanpak.

De Leraar (De Alwetende Mentor):
Eerst creëerden ze een "Leraar"-AI in een computersimulatie. Deze Leraar was een beetje aan het valsspelen: hij had een geheime spiekbrief. Hij kende de exacte fysica van de boot die hij bestuurde (hoe zwaar deze was, hoe snel hij kon draaien, etc.). Omdat hij deze geheimen kende, leerde hij de perfecte manier om elke boot te besturen.
De Leerling (De Detective):
Vervolgens creëerden ze een "Leerling"-AI. De Leerling mocht de spiekbrief niet zien. De Leerling moest de boot blind besturen, net zoals een echte boot in de echte wereld.
Hier zit de magische truc: De Leerling werd getraind om naar de geschiedenis te kijken van wat er gebeurde. De Leerling keek naar: "Ik zei tegen de motor dat hij naar links moest, maar de boot draaide slechts een klein beetje. Daarna zei ik dat hij naar rechts moest, en toen draaide hij te snel." Door deze eerdere interacties te analysen, leerde de Leerling de "persoonlijkheid" (de verborgen fysica) van de boot on the fly te raden. Het bouwde in feite een mentaal model van de boot terwijl het reed.

De Analogie: Leren Rijden in Verschillende Auto's
Denk aan het leren rijden.

De Leraar is als een rijinstructeur die precies weet hoeveel pk en remgevoeligheid elke auto ter wereld heeft. Zij kunnen een Ferrari of een vrachtwagen perfect besturen omdat ze de specificaties kennen.
De Leerling is een nieuwe bestuurder die achter het stuur van een auto kruipt die hij nog nooit heeft gezien. De bestuurder kent de specificaties niet. Maar na een paar seconden rijden voelt de bestuurder hoe het stuur reageert en hoe de remmen aanvoelen. De bestuurder past de rijstijl onmiddellijk aan op basis van dat "gevoel".
Het Resultaat: De Leerling leert de nieuwe auto net zo goed besturen als de Leraar, ook al heeft de Leerling de handleiding van de auto nooit gezien.

Wat Ze in de Praktijk Deden
De onderzoekers testten dit op twee zeer verschillende echte boten (Platform A en Platform B).

Ze trainden de AI met behulp van een zeer eenvoudig, snel computermodel (geen super complexe, trage fysica-simulator).
Ze plaatsten de AI vervolgens op de echte boten zonder extra afstelling.
De Uitkomst: De "Leerling"-AI presteerde bijna net zo goed als een op maat gemaakte controller die specifiek voor die boot was gebouwd. Sterker nog, op de ene boot verminderde het de fout (hoe ver de boot van het pad afweek) met 58% vergeleken met een standaard AI die niet over deze "detective"-capaciteit beschikte.

Waarom Dit Belangrijk Is
Dit betekent dat we niet wekenlang een nieuwe controller hoeven te ontwerpen voor elke nieuwe boot die we bouwen. We kunnen één slim systeem trainen dat zich aanpast aan welke boot het ook krijgt, wat het veel gemakkelijker maakt om vloten van verschillende autonome boten in te zetten voor taken zoals het monitoren van de waterkwaliteit, het zoeken naar overlevenden, of gewoon voor het plezier op het water.

Beperkingen
De paper merkt op dat dit het beste werkt voor boten die met normale snelheden varen. Het kan moeite hebben met boten die "planen" (over het water glijden bij hoge snelheden) of met het omgaan met extreme golven, omdat het eenvoudige model dat voor de training werd gebruikt, deze extreme fysica niet dekt. Maar voor standaard operaties is het een krachtige nieuwe manier om robots op het water te besturen.

Technische Samenvatting: Cross-platform Controle voor Autonome Surface Vehicles via Adaptief Reinforcement Learning

1. Probleemstelling

Autonome Surface Vehicles (ASV's) vertonen een aanzienlijke diversiteit in hydrodynamische en actuatiekarakteristieken. Huidige controlesystemen kampen met een implementatiebottleneck:

Modelgebaseerde controllers (bijv. MPC) vereisen nauwkeurige systeemidentificatie en platformspecifieke afstemming, wat arbeidsintensief is voor heterogene vloten.
Standaard Reinforcement Learning (RL)-benaderingen worden doorgaans getraind op één enkel, vast platform of een simulator die de specifieke dynamica van het doelplatform accuraat moet vastleggen. Het implementeren van deze policies op een nieuw vaartuig vereist gewoonlijk heridentificatie en hertraining.

De kernuitdaging is het ontwikkelen van een enkele, generalistische controller die in staat is tot zero-shot deployment over verschillende ASV-platforms van dezelfde klasse, zonder voorafgaande kennis van de dynamica van het te implementeren platform of per-platform verfijning. Dit wordt geformuleerd als een probleem van gedeeltelijke observeerbaarheid, waarbij de ware systeemdynamica ( $\theta$ ) op het moment van implementatie onbekend is, waardoor de toestand gedeeltelijk observeerbaar is ondanks de Markoviaanse aard van de onderliggende fysica.

2. Methodologie

De auteurs stellen een adaptief reinforcement learning-framework voor dat gebruikmaakt van een Teacher–Student-architectuur om latente dynamica te extraheren uit interactiegeschiedenis.

A. Systeemdynamica en Formulering

Model: Het systeem gebruikt een vereenvoudigd 3-DoF (surge, sway, yaw) horizontaal-planair model gebaseerd op de Fossen-formulering. De dynamica wordt geparametriseerd door zeven fysieke parameters ( $\theta$ ), waaronder massa, toegevoegde massa-coëfficiënten, lineaire demping en traagheid.
MDP-formulering: Trajectvolging wordt geformuleerd als een Partially Observable Markov Decision Process (POMDP). De toestand $s_t$ is observeerbaar, maar de dynamica-parameter $\theta$ is dat niet. De policy conditioneert op de interactiegeschiedenis om benaderde Markoviaanse eigenschappen te herstellen.
Actieruimte: De policy geeft genormaliseerde body-frame kracht- en koppelcommando's uit ( $\bar{\tau} \in [-1, 1]^3$ ). Deze worden bij implementatie geschaald door platformspecifieke actuatorlimieten, waardoor de policy ontkoppeld wordt van absolute krachtmagnitudes.

B. Teacher–Student-architectuur

De aanpak maakt gebruik van een tweefasige trainingspijplijn geïnspireerd door privileged learning:

Fase 1: Teacher Training (Privileged Learning)
- Een "Teacher"-policy wordt getraind in simulatie met toegang tot een geprivilegieerdeerde vector $e \in \mathbb{R}^9$ . Deze vector codeert de genormaliseerde dynamica-parameters (piekversnellingen, dempingssnelheden en Coriolis-koppelingscoëfficiënten) afgeleid van de 3-DoF bewegingsvergelijkingen.
- De teacher leert een latente representatie $z = \mu(e)$ van de systeemdynamica.
- Training maakt gebruik van Proximal Policy Optimization (PPO) met domain randomization over een breed scala aan dynamica-parameters.
Fase 2: Student Training (Adaptatie)
- De geprivilegieerde vector $e$ wordt verwijderd. De encoder $\mu$ wordt vervangen door een Adapter-module $\phi$ .
- De Adapter, geïmplementeerd als een Gated Recurrent Unit (GRU) gevolgd door een MLP, schat de latente representatie $\hat{z}$ uitsluitend op basis van de interactiegeschiedenis $h_t$ (recente verschillen in toestand, snelheden en genormaliseerde acties).
- De Student policy (de bevroren Teacher's actor) is geconditioneerd op de schatting $\hat{z}$ van de Adapter.
- De Adapter wordt getraind via supervised learning om de reconstructiefout $\|\hat{z} - z\|^2$ te minimaliseren, waarbij $z$ de grondwaarheid van de latente waarde uit Fase 1 is.

C. Trainingsopzet

Simulatie: De training vertrouwt op een lichtgewicht analytisch dynamica-model in plaats van een hoogwaardige hydrodynamische simulator.
Curriculum: Een progressief curriculum verhoogt de moeilijkheidsgraad door het bereik van gerandomiseerde dynamica-parameters en trajectcomplexiteit (van rechte lijnen naar scherpe bochten) uit te breiden.
Storingen: Omgevingsstoringen (stromingen, wind, golven) worden gemodelleerd als Ornstein–Uhlenbeck-processen. Actuatorvertragingen worden gerandomiseerd.
Beloning: Een samengestelde beloningsfunctie bevat termen voor positie-, koers- en snelheidsvolging, evenals hulpbonussen voor voorwaartse beweging en straffen voor zijwaartse drift, excessieve gierbeweging en actiemagnitude/gladheid.

3. Belangrijkste Bijdragen

Zero-Shot Cross-Platform Policy: De eerste demonstratie van een enkele RL-policy die zero-shot wordt ingezet op verschillende onderscheidende ASV-platforms (dezelfde klasse, verschillende dynamica) zonder hertraining of systeemidentificatie.
Teacher–Student Adaptatie: De adaptatie van het legged locomotion teacher–student framework naar maritieme robotica, wat de inferentie van latente dynamica mogelijk maakt op basis van interactiegeschiedenis alleen.
Vereenvoudigde Trainingspijplijn: De methode bereikt hoge prestaties met behulp van enkel een eenvoudig 3-DoF analytisch model, waardoor de computationele kosten en complexiteit van hoogwaardige hydrodynamische simulators worden vermeden.
Interpreteerbaarheid: De geleerde latente ruimte vangt de relevante dynamica effectief op, waarbij principal component analysis aantoont dat de 9-dimensionale latente ruimte een laag-dimensionale subruimte inneemt.

4. Experimentele Resultaten

A. Real-World Experimenten

Experimenten werden uitgevoerd op twee verschillende fysieke platforms (Platform A en Platform B) met verschillende massa's, traagheden en actuatiegrenzen.

Prestaties: De adaptieve Student-policy bereikte een Position Mean Absolute Error (MAE) van 4,0 cm op beide platforms.
Vergelijking:
- Presteerde beter dan de niet-adaptieve algemene PPO-baseline met wel 58% (Platform B: 4,0 cm vs. 9,5 cm).
- Presteerde beter dan de platformspecifieke PPO-baseline (getraind op slechts één platform) in positiefout.
- Benaderde de volg nauwkeurigheid van een platformspecifiek afgestemde Model Predictive Controller (MPC) (Student: 4,0 cm vs. MPC: 4,1–4,6 cm).
Koers: De Student behaalde een vergelijkbare of betere koersnauwkeurigheid dan de niet-adaptieve baselines.

B. Simulatie-experimenten

Simulaties over vijf platforms (inclusief Roboat-varianten) onder ideale omstandigheden bevestigden de resultaten uit de echte wereld:

De Student verminderde de positiefout met 44% en de koersfout met 55% vergeleken met de niet-adaptieve algemene PPO.
De Student presteerde vrijwel identiek aan de "Teacher" (oracle) policy, wat valideert dat de Adapter de noodzakelijke latente informatie succesvol herstelt.
Ablatie-studies toonden aan dat het vervangen van de output van de Adapter door een statische gemiddelde latente waarde ("Student avg. z") de volgfout meer dan verdubbelde, wat de noodzaak van online adaptatie bevestigt.

5. Betekenis en Claims

Het artikel claimt dat dit werk een praktisch recept biedt voor generalistische ASV-controle. Door te conditioneren op interactiegeschiedenis kan een enkele policy over een heterogene vloot van verschillende vaartuigen generaliseren zonder de engineeringoverhead van per-platform afstemming of identificatie.

Efficiëntie: De volledige trainingspijplijn (Teacher en Student fasen) wordt voltooid in ongeveer 30 minuten op een enkele consumenten-GPU (NVIDIA RTX 4090).
Schaalbaarheid: De aanpak verwijdert de "per-platform bottleneck", waardoor de inzet van heterogene vloten met een uniforme controlestrategie mogelijk wordt.
Bescheidenheid over Limitaties: De auteurs erkennen dat het huidige 3-DoF model met lineaire demping geldig is voor lage-snelheid verplaatsingsregimes. De adapter gaat om met snelheid-afhankelijke effecten (zoals kwadratische weerstand) door de effectieve demping binnen het gerandomiseerde bereik opnieuw te schatten, maar de aanpak dekt nog niet de hoge-snelheid planing of sterke heave/roll/pitch koppeling. Toekomstig werk suggereert online continue adaptatie en een hechtere integratie met modelgebaseerde controle-objectieven.