⚡ electrical engineering

Multi-Objective-Optimization Assisted Data Collection Framework for IoUT Based on Offline Reinforcement

Dit artikel stelt een door meerdere AUV's ondersteund raamwerk voor datacollectie in netwerken voor informatievernieuwing voor dat gebruikmaakt van een multi-agent offline versterkingsleerbenadering met een semi-communicatie gedecentraliseerd trainingsparadigma om gelijktijdig de datarate en informatiewaarde te maximaliseren en tegelijkertijd het energieverbruik te minimaliseren en botsingsvermijding te garanderen in uitdagende onderwateromgevingen.

Oorspronkelijke auteurs: Yimian Ding, Xinqi Wang, Jingzehua Xu, Guanwen Xie, Weiyi Liu, Yi Li

Gepubliceerd 2026-05-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yimian Ding, Xinqi Wang, Jingzehua Xu, Guanwen Xie, Weiyi Liu, Yi Li

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je de oceaan voor als een gigantische, chaotische bibliotheek waar boeken (data) verspreid liggen over duizenden planken (onderwater sensoren). Het probleem is dat de bibliotheek onder water ligt, de planken hevig trillen door sterke stromingen (turbulentie), en de bibliothecarissen (Autonome Onderwater Voertuigen, of AUV's) niet goed met elkaar kunnen communiceren. Als ze proberen de bibliotheek te organiseren terwijl ze aan het werk zijn, kunnen ze tegen elkaar aanrijden, veel energie verspillen of verdwalen in het lawaai.

Dit artikel stelt een nieuwe manier voor om deze robotbibliothecarissen te trainen, zodat ze data efficiënt kunnen verzamelen zonder aan te rijden of energie te verspillen. Hier is de uitleg in eenvoudige termen:

Het Probleem: Leren tijdens het zwemmen is gevaarlijk

Traditioneel leren deze onderwaterrobots door middel van trial-and-error. Ze zwemmen rond, proberen data te pakken, maken fouten en worden langzaam beter. Maar onder water is "een fout maken" duur. Het kost batterijcapaciteit, riskeert schade aan de robot, en de oceaan is te luidruchtig en onvoorspelbaar voor hen om snel te leren. Het is alsof je probeert fietsen te leren op een gladde, stormachtige helling terwijl je blinddoek hebt.

De Oplossing: De "Studiezaal"-aanpak (Offline Versterkend Leren)

In plaats van te leren door in de echte oceaan rond te zwemmen, stellen de auteurs een "Studiezaal"-methode voor genaamd Offline Versterkend Leren.

De Dataset: Eerst gebruiken ze een zeer slimme, expert-robot om in een simulatie rond te zwemmen en een enorme hoeveelheid data te verzamelen. Dit is alsof een meesterbibliothecaris elke beweging die hij maakt om de bibliotheek perfect te organiseren, opschrijft.
De Training: De nieuwe robots zitten vervolgens in een "klaslokaal" (een computer) en bestuderen deze vooraf opgenomen data. Ze hoeven de echte oceaan niet aan te raken om te leren. Ze leren van het "huiswerk" van de expert-robot. Dit bespaart tijd en energie en voorkomt dat ze tijdens het leren tegen elkaar aanrijden.

De Samenwerkingsstrategie: "SC-DTDE"

Omdat er meerdere robots (AUV's) samenwerken, moeten ze coördineren zonder elkaar in de weg te zitten.

De Oude Manier: Ofwel spreken ze allemaal af met een centrale baas (wat traag is en vertraging veroorzaakt), ofwel handelen ze volledig alleen (wat leidt tot chaos).
De Nieuwe Manier (SC-DTDE): De auteurs hebben een "Semi-Communicatie" systeem bedacht. Stel je een groep vrienden voor die een spel spelen waarbij ze elkaar een beetje informatie kunnen fluisteren over waar ze zijn, maar ze hoeven niet hun hele levensverhaal te delen. Dit stelt hen in staat hun bewegingen te coördineren om botsingen te voorkomen zonder te wachten op trage berichten.

Het "Slimme Brein"-algoritme (MAICQL)

Om ervoor te zorgen dat de robots niet te zelfverzekerd worden en dingen proberen die ze nog niet hebben gezien (wat leidt tot crashes), gebruiken ze een speciaal algoritme genaamd MAICQL.

De Analogie: Denk hierbij aan een strenge leraar die zegt: "Je mag alleen bewegingen proberen die zeer lijken op de bewegingen van de expert die we hebben bestudeerd." Als een robot een gek nieuw pad probeert dat niet in de studienotes staat, zegt het algoritme: "Nee, dat is te riskant." Dit houdt de robots veilig en efficiënt.

Wat Ze Optimaliseerden (De Drie Doelen)

De robots proberen niet alleen data te pakken; ze proberen drie dingen tegelijk te doen, zoals een koorddanser die drie palen in evenwicht houdt:

Zo veel mogelijk data krijgen: Verzamel zoveel mogelijk "boeken" mogelijk.
De juiste data krijgen: Sommige data is urgenter dan andere (zoals een boek over een storm versus een boek over een rustige dag). Het systeem prioriteert urgente data zodat het niet "verouderd" raakt.
Energie besparen: Zwem niet in cirkels of vecht niet onnodig tegen de stroming.

Ze moeten ook "turbulente draaikolken" (oceaanstromingen) ontwijken die hen van koers kunnen brengen.

De Resultaten: Werkte Het?

De auteurs voerden simulaties uit om hun idee te testen:

Ruisbestendigheid: Zelfs toen ze "statische" ruis aan de data toevoegden om een rommelige oceaan na te bootsen, leerden de robots nog steeds goed. Ze waren robuust.
Teamgrootte: Ze testten met 1, 2 en 3 robots. Ze ontdekten dat 2 robots het sweet spot waren. Eén was te traag, maar drie veroorzaakten te veel bijna-ongevallen en botsingen.
Vergelijking: In vergelijking met andere methoden (zoals robots die gewoon kopiëren wat ze zien, of robots die de harde manier leren), verzamelde deze nieuwe methode meer data, behaalde hogere "scores" (beloningen) en was stabieler.

De Conclusie

Het artikel beweert dat door onderwaterrobots een "leesboek" met expert-bewegingen te laten bestuderen in plaats van te leren door in de echte oceaan aan te rijden, en door een slim team-coördinatie systeem te gebruiken, ze data veel sneller, veiliger en met minder energie kunnen verzamelen, zelfs in een stormachtige oceaan.

Opmerking: Het artikel richt zich volledig op de simulatie en het algoritme-ontwerp voor onderwaterdatacollectie. Het claimt niet dit te hebben getest op echte fysieke robots in de oceaan, noch bespreekt het medische of klinische toepassingen.

Technische Samenvatting: Framework voor Datacollectie Ondersteund door Multi-Objectieve Optimalisatie voor IoUT Gebaseerd op Offline Versterkend Leren

Probleemstelling
Informatie-updatenetwerken (IUN's) hebben aanzienlijke potentie voor oceaanexploratie, maar staan voor kritieke uitdagingen door dynamische onderwateromgevingen, ernstige systeemverzwakking en de beperkingen van huidige datacollectiemethoden. Traditionele benaderingen, zoals opportunistische routing en clustering, lijden vaak onder hoge communicatie- overhead en risico's op falen. Hoewel autonome onderwatervoertuigen (AUV's) mobiliteit en intelligentie bieden, leiden bestaande online methoden voor versterkend leren (RL) voor AUV-trajectplanning tot hoge rekenkosten, lage datagebruik en risico's op fysieke schade door uitgebreide interactie met de omgeving. Bovendien worstelen multi-AUV-systemen met coöperatieve controle en communicatiebeperkingen in turbulente oceaanomstandigheden.

Methodologie
Om deze problemen aan te pakken, stellen de auteurs een framework voor datacollectie met meerdere AUV's voor IUN's voor, gebaseerd op Multi-Agent Offline Versterkend Leren (MARL). De kerncomponenten van de methodologie omvatten:

Systeemmodellering:
- Omgeving: Het framework modelleert een scenario met $N$ AUV's en $\lambda$ IUN-nodes, waarbij onderscheid wordt gemaakt tussen gewone nodes en data-collecterende nodes met wachtrijen.
- Fysica en Beperkingen: Het model integreert kenmerken van onderwater akoestische kanalen (met gebruik van de Thorp-formule voor absorptie), ruismodellen (stroomveld, platform, wind, thermisch), AUV-energieverbruik (relaties tussen stuwkracht en vermogen) en een turbulente oceaanomgeving gemodelleerd via gesuperponeerde viskeuze wervelfuncties.
- Waarde van Informatie (VoI): Er wordt een metriek geïntroduceerd om de actualiteit en belangrijkheid van data te kwantificeren, die in de loop van de tijd afneemt om dringende updates te prioriteren.
- Optimalisatieformulering: De taak wordt geformuleerd als een multi-objectieve optimalisatieprobleem dat gericht is op het maximaliseren van de datarate, totale VoI en kanaalcapaciteit, terwijl het energieverbruik wordt geminimaliseerd en botsingsvermijding wordt gewaarborgd.
Algoritmeontwerp:
- SC-DTDE Paradigma: De auteurs introduceren een Semi-communicatie Gedecentraliseerd Trainen met Gedecentraliseerd Uitvoeren (SC-DTDE)-model. In tegenstelling tot volledig centraal trainen (wat vertragingen veroorzaakt) of volledig gedecentraliseerd uitvoeren (wat tot suboptimale resultaten kan leiden), stelt SC-DTDE AUV's in staat om gedeeltelijke kennis van de toestanden van andere agenten te bezitten zonder volledige uitwisseling van omgevingsinformatie tijdens de uitvoering te vereisen.
- MAICQL Algoritme: Het framework maakt gebruik van een Multi-Agent Independent Conservative Q-Learning (MAICQL)-algoritme. Dit breidt Conservative Q-Learning (CQL) uit tot een multi-agent setting om extrapolatiefouten die gebruikelijk zijn in offline RL te mitigeren.
- Trainingsproces: In plaats van directe interactie met de omgeving, traint het algoritme op een vooraf verzameld offline dataset gegenereerd door een Soft Actor-Critic (SAC)-agent die opereert in een turbulente omgeving. Het MAICQL-algoritme optimaliseert beleidslijnen door acties die afwijken van het expertdataset te bestraffen, terwijl het tegelijkertijd overschatting van waardenfuncties minimaliseert.

Belangrijkste Bijdragen

Frameworkvoorstel: Een nieuw framework voor datacollectie met meerdere AUV's, specifiek ontworpen voor IUN's in turbulente oceaanomgevingen met behulp van offline RL om interactierisico's en rekenkosten te verminderen.
Algoritme-innovatie: De ontwikkeling van het MAICQL-algoritme, dat het SC-DTDE-paradigma integreert om multi-agent samenwerking en competitie effectief te hanteren zonder directe interactie met de omgeving.
Multi-objectieve Optimalisatie: De integratie van datarate, VoI, energieverbruik en botsingsvermijding in een eenheid beloningsstructuur, waarmee de complexe afwegingen inherent aan datacollectie onder water worden aangepakt.
Robuustheidsmechanisme: Het gebruik van offline datasets met toegevoegde Gaussische ruis om real-world onzekerheden te simuleren, waardoor de robuustheid van het algoritme tegen omgevingsvariaties wordt versterkt.

Resultaten
Uitgebreide simulaties zijn uitgevoerd om het voorgestelde framework te evalueren:

Prestatiemetrieken: Het systeem toonde verbeteringen in cumulatieve beloning, totale datarate en totale VoI over trainingsepochen. Het opnemen van ruis in het dataset bleek de sampling-efficiëntie en robuustheid te verbeteren.
Vergelijkende Analyse: MAICQL presteerde beter dan Behavioral Cloning (BC), Generative Adversarial Imitation Learning (GAIL) en het Multi-Agent Soft Actor-Critic (MAISAC)-algoritme wat betreft cumulatieve beloning en stabiliteit.
Schaalbaarheid en Afwegingen: Experimenten waarbij het aantal AUV's varieerde (1, 2 en 3) toonden aan dat hoewel het verhogen van het aantal AUV's van 2 naar 3 de totale datarate verbeterde, dit ook de botsingsfrequentie aanzienlijk verhoogde. De studie identificeerde 2 AUV's als de optimale configuratie die efficiëntie en veiligheid in evenwicht brengt.
Trajectvisualisatie: Zowel in omgevingen zonder turbulentie als in turbulente omgevingen prioriteerden de getrainde AUV's succesvol dringende, nabijgelegen nodes en behielden ze effectief zweven voor datacollectie, wat de capaciteit van het framework in complexe scenario's aantoont.

Betekenis en Claims
Het artikel beweert dat het voorgestelde framework de efficiëntie, robuustheid en schaalbaarheid van datacollectie voor IUN-taken aanzienlijk verbetert. Door gebruik te maken van offline RL, vermijdt de aanpak de hoge kosten en risico's die gepaard gaan met online exploratie in gevaarlijke onderwateromgevingen. De auteurs stellen dat het SC-DTDE-model en het MAICQL-algoritme effectief de uitdagingen van multi-agent samenwerking en omgevings-turbulentie aanpakken. Het werk sluit af met de opmerking dat toekomstige inspanningen zullen focussen op "sim2real"-experimenten om het framework in fysieke omgevingen te valideren.