Cross domain Persistent Monitoring for Hybrid Aerial Underwater Vehicles

Titel: Cross-domein Persistent Monitoring voor Hybride Lucht-Water Voertuigen (HUAUVs)

1. Probleemstelling

Hybride Onbemande Lucht-Water Voertuigen (HUAUVs) hebben het potentieel om inspectie, kaartopname en zoek- en reddingsoperaties te optimaliseren door zowel in de lucht als onder water te opereren. Echter, het ontwikkelen van autonome besturingsmethodologieën voor deze voertuigen is complex vanwege de fundamenteel verschillende dynamieken en beperkingen van de twee domeinen:

• Lucht: Beïnvloed door wind en energie-autonomie.
• Onder water: Beïnvloed door stroming, turbiditeit en hydrodynamische weerstand.

Specifiek voor persistent monitoring (continue herhaalde observatie van een gebied of doelen) ontbreekt er nog wetenschappelijke bijdrage voor cross-domein methoden. Traditionele benaderingen vereisen vaak aparte modellen voor lucht en water, of zijn afhankelijk van visuele informatie (camera's) of GPS, wat in beide omgevingen beperkingen kent (bijv. geen GPS onder water, slechte zichtbaarheid). De uitdaging is om een enkele, schaalbare policy te creëren die effectief werkt in beide domeinen zonder visuele of positiële informatie, uitsluitend gebaseerd op afstandssensoren.

2. Methodologie

De auteurs presenteren een raamwerk dat Deep Reinforcement Learning (DRL) combineert met Transfer Learning om een unificatie van de besturingspolicy te bereiken.

• Sensoren en Waarneming:

  • Het voertuig gebruikt een LiDAR voor luchtwaarneming en een Sonar (Forward-Looking Sonar) voor onderwaterwaarneming.
  • De policy maakt geen gebruik van visuele beelden of GPS-coördinaten, maar baseert zich op afstandsmetingen (range data) en geschatte posities van doelen.
  • De observatie omvat de huidige 2D-toestand van het voertuig en de geschatte posities van $N$ mobiele doelen.

• Doel en Uncertainty Model:

  • De taak is om de onzekerheid ($\sigma$) van meerdere mobiele doelen (die zich bewegen volgens Lissajous-curves) te minimaliseren.
  • De onzekerheid van een doel groeit lineair in de tijd, tenzij het voertuig binnen de sensordiepte ($r_{sense}$) komt, waarbij de onzekerheid wordt gereset naar nul.
  • De beloning (reward) wordt gegeven wanneer de agent de onzekerheid van een doel succesvol verlaagt.

• DRL Architectuur (DSAC):

  • Er wordt gebruik gemaakt van Distributional Soft Actor-Critic (DSAC). In tegenstelling tot standaard DRL dat alleen de verwachte waarde leert, modelleert DSAC de volledige verdeling van de toekomstige beloningen. Dit verbetert de stabiliteit en het vermogen om onzekerheid te modelleren in continue controle-taken.
  • De policy wordt getraind in een parallelle, gedistribueerde setup met 5 simulatie-workers om de leerprocessen te versnellen.

• Transfer Learning Strategie:

  • Training: De agent wordt uitsluitend getraind in de luchtdomein-simulatie (met LiDAR en lucht-dynamica).
  • Zero-Shot Transfer: De getrainde policy wordt vervolgens direct toegepast in het onderwaterdomein (met Sonar en water-dynamica) zonder verdere fine-tuning of hertraining.
  • Ondanks dat de onderliggende dynamica ($f_{air}$ vs $f_{water}$) en de sensorruis verschillen, deelt de policy dezelfde state- en action-ruimte, wat de overdracht mogelijk maakt.

• Simulatieomgeving:

  • Gebaseerd op Gazebo, ROS, RotorS (voor lucht) en UUV Simulator (voor water).
  • Twee scenario's: Een obstakelvrije omgeving (Env 1) en een omgeving met vier cilindrische obstakels die boorpijpleidingen simuleren (Env 2).

3. Belangrijkste Bijdragen

1. Proof-of-Concept voor Cross-Domein Monitoring: Het aantonen dat een enkele DRL-policy, getraind op LiDAR-data in de lucht, succesvol kan worden overgedragen naar Sonar-data onder water voor persistent monitoring.
2. Gedistribueerde Parallelle DRL: Een trainingsopzet die het leren versnelt en schaalbaarheid biedt voor complexere scenario's.
3. Superieure Prestaties t.o.v. Baselines: Het bewijzen dat de DRL-benadering robuuster is dan een gedragsgebaseerde baseline (Bug2-algoritme) in termen van taakvoltooiingstijd en het handhaven van lage doel-onzekerheid, zowel in de lucht als na zero-shot transfer naar het water.
4. Sensordata-onafhankelijkheid: Een methode die werkt zonder visuele of GPS-informatie, wat cruciaal is voor robuustheid in uitdagende omgevingen.

4. Resultaten

De resultaten zijn gebaseerd op 100 trials in twee omgevingen (met en zonder obstakels) voor zowel lucht als water.

• Vergelijking met Bug2-baseline:
  • De DSAC-policy presteerde significant beter dan de Bug2-baseline.
  • Onzekerheid: De gemiddelde onzekerheid ($\bar{\sigma}$) van de doelen was lager bij DSAC. Bijvoorbeeld, in de lucht (Env 1) was de gemiddelde onzekerheid voor DSAC rond de 9.0-9.9, terwijl Bug2 rond de 10.2-12.5 lag. Onder water (Env 1) was DSAC rond de 23.8-27.7, terwijl Bug2 rond de 35.5-42.1 lag.
  • Tijd: Hoewel de absolute tijden variëren, toont DSAC een efficiënter patroon in het resetten van onzekerheid en het vermijden van lange omwegen rond obstakels.
• Zero-Shot Transfer:
  • De policy, getraind in de lucht, slaagde erin om direct effectief te presteren onder water. Hoewel de dynamica anders is (langzamere acceleratie, meer weerstand), behield de agent het vermogen om doelen te volgen en onzekerheid te minimaliseren.
  • De prestaties onder water waren vergelijkbaar met die in de lucht, wat aantoont dat de policy de domeinverschuiving (domain shift) heeft overbrugd.
• Obstakelvermijding: In de omgeving met obstakels (Env 2) toonde de DRL-agent een beter vermogen om simultaan doelen te monitoren en obstakels te vermijden vergeleken met de Bug2-baseline, die vaker vastliep of inefficiënte routes volgde.

5. Betekenis en Toekomstperspectief

• Significantie: Dit werk legt de basis voor schaalbare, autonome persistent monitoring-oplossingen voor hybride voertuigen. Het bewijst dat DRL en Transfer Learning de complexiteit van cross-domein operaties kunnen hanteren zonder de noodzaak van gescheiden modellen of zware sensorfusie (zoals camera's).
• Toepassingen: De technologie is direct toepasbaar voor inspectie van olieplatforms, onderwaterindustrie, en zoek- en reddingsoperaties in moeilijke scenario's.
• Beperkingen en Toekomstig Werk:
  • De huidige studie is beperkt tot een 2D-abtractie en een vereenvoudigd lineair onzekerheidsmodel.
  • Toekomstig werk richt zich op het uitbreiden naar 3D-dynamica (diepte/hoogte), het integreren van ruis in sensoren, het omgaan met occlusies (verduistering), en het testen met meerdere agents voor gecoördineerde operaties.
  • Er is ook plannen om de architectuur te testen in echte HUAUV-deployments.

Conclusie: Het artikel demonstreert dat een enkele, op DRL gebaseerde policy, getraind in de lucht, effectief kan worden overgedragen naar onderwateromgevingen voor persistent monitoring, wat een grote stap is naar robuuste en veelzijdige autonome hybride voertuigen.