Cross domain Persistent Monitoring for Hybrid Aerial Underwater Vehicles

Titolo: Monitoraggio Persistente Cross-Domain per Veicoli Ibridi Aerei-Sottomarini (HUAUV)

1. Il Problema

I Veicoli Unmanned Ibridi Aerei-Sottomarini (HUAUV) sono piattaforme emergenti capaci di operare sia in aria che sott'acqua, offrendo soluzioni per ispezione, mappatura e ricerca e soccorso in scenari complessi. Tuttavia, lo sviluppo di metodi di controllo autonomo per questi veicoli presenta sfide significative a causa delle dinamiche e dei vincoli radicalmente diversi tra i due domini (es. resistenza dell'aria vs. resistenza idrodinamica, turbolenza vs. correnti, visibilità ottica vs. opacità dell'acqua).
Attualmente, manca una metodologia unificata che permetta a un singolo agente di eseguire compiti di monitoraggio persistente (osservazione continua o ripetuta di un'area o di target mobili) in entrambi gli ambienti senza dover riaddestrare il sistema da zero per ogni dominio. Inoltre, l'uso di sensori visivi (camere) o GPS è spesso limitato o inaffidabile in questi contesti, rendendo necessario un approccio basato su sensori di portata (range sensors).

2. Metodologia Proposta

Gli autori propongono un framework basato su Deep Reinforcement Learning (DRL) e Transfer Learning per abilitare il monitoraggio persistente cross-domain.

• Architettura e Sensori:

  • Il sistema utilizza un agente DRL che riceve input da sensori di portata: Lidar per l'ambiente aereo e Sonar per quello subacqueo.
  • L'agente non utilizza informazioni visive o di posizione assoluta (GPS), ma si basa sullo stato 2D del veicolo e sulle stime rumorose delle posizioni dei target.
  • L'obiettivo è ridurre l'incertezza ($\sigma$) associata a $N$ target mobili che seguono traiettorie predefinite (curve di Lissajous). L'incertezza cresce linearmente nel tempo e viene azzerata quando il veicolo entra nel raggio di sensing del target.

• Algoritmo di Apprendimento:

  • Viene utilizzato DSAC (Distributional Soft Actor-Critic), una variante di SAC che modella l'intera distribuzione dei ritorni (return distribution) invece di un valore scalare. Questo migliora la stabilità e la gestione dell'incertezza in compiti di controllo continuo.
  • L'addestramento avviene in un ambiente simulato aereo (dominio sorgente) utilizzando dati Lidar.
  • Viene impiegata una configurazione di DRL parallelo distribuito con 5 worker per accelerare la raccolta dei dati e l'addestramento.

• Transfer Learning (Zero-Shot):

  • La politica appresa nel dominio aereo viene trasferita senza ulteriore riaddestramento (zero-shot transfer) al dominio subacqueo.
  • Nonostante le dinamiche del veicolo cambino drasticamente (da $f_{air}$ a $f_{water}$ a causa della resistenza idrodinamica e delle accelerazioni più lente), la stessa architettura di rete e la stessa politica $\pi_\phi$ vengono utilizzate in entrambi i domini.

• Ambienti di Simulazione:

  • Simulazione basata su Gazebo e ROS, integrando i framework RotorS (per l'aria) e UUV Simulator (per l'acqua).
  • Due scenari: un ambiente privo di ostacoli (Env 1) e uno con ostacoli cilindrici che simulano colonne di perforazione (Env 2).

3. Contributi Chiave

1. Metodologia Cross-Domain: Dimostrazione che una singola politica DRL può essere addestrata su dati Lidar (aria) e trasferita con successo su dati Sonar (acqua) per compiti di monitoraggio persistente, evitando la necessità di sensori visivi o GPS.
2. Addestramento Parallelo Distribuito: Proposta di un setup di addestramento DRL parallelo che accelera l'apprendimento della politica e ne migliora la scalabilità.
3. Validazione Zero-Shot: Evidenza sperimentale che la politica appresa in aria funziona efficacemente sott'acqua senza fine-tuning, gestendo le diverse dinamiche del veicolo.
4. Analisi Comparativa: Confronto sistematico contro un baseline comportamentale (algoritmo stile Bug2), dimostrando la superiorità dell'approccio DRL in termini di efficienza e robustezza.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su 100 trial in entrambi i domini e in entrambi gli scenari (con e senza ostacoli). I risultati chiave includono:

• Performance di Monitoraggio: La politica DSAC riduce l'incertezza media dei target ($\bar{\sigma}_i$) in modo più efficiente rispetto al baseline Bug2.
  • Esempio (Env 1, dominio aereo): DSAC ha un'incertezza media di ~9.9, contro ~10.3 di Bug2.
  • Esempio (Env 2, dominio subacqueo): DSAC mantiene un'incertezza media significativamente inferiore (es. 26.62 vs 36.92 per il primo target) rispetto al baseline.
• Tempo di Visita: DSAC riduce il tempo medio necessario per visitare i target per la prima volta, specialmente in ambienti complessi con ostacoli dove Bug2 tende a intralciarsi o richiedere percorsi più lunghi.
• Robustezza al Transfer: La politica trasferita dall'aria all'acqua ha mantenuto prestazioni elevate, con un'incertezza media sui target molto simile a quella ottenuta nel dominio di addestramento, confermando la capacità di generalizzazione del modello.
• Gestione degli Ostacoli: In presenza di ostacoli (Env 2), DSAC dimostra una migliore capacità di coordinamento tra copertura del target ed evitamento ostacoli rispetto all'approccio reattivo di Bug2.

5. Significato e Implicazioni

Questo lavoro rappresenta un passo fondamentale verso soluzioni autonome scalabili per veicoli ibridi.

• Efficienza Operativa: La capacità di utilizzare un'unica politica per due domini fisici distinti riduce drasticamente la complessità di sviluppo e i costi computazionali, eliminando la necessità di addestrare modelli separati per aria e acqua.
• Indipendenza dai Sensori Visivi: L'uso di sensori di portata (Lidar/Sonar) rende il sistema robusto in condizioni ambientali avverse (buio, acqua torbida, nebbia), dove le telecamere fallirebbero.
• Scalabilità: L'approccio basato su DRL e transfer learning offre una base solida per futuri scenari più complessi, come il monitoraggio 3D, la coordinazione multi-agente e missioni di ricerca e soccorso in scenari reali.

In sintesi, il paper dimostra che l'apprendimento per rinforzo distribuito, combinato con tecniche di transfer learning, può superare le barriere fisiche tra aria e acqua, abilitando veicoli ibridi a svolgere compiti di monitoraggio continuo in modo autonomo ed efficiente.