Sim-to-reality adaptation for Deep Reinforcement Learning applied to an underwater docking application

Questo articolo presenta un approccio sistematico per l'attracco autonomo di un AUV basato sull'apprendimento per rinforzo profondo, che utilizza un gemello digitale ad alta fedeltà per colmare il divario tra simulazione e realtà, ottenendo un tasso di successo superiore al 90% in simulazione e una validazione efficace in un bacino di prova fisico.

L'essenziale

Immagina di dover insegnare a un sottomarino robotico come attraccare in un porto sottomarino, ma senza mai toccare l'acqua reale durante l'allenamento. Sembra impossibile, vero? È come se volessi imparare a guidare un'auto da corsa su una pista di ghiaccio, ma dovessi farlo prima su un simulatore al computer. Il problema è che quando esci dal simulatore e ti trovi sulla pista vera, il ghiaccio è diverso, l'auto scivola in modo diverso e potresti finire fuori strada.

Questo è esattamente il problema che gli autori di questo articolo, provenienti dall'Università di Girona in Spagna, hanno risolto. Ecco la loro storia raccontata in modo semplice:

1. Il "Gemello Digitale" Perfetto

Invece di far allenare il robot nell'acqua vera (che è rischioso, costoso e lento), hanno creato un "gemello digitale" ultra-realistico. Hanno usato un software chiamato Stonefish che non è un semplice videogioco, ma un laboratorio virtuale dove le leggi della fisica dell'acqua sono quasi perfette.

• L'analogia: Immagina di costruire una copia esatta del sottomarino e del porto, fatta di "luce e codice", dove ogni corrente, ogni onda e ogni collisione si comporta esattamente come nella realtà.

2. L'Allenamento "Cinematografico"

Il vero trucco è stato rendere questo allenamento velocissimo. Normalmente, insegnare a un'IA a fare cose complesse richiede mesi. Qui, hanno usato un sistema che permette di far girare 20 simulazioni contemporaneamente su computer diversi, come se avessero 20 allenatori che lavorano in parallelo.

• L'analogia: Invece di far fare 1000 tentativi di attracco a un solo robot (che richiederebbe giorni), ne hanno messi in scena 20 tutti insieme. È come se avessero un'orchestra di 20 robot che provano a suonare la stessa canzone allo stesso tempo, imparando in un'ora quello che un robot da solo ci metterebbe una settimana a imparare.

3. L'Intelligenza che "Impara a Sentire"

Hanno usato un'intelligenza artificiale chiamata DRL (Deep Reinforcement Learning). Non hanno programmato il robot con regole rigide tipo "se vedi il porto, vai dritto". Invece, hanno dato al robot un "premio" virtuale quando si avvicinava bene e una "pizzicata" (una penalità) quando sbatteva o faceva movimenti bruschi.

• La magia: Il robot ha imparato da solo strategie che gli umani non avevano previsto. Per esempio, ha scoperto che per fermarsi dolcemente prima di toccare il porto, doveva inclinare il muso verso l'alto (come un aereo che atterra) per usare l'acqua come freno. Ha anche imparato a vibrare leggermente di lato (oscillare) per scivolare dentro il porto come se stesse cercando la presa perfetta, proprio come un'anguilla che cerca di infilarsi in una fessura.

4. Il Grande Salto: Dal Computer all'Acqua Reale

Il momento della verità è arrivato quando hanno preso il loro robot vero (il Girona AUV) e lo hanno mandato in una vasca di prova reale.

• Il risultato: Il robot, che aveva visto solo il mondo virtuale, è andato nell'acqua reale e ha attraccato con successo 8 volte su 10.
• Perché è incredibile: Di solito, quando si passa dal simulatore alla realtà, l'IA si confonde perché l'acqua vera ha rumore, sensori imperfetti e correnti imprevedibili. Qui, grazie alla loro simulazione così ricca di dettagli (rumore dei sensori, collisioni realistiche), il robot ha riconosciuto la situazione reale come se fosse già vissuta.

In Sintesi

Questo articolo ci dice che non serve più programmare ogni singolo movimento di un robot sottomarino. Basta creare un mondo virtuale così perfetto e veloce da permettere al robot di "sognare" migliaia di scenari, e poi mandarlo nella realtà. Il robot arriva già esperto, pronto a gestire imprevisti e a usare trucchi intelligenti (come il freno con l'inclinazione) che nessun ingegnere umano avrebbe dovuto insegnargli a parole.

È come se avessimo insegnato a un bambino a nuotare in una piscina virtuale piena di onde e correnti, e quando è stato messo in mare aperto, ha nuotato perfettamente senza mai aver visto l'acqua vera prima d'ora.

Sommario tecnico

Titolo: Adattamento Sim-to-Reality per l'Apprendimento per Rinforzo Profondo (DRL) applicato al docking sottomarino

Autori: Alaaeddine Chaarani, Narcis Palomeras, Pere Ridao (Università di Girona, Spagna).

---

1. Il Problema

L'articolo affronta le sfide critiche nell'implementazione del Docking Autonomo per Veicoli Subacquei Autonomi (AUV), in particolare per il veicolo Girona AUV. Sebbene i metodi di controllo tradizionali (come PID o MPC) siano ampiamente utilizzati, spesso faticano ad adattarsi a condizioni ambientali imprevedibili (correnti oceaniche, rumore dei sensori) e a scenari dinamici complessi.

Il Deep Reinforcement Learning (DRL) offre una soluzione robusta per l'adattamento a tali condizioni, ma la sua applicazione pratica è ostacolata da due principali colli di bottiglia:

1. Latenza di addestramento: I tempi di training sono spesso proibitivi.
2. Il divario "Sim-to-Real": La difficoltà di trasferire politiche apprese in simulazione su hardware fisico reale, dove le dinamiche idrodinamiche, i modelli di collisione e il rumore dei sensori sono spesso semplificati o inesatti.

2. Metodologia

Gli autori propongono un approccio sistematico basato su un "gemello digitale" ad alta fedeltà per colmare il divario tra simulazione e realtà.

• Ambiente di Simulazione (Stonefish):
  • È stato adattato il simulatore Stonefish in un framework di RL multiprocessore.
  • L'ambiente include dinamiche AUV realistiche, modelli di collisione precisi e rumore dei sensori.
  • Per accelerare l'apprendimento, è stato implementato un sistema di 20 thread paralleli per l'addestramento (senza interfaccia grafica, "headless") e 1 thread per la valutazione (con interfaccia grafica). Questo approccio, sebbene meno massiccio di framework come MJX o Isaac Sim, garantisce una fedeltà idrodinamica superiore.
• Setup del Problema di Docking:
  • Stato (State Space): Include errori di posizione traslazionale (nel corpo dell'AUV), errore di imbardata (yaw), velocità lineari e angolari, e accelerazioni misurate dall'IMU. Per evitare l'overfitting alle coordinate perfette della simulazione, viene aggiunto rumore gaussiano dinamico alle osservazioni, scalato in base alla distanza dal target e alla visibilità.
  • Azione (Action Space): Vettore di forze e coppie (6-DoF) nel corpo dell'AUV, distribuito tra i 5 propulsori disponibili.
  • Funzione di Ricompensa: Progettata per favorire un docking morbido e sicuro. Include termini per:
    • Distanza (priorità agli assi X e Y).
    • Allineamento dell'orientamento (yaw).
    • Fluidità dell'azione (penalità per variazioni brusche).
    • Collisioni adattive: Una penalità basata su variazioni di accelerazione, con una soglia adattiva ($\Gamma_k$) che si adatta per evitare penalizzazioni multiple per lo stesso evento di impatto.
    • Ricompensa di missione (positiva per il successo, negativa per il fallimento).
• Algoritmo: È stato utilizzato PPO (Proximal Policy Optimization) per la sua stabilità e facilità di sintonizzazione nei compiti di controllo continuo. Sebbene SAC fosse stato valutato, PPO ha mostrato prestazioni superiori durante i test fisici.

3. Contributi Chiave

1. Framework Multiprocessore su Stonefish: Adattamento del simulatore per accelerare significativamente il processo di apprendimento mantenendo la complessità idrodinamica.
2. Ambiente ad Alta Fedeltà: Integrazione di modelli di collisione realistici, dinamica del veicolo e input dei sensori rumorosi per facilitare il trasferimento sim-to-reality.
3. Integrazione con Servoing Visivo: Sostituzione dei sistemi di controllo standard e degli alberi comportamentali con una strategia ibrida che combina il servoing basato sulla posizione e il DRL.
4. Validazione Fisica: Dimostrazione del successo del docking autonomo in un bacino di prova fisico, confermando l'efficacia dell'adattamento.

4. Risultati

• In Simulazione:
  • L'agente ha raggiunto un tasso di successo superiore al 90%.
  • Il tempo di addestramento è stato di circa 3 ore su una workstation con CPU Intel Core i7 e GPU RTX 4060.
  • L'agente ha sviluppato comportamenti emergenti non esplicitamente programmati:
    • Uso del pitch per frenare e rallentare l'avvicinamento.
    • Oscillazioni controllate nello yaw per facilitare l'allineamento meccanico e lo scivolamento all'interno del docking station (DS) senza attivare le penalità per collisione.
• Nel Bacino di Prova (Realtà):
  • Sono state eseguite 10 missioni nel bacino di prova (19x9x5m) con l'AUV Girona reale.
  • 8 missioni su 10 sono state riuscite.
  • I dati sperimentali hanno mostrato un comportamento molto simile alla simulazione, in particolare le oscillazioni nello yaw e le curve di errore, confermando un trasferimento sim-to-reality di successo.
  • Le forze richieste sono state limitate al 25-50% della capacità massima per sicurezza, dimostrando che la politica appresa è robusta anche con vincoli di attuazione.

5. Significato e Impatto

Questo lavoro rappresenta un passo significativo verso l'uso pratico del DRL in ambienti sottomarini complessi.

• Superamento del divario Sim-to-Real: Dimostra che un ambiente di simulazione ad alta fedeltà, combinato con una progettazione attenta della ricompensa (inclusa la gestione adattiva delle collisioni), permette di trasferire politiche complesse su hardware reale senza bisogno di un addestramento estensivo su dati reali.
• Comportamenti Emergenti: Il fatto che l'agente abbia imparato strategie di controllo sofisticate (come il frenaggio tramite pitch e le micro-oscillazioni per l'allineamento) senza programmazione esplicita evidenzia il potenziale del DRL per gestire scenari dove i modelli matematici tradizionali falliscono.
• Scalabilità: L'approccio proposto offre una pipeline affidabile per il dispiegamento di controllori autonomi in ambienti sottomarini sensibili, aprendo la strada a future applicazioni di manutenzione di habitat sottomarini e recupero di veicoli.

In conclusione, la ricerca conferma che la combinazione di simulazione ad alta fedeltà, parallelizzazione massiva e un'ingegneria delle ricompense sofisticata è la chiave per rendere il DRL una soluzione praticabile per l'autonomia sottomarina.