Riepilogo Tecnico: Controllo Cross-Platform per Veicoli Superficiali Autonomi tramite Reinforcement Learning Adattivo

1. Definizione del Problema

I Veicoli Superficiali Autonomi (ASV) esibiscono una significativa diversità nelle caratteristiche idrodinamiche e di attuazione. Le attuali strategie di controllo affrontano un collo di bottiglia nella distribuzione:

• I controllori basati su modello (es. MPC) richiedono un'identificazione del sistema accurata e una sintonizzazione specifica per ogni piattaforma, il che è laborioso per flotte eterogenee.
• Gli approcci standard di Reinforcement Learning (RL) tipicamente vengono addestrati su una singola piattaforma fissa o su un simulatore che deve catturare accuratamente la dinamica specifica del target. Distribuire queste policy su un nuovo scafo richiede solitamente una nuova identificazione e un nuovo addestramento.

La sfida centrale consiste nello sviluppare un controllore generalista singolo capace di un deployment zero-shot su diverse piattaforme ASV della stessa classe, senza previa conoscenza della dinamica della piattaforma di distribuzione o necessità di fine-tuning per singola piattaforma. Questo problema è inquadrato come un problema di osservabilità parziale, dove la vera dinamica del sistema ($\theta$) è sconosciuta al momento della distribuzione, rendendo lo stato parzialmente osservabile nonostante la natura markoviana della fisica sottostante.

2. Metodologia

Gli autori propongono un framework di apprendimento per rinforzo adattivo che utilizza un'architettura Teacher–Student per inferire le dinamiche latenti dalla storia di interazione.

A. Dinamica del Sistema e Formulazione

• Modello: Il sistema utilizza un modello semplificato nel piano orizzontale a 3 gradi di libertà (surge, sway, yaw) basato sulla formulazione di Fossen. La dinamica è parametrizzata da sette parametri fisici ($\theta$), inclusi massa, coefficienti di massa aggiunta, smorzamento lineare e inerzia.
• Formulazione MDP: Il tracking della traiettoria è formulato come un Processo Decisionale di Markov Parzialmente Osservabile (POMDP). Lo stato $s_t$ è osservabile, ma il parametro di dinamica $\theta$ non lo è. La policy si condiziona sulla storia di interazione per ripristinare un'approssimativa markovianità.
• Spazio delle Azioni: La policy produce comandi di forza e coppia normalizzati nel sistema di riferimento del corpo ($\bar{\tau} \in [-1, 1]^3$). Questi sono scalati dai limiti di attuazione specifici della piattaforma al momento della distribuzione, disaccoppiando la policy dalle magnitudo assolute della forza.

B. Architettura Teacher–Student

L'approccio impiega una pipeline di addestramento in due fasi ispirata all'apprendimento privilegiato:

1. Fase 1: Addestramento del Teacher (Apprendimento Privilegiato)

   • Una policy "Teacher" viene addestrata in simulazione con accesso a un vettore privilegiato $e \in \mathbb{R}^9$. Questo vettore codifica i parametri di dinamica normalizzati (accelerazioni di picco, tassi di smorzamento e coefficienti di accoppiamento di Coriolis) derivati dalle equazioni del moto a 3-DoF.
   • Il teacher apprende una rappresentazione latente $z = \mu(e)$ della dinamica del sistema.
   • L'addestramento utilizza il Proximal Policy Optimization (PPO) con randomizzazione del dominio su un ampio intervallo di parametri dinamici.

2. Fase 2: Addestramento dello Student (Adattamento)

   • Il vettore privilegiato $e$ viene rimosso. L'encoder $\mu$ è sostituito da un modulo Adapter $\phi$.
   • L'Adapter, implementato come una Gated Recurrent Unit (GRU) seguita da un MLP, stima la rappresentazione latente $\hat{z}$ esclusivamente dalla storia di interazione $h_t$ (differenze recenti di stato, velocità e azioni normalizzate).
   • La policy Student (l'attore del Teacher congelato) è condizionata dalla stima $\hat{z}$ dell'Adapter.
   • L'Adapter è addestrato tramite apprendimento supervisionato per minimizzare l'errore di ricostruzione $\|\hat{z} - z\|^2$, dove $z$ è la verità fondamentale (ground truth) latente della Fase 1.

C. Configurazione dell'Addestramento

• Simulazione: L'addestramento si basa su un modello dinamico analitico leggero piuttosto che su un simulatore idrodinamico ad alta fedeltà.
• Curriculum: Un curriculum progressivo aumenta la difficoltà espandendo l'intervallo dei parametri dinamici randomizzati e la complessità della traiettoria (da linee rette a curve strette).
• Disturbi: I disturbi ambientali (correnti, vento, onde) sono modellati come processi di Ornstein–Uhlenbeck. I ritardi degli attuatori sono randomizzati.
• Reward: Una funzione di ricompensa composita include termini per il tracking di posizione, heading e velocità, insieme a bonus ausiliari per il moto in avanti e penalità per la deriva laterale, l'eccessivo yaw e la magnitudo/fluidità dell'azione.

3. Contributi Chiave

1. Policy Cross-Platform Zero-Shot: La prima dimostrazione di una singola policy RL distribuita zero-shot su diverse piattaforme ASV distinte (stessa classe, dinamiche differenti) senza necessità di ri-addestramento o identificazione del sistema.
2. Adattamento Teacher–Student: Adattamento del framework teacher-student per la locomozione legged alla robotica marina, consentendo l'inferenza delle dinamiche latenti solo dalla storia di interazione.
3. Pipeline di Addestramento Semplificata: Il metodo raggiunge alte prestazioni utilizzando solo un semplice modello analitico a 3-DoF, evitando il costo computazionale e la complessità dei simulatori idrodinamici ad alta fedeltà.
4. Interpretabilità: Lo spazio latente appreso cattura efficacemente le dinamiche rilevanti, con l'analisi delle componenti principali che mostra come il sottospazio latente a 9 dimensioni occupi un sottospazio a bassa dimensionalità.

4. Risultati Sperimentali

A. Esperimenti nel Mondo Reale

Gli esperimenti sono stati condotti su due piattaforme fisiche distinte (Piattaforma A e Piattaforma B) con diverse masse, inerzie e limiti di attuazione.

• Performance: La policy Student adattiva ha raggiunto un Errore Assoluto Medio (MAE) di Posizione di 4,0 cm su entrambe le piattaforme.
• Confronto:
  • Ha superato la baseline generale PPO non adattiva fino al 58% (Piattaforma B: 4,0 cm vs 9,5 cm).
  • Ha superato la baseline PPO specifica per piattaforma (addestrata solo su una piattaforma) in termini di errore di posizione.
  • Si è avvicinata all'accuratezza di tracking di un controllore Model Predictive Controller (MPC) sintonizzato per la specifica piattaforma (Student: 4,0 cm vs MPC: 4,1–4,6 cm).
• Heading: Lo Student ha ottenuto un'accuratezza di heading comparabile o migliore rispetto alle baseline non adattive.

B. Esperimenti in Simulazione

Le simulazioni su cinque piattaforme (incluse varianti di Roboat) in condizioni ideali hanno confermato i risultati del mondo reale:

• Lo Student ha ridotto l'errore di posizione del 44% e l'errore di heading del 55% rispetto alla PPO generale non adattiva.
• Lo Student si è comportato quasi identicamente alla policy "Teacher" (oracle), validando che l'Adapter recupera con successo le informazioni latenti necessarie.
• Gli studi di ablazione hanno mostrato che sostituire l'output dell'Adapter con un valore medio latente statico ("Student avg. z") ha più che raddoppiato l'errore di tracking, confermando la necessità dell'adattamento online.

5. Significato e Rivendicazioni

Il paper sostiene che questo lavoro fornisce una ricetta pratica per il controllo generalista di ASV. Condizionandosi sulla storia di interazione, una singola policy può generalizzare su una flotta di vessel eterogenei senza l'overhead ingegneristico della sintonizzazione o dell'identificazione per ogni piattaforma.

• Efficienza: L'intera pipeline di addestramento (fasi Teacher e Student) completa l'addestramento in circa 30 minuti su una singola GPU di consumo (NVIDIA RTX 4090).
• Scalabilità: L'approccio rimuove il "collo di bottiglia per piattaforma", permettendo la distribuzione di flotte eterogenee utilizzando una strategia di controllo unificata.
• Limiti: Gli autori riconoscono che l'attuale modello di smorzamento lineare a 3-DoF è valido per regimi di spostamento a bassa velocità. L'adapter gestisce gli effetti dipendenti dalla velocità (come il drag quadratico) ricalcolando lo smorzamento efficace entro l'intervallo randomizzato, ma l'approccio non copre ancora il regime di planata ad alta velocità o il forte accoppiamento heave/roll/pitch. Il lavoro futuro suggerisce un adattamento continuo online e un'integrazione più stretta con gli obiettivi di controllo basati su modello.