Falsification-driven reinforcement learning for maritime motion planning

Riepilogo Tecnico: Apprendimento per Rinforzo guidato dalla Falsificazione per la Pianificazione del Movimento Marittimo

Enunciato del Problema
Garantire che le navi autonome rispettino le regole del traffico marittimo, in particolare le Regole Internazionali per la Prevenzione degli Abbordaggi in Mare (COLREGs), è fondamentale per la sicurezza ma rappresenta una sfida per gli agenti di Apprendimento per Rinforzo (RL). La difficoltà principale risiede nella natura non strutturata degli ambienti di mare aperto e nelle dipendenze situazionali e temporali delle regole del traffico, che sono difficili da codificare direttamente nelle politiche di controllo. L'addestramento RL standard si basa spesso sulla generazione casuale o non avversaria di scenari, che non espone sufficientemente l'agente ai modi di fallimento "a coda lunga" in cui si verificano violazioni delle regole. Di conseguenza, gli agenti possono imparare a dare priorità al raggiungimento dell'obiettivo rispetto alla conformità alle regole o non intraprendere le manovre necessarie quando si trovano di fronte a situazioni di traffico complesse.

Metodologia
Gli autori propongono un framework RL guidato dalla falsificazione che integra la generazione di controesempi basata sull'ottimizzazione direttamente nel ciclo di addestramento RL. L'approccio funziona come segue:

1. Specifiche Formali: Le regole del traffico marittimo (incroci, testata e sorpasso) sono formalizzate utilizzando la Logica Temporale dei Segnali (STL). Gli autori estendono le formalizzazioni esistenti con la STL Consapevole dell'Interfaccia (IA-STL) per valutare separatamente la robustezza dell'antecedente (la condizione di incontro) e della conseguente (la manovra richiesta). Questa distinzione permette al sistema di differenziare tra la soddisfazione "vacua" (dove non si verifica alcun incontro) e la conformità "non vuota" (dove si verifica un incontro ed è gestito correttamente).
2. Processo di Falsificazione: Invece del campionamento casuale, il sistema impiega algoritmi di ottimizzazione numerica (in particolare CMA-ES, PSO e Ricottura Simulata) per generare scenari di addestramento avversari. L'obiettivo è trovare sequenze di input per una nave avversaria che minimizzino la robustezza della specifica STL rispetto alla politica RL corrente.
   • L'ottimizzazione mira alla robustezza dell'input (per forzare incontri non vuoti) e alla robustezza dell'output (per forzare violazioni delle regole).
   • Viene utilizzato un metodo "Big-M" per dare priorità alla ricerca di scenari non vuoti in cui l'agente affronta effettivamente una situazione di traffico.
3. Ciclo di Addestramento: I controesempi generati (scenari in cui la politica corrente fallisce o rispetta appena le regole) vengono aggiunti a un pool di scenari FIFO (First-In-First-Out). L'agente RL, addestrato utilizzando l'Ottimizzazione della Politica Prossimale (PPO), viene quindi aggiornato utilizzando dati campionati da questo pool, che è arricchito con questi scenari difficili e violatori delle regole.
4. Misure di Robustezza: Il documento introduce misure di robustezza specifiche per i predicati atomici (posizione, orientamento, velocità) scalate nel dominio del tempo per prevenire effetti di mascheramento nel processo di ottimizzazione. Queste misure quantificano il margine di sicurezza o di violazione.

Contributi Chiave

• Framework Algoritmico: Gli autori propongono un algoritmo RL guidato dalla falsificazione efficiente e pratico che genera controesempi per regole di traffico complesse basate sulla logica temporale e li utilizza come scenari di addestramento.
• Estensione della Formalizzazione: Il lavoro estende le formalizzazioni delle regole del traffico marittimo con misure di robustezza valutabili in modo efficiente, adattando specificamente l'IA-STL per gestire le strutture implicazionali intrinseche nelle COLREGs.
• Validazione Empirica: L'approccio è stato valutato utilizzando metodi di falsificazione multipli (CMA-ES, PSO, SA) contro un agente RL di base addestrato su scenari casuali.

Risultati
Gli esperimenti condotti su scenari di navigazione in mare aperto che coinvolgono due navi (una nave ego e una nave avversaria) dimostrano:

• Maggiore Impegno: Gli agenti guidati dalla falsificazione mostrano tassi di "impegno" significativamente più alti (33–37% contro il 21% per la baseline), il che significa che incontrano e interagiscono con situazioni di traffico definite dalle COLREGs più frequentemente durante i test.
• Conformità alle Regole: Su una distribuzione di valutazione di base, gli agenti guidati dalla falsificazione hanno raggiunto tassi di conformità alle regole non vuoti di circa 89–90%, rispetto al 78,3% della baseline.
• Robustezza: Le politiche guidate dalla falsificazione hanno mantenuto valori di robustezza dell'output più elevati, indicando un margine di sicurezza maggiore. Al contrario, la politica di base ha mostrato valori di robustezza dell'output negativi (indicanti violazioni) quando testata sulla distribuzione avversaria (falsificazione).
• Significatività Statistica: I test t di Welch hanno confermato che i miglioramenti nella robustezza dell'input (durante l'addestramento) e nella robustezza dell'output (durante i test) sono statisticamente significativi ($p < 0,001$).
• Compromesso: I risultati evidenziano un compromesso in cui gli agenti guidati dalla falsificazione talvolta raggiungono tassi di raggiungimento dell'obiettivo più bassi (ad esempio, 45% contro il 75% sulla distribuzione di base) in cambio di una conformità significativamente più alta alle regole di sicurezza, dando priorità alla manovra corretta rispetto al comportamento puramente diretto verso l'obiettivo in situazioni critiche.

Significato e Affermazioni
Il documento afferma di essere la prima applicazione di RL guidato dalla falsificazione alla pianificazione del movimento marittimo. Il suo significato principale risiede nel dimostrare che l'integrazione di metodi formali (falsificazione) con il controllo basato sull'apprendimento può affrontare sistematicamente la scarsità di scenari critici di fallimento nei dati di addestramento. Generando scenari avversari che prendono di mira specificamente le debolezze della politica corrente, l'approccio produce agenti con una conformità alle regole più coerente.

Gli autori notano con modestia che, sebbene l'approccio migliori la conformità, non ne garantisce l'assoluta in tutti gli scenari di deployment. Suggeriscono che per garanzie di sicurezza assolute, la politica appresa dovrebbe essere combinata con un controllore di salvaguardia. Inoltre, il lavoro attuale si concentra su interazioni tra due navi soddisfacenti; gli autori riconoscono che il passaggio a scenari multi-agente con ostacoli statici richiede un ulteriore sviluppo di insiemi di regole formali soddisfacenti, poiché estensioni naive delle regole per due navi possono portare a vincoli insoddisfatti. Il lavoro si posiziona come un passo verso il colmare il divario tra simulazione e deployment nel mondo reale, assicurando che gli agenti siano addestrati sulle interazioni ad alto rischio più rilevanti.