Sintesi Tecnica: Addestramento di Politiche di Controllo Osservabili per Esporre lo Stato dell'Agente attraverso le Azioni

Definizione del Problema

La collaborazione efficace tra agenti autonomi spesso dipende dalla consapevolezza reciproca dello stato, tipicamente ottenuta tramite comunicazione diretta. Tuttavia, vincoli fisici o operativi (ad esempio, ambienti sottomarini, limitazioni di banda o incompatibilità hardware) rendono spesso la comunicazione inaffidabile o impossibile. Sebbene i Processi Decisionali di Markov Parzialmente Osservabili (POMDP) offrano un quadro teorico per gestire tale incertezza, essi soffrono di problemi di scalabilità e richiedono il riaddestramento di tutti gli agenti quando i parametri del compito cambiano, limitandone la praticità nei sistemi federati.

Un approccio alternativo consiste nel "decuplare" gli agenti formulando esplicitamente un stimatore per inferire lo stato di altri agenti basandosi sulle azioni osservabili. Poiché le azioni di controllo degli agenti sono spesso visibili senza comunicazione esplicita (ad esempio, un aeroplano che inclina l'ala), le normali politiche di controllo ottimizzate esclusivamente per le prestazioni del compito mancano spesso di "osservabilità". In tali casi, stati differenti possono produrre sequenze di azioni identiche (ad esempio, un angolo di inclinazione costante in un'orbita circolare), rendendo la ricostruzione dello stato impossibile o soggetta a divergenza. Il problema centrale affrontato è come addestrare una politica di controllo che rimanga efficace per il proprio compito primario e che, contemporaneamente, generi azioni che permettano a un osservatore esterno di ricostruire accuratamente lo stato dell'agente.

Metodologia

Gli autori propongono un framework in cui una politica di controllo viene addestrata utilizzando il Reinforcement Learning (RL) con una funzione di ricompensa che incorpora esplicitamente le prestazioni di uno stimatore di stato.

Formulazione dell'Agente e dell'Ambiente

• Compito: Un sistema aereo non pilotato (UAS) ad ala fissa deve seguire un bersaglio a terra. L'agente controlla l'angolo di inclinazione ($\phi$) dell'aeroplano per mantenere la prossimità al bersaglio.
• Stato: Lo stato decisionale dell'agente consiste nella posizione relativa ($x, y$) e velocità ($v_x, v_y$) rispetto al bersaglio.
• Politica: Una rete neurale mappa lo stato in una distribuzione di pseudo-controllo (Gaussiana). La media è restituita dalla rete, mentre la varianza è fissa per garantire un'esplorazione stabile. Lo pseudo-controllo campionato viene mappato in un comando di angolo di inclinazione tramite una funzione di saturazione.
• Stimatore: Viene impiegato un Filtro di Kalman non lineare (UKF) per stimare lo stato dell'agente. Il filtro utilizza la dinamica del sistema dell'agente e tratta la politica di controllo dell'agente come funzione di misura. L' "osservazione" è l'azione di pseudo-controllo ($\tilde{u}$) campionata generata dalla politica.

Incorporamento della Ricompensa

Vengono addestrate e confrontate due politiche:

1. Politica Solo-Compito (Task-Only): Addestrata con una ricompensa ($r_{task-only}$) che decade esponenzialmente con la distanza dal bersaglio.
2. Politica con Stimatore Incorporato (Embedded Estimator): Addestrata con una ricompensa aumentata ($r_{embedded}$) definita come:
   $$r = r_{task-only} + R(\hat{x}, x)$$
   dove $R(\hat{x}, x)$ è un termine di ricompensa che promuove azioni che minimizzano l'errore tra lo stato reale ($x$) e lo stato stimato ($\hat{x}$). Questo termine è formulato come un decadimento esponenziale della norma dell'errore pesata da una matrice di covarianza.

Incorporando lo stimatore all'interno del ciclo di addestramento, l'agente RL è incentivato a selezionare azioni che non solo raggiungono l'obiettivo di inseguimento, ma riducono anche l'incertezza della stima dello stato, ottimizzando efficacemente l'osservabilità.

Analisi dell'Osservabilità

Gli autori analizzano l'osservabilità utilizzando due metrici:

1. Matrice di Osservabilità Linearizzata: Calcolata ad ogni istante temporale tramite approssimazione della serie di Taylor per valutare l'osservabilità locale.
2. Matrice di Osservabilità Stripped (SOM): Costruita impilando le matrici linearizzate su una traiettoria temporale per valutare l'osservabilità dinamica. I valori singolari di queste matrici indicano il grado di osservabilità dello spazio degli stati.

Contributi Chiave

1. Implementazione dello Stimatore: Gli autori implementano uno stimatore di stato che si basa esclusivamente sull'output della politica di controllo (azioni) come osservazioni, senza richiedere telemetria esplicita dello stato.
2. RL per l'Osservabilità: Dimostrano un metodo per migliorare l'osservabilità delle politiche di controllo incorporando direttamente la prestazione dello stimatore nella funzione di ricompensa del RL.
3. Validazione delle Prestazioni: Attraverso la Decomposizione ai Valori Singolari (SVD) delle matrici di osservabilità e simulazioni Monte Carlo, dimostrano che le politiche risultanti migliorano significativamente la prestazione dello stimatore con una degradazione minima rispetto al compito di inseguimento nominale.

Risultati

Lo studio ha valutato 14.500 episodi di simulazione confrontando le politiche "Solo-Compito" e "Incorporata".

• Prestazioni dello Stimatore: La politica incorporata ha superato significativamente la politica solo-compito.
  • Errore di Posizione: Al livello di prestazione mediana, la politica incorporata ha ridotto l'errore di posizione di un fattore di circa quattro rispetto alla politica solo-compito. Nel 90° percentile, la politica incorporata ha mantenuto gli errori sotto i 10 m nel 90% dei casi, mentre la politica solo-compito vi è riuscita solo nel 60%.
  • Divergenza: La politica solo-compito ha mostrato un alto tasso di divergenza del filtro (circa il 30% degli episodi), in cui la stima si è allontanata significativamente dallo stato reale. La politica incorporata ha mostrato una divergenza trascurabile.
  • Convergenza: Escludendo i casi divergenti, la politica incorporata ha comunque dimostrato una riduzione del 44,2% dell'errore di posizione e una riduzione del 32,1% dell'errore di velocità rispetto alla politica solo-compito alla fine della simulazione.
• Prestazioni del Compito: L'inclusione della ricompensa dello stimatore ha prodotto una "penalità" trascurabile per il compito di inseguimento primario. La ricompensa di inseguimento per la politica incorporata è stata solo dello 0,1% inferiore rispetto alla politica solo-compito all'80° percentile, indicando che le politiche osservabili possono essere ottenute senza sacrificare l'efficacia nominale del compito.
• Metriche di Osservabilità:
  • Osservabilità Locale: Nessuna politica era completamente osservabile in un singolo punto dello spazio degli stati (i valori singolari minimi erano vicini allo zero).
  • Osservabilità Dinamica: L'analisi SOM ha rivelato che la politica incorporata ha generato traiettorie con valori singolari significativamente più grandi nel tempo. Nello specifico, dopo circa 50 secondi di dati, il valore singolare minimo per il caso incorporato è aumentato da 0 a 1, indicando che la sequenza è diventata osservabile, mentre il caso solo-compito è rimasto meno osservabile.

Significato e Rivendicazioni

Il documento sostiene che l'integrazione di uno stimatore nel processo di addestramento consente la generazione di politiche di controllo che sono "osservabili" per progettazione. Il significato primario risiede nel rendere possibile la coordinazione tra agenti autonomi in scenari con comunicazione limitata. Rendendo le azioni di controllo informative riguardo allo stato interno dell'agente, gli agenti possono coordinarsi basandosi solo sull'osservazione.

Gli autori sostengono che lo spazio delle politiche sia sufficientemente complesso da poter selezionare una politica che soddisfi sia l'obiettivo del compito che l'obiettivo di osservabilità senza scambi significativi. Questo approccio offre un'alternativa "decuplata" ai POMDP completamente integrati, consentendo agli agenti di essere addestrati e aggiornati indipendentemente, a condizione che le loro politiche di controllo siano condivise.

Inoltre, il lavoro suggerisce che le politiche osservabili potrebbero migliorare il teaming uomo-automa. Se i sistemi autonomi agiscono in modi che rendono il loro stato e l'intento più trasparenti (osservabili) attraverso le loro azioni, gli operatori umani potranno comprendere e anticipare meglio il comportamento del sistema, migliorando la sicurezza e il comfort nelle operazioni miste. Il documento conclude che, sebbene non risolva completamente la coordinazione uomo-macchina, stabilisce un metodo fondamentale per rendere la ricostruzione dello stato da azioni fattibile ed efficiente.