Safe Deep Reinforcement Learning for Spacecraft Reorientation with Pointing Keep-Out Constraint

Sintesi Tecnica: Apprendimento per Rinforzo Profondo Sicuro per la Riorientazione di Veicoli Spaziali con Vincolo di Esclusione del Punto di Inquadramento

Enunciato del Problema
Le manovre di riorientazione dei veicoli spaziali richiedono spesso un rigoroso rispetto dei vincoli di puntamento per prevenire l'esposizione di strumenti sensibili a bordo (ad esempio, fotocamere ottiche) a oggetti celesti luminosi come il Sole. Gli approcci tradizionali al controllo dell'assetto vincolato, come la pianificazione dell'assetto e il Controllo Predittivo a Modello (MPC) non lineare, sono computazionalmente intensivi e difficili da applicare in tempo reale a bordo. Al contrario, i metodi basati su Campi Potenziali Artificiali (APF), sebbene efficienti, soffrono frequentemente di minimi locali. Sebbene l'Apprendimento per Rinforzo Profondo (DRL) offra un'alternativa computazionalmente efficiente per il controllo continuo, la sua applicazione a scenari critici per la sicurezza e vincolati rimane limitata. Una sfida primaria è la mancanza di garanzie formali di sicurezza; agenti DRL standard addestrati esclusivamente con la modellazione della ricompensa potrebbero non aderire strettamente ai vincoli durante la fase operativa.

Metodologia
Il documento propone un framework di Apprendimento per Rinforzo Sicuro (Safe RL) per la riorientazione di veicoli spaziali con una singola zona di esclusione del punto di inquadramento. La metodologia integra l'algoritmo Soft Actor-Critic (SAC) con un filtro di sicurezza basato su Funzioni di Barriera di Controllo (CBF).

• Spazio degli Stati e Progettazione della Ricompensa: È stata progettata una nuova rappresentazione dello spazio degli stati per includere una rappresentazione compatta ed esplicita della zona di vincolo dell'assetto. Il vettore di stato include l'assetto relativo, la velocità angolare, il vettore di puntamento del carico utile, l'angolo tra il vettore di puntamento e la direzione di evitamento, l'angolo di margine di sicurezza e il vettore di direzione di evitamento relativo. La funzione di ricompensa combina una ricompensa base per la convergenza dell'assetto e la minimizzazione dello sforzo di controllo con una specifica funzione di penalità ($P_{f-zone}$) che aumenta man mano che il veicolo spaziale si avvicina al confine della zona di esclusione.
• Strategia di Addestramento: L'agente viene addestrato utilizzando un approccio di apprendimento curricolare in due fasi. La Fase 1 addestra una politica di base per la regolazione dell'assetto senza vincoli con angoli di deviazione iniziale crescenti. La Fase 2 affina questa politica con la penalità della zona di esclusione attiva, generando vincoli che intersecano le traiettorie di rotazione più brevi probabili per l'agente.
• Filtro di Sicurezza: Per garantire la conformità ai vincoli durante la fase operativa, un filtro di sicurezza basato su CBF viene interposto tra l'agente RL e l'ambiente. Il filtro risolve un programma quadratico (QP) a ogni passo temporale per trovare la coppia di controllo più vicina all'azione proposta dall'agente, soddisfacendo al contempo i limiti di controllo e il vincolo della zona di esclusione. L'insieme sicuro è definito utilizzando un insieme di vincoli interni robusto che tiene conto del tempo di campionamento e delle possibili perturbazioni.

Risultati Chiave
Sono state condotte estese simulazioni, inclusa un'analisi di Monte Carlo di 10.000 scenari, per valutare il framework proposto:

• Limitazioni del RL Standard: Utilizzando un framework RL standard (solo modellazione della ricompensa), l'agente ha raggiunto con successo il target in circa il 97% dei casi. Tuttavia, il 2,66% delle manovre ha comportato violazioni della zona di esclusione, dimostrando che la modellazione della ricompensa da sola non può garantire la sicurezza.
• Prestazioni del Safe RL: Quando è stato integrato il filtro di sicurezza basato su CBF, il tasso di violazioni dei vincoli è sceso allo 0%. La ricompensa media e il tempo di assestamento sono rimasti comparabili all'approccio RL standard (una leggera riduzione della ricompensa e un lieve aumento del tempo di assestamento), mentre lo sforzo di controllo è diminuito leggermente.
• Sensibilità ai Parametri: Il parametro $\mu$ nella formulazione CBF influenza significativamente le prestazioni. Mentre $\mu=0,0025$ ha fornito sicurezza e prestazioni ottimali, un $\mu$ più piccolo e inadeguatamente impostato ($0,0001$) ha comportato prestazioni degradate (tempo di assestamento più elevato e più casi non assestati) rispetto all'approccio RL standard, nonostante abbia comunque evitato le violazioni.
• Casi Non Assestati: Una piccola percentuale di casi (0,22% con il filtro) non è riuscita ad assestarsi. L'analisi ha indicato che ciò era causato dalla politica dell'agente (risultante in bias o cicli limite) piuttosto che dal filtro di sicurezza, suggerendo la necessità di un ulteriore addestramento dell'agente.

Significato e Affermazioni
Il documento afferma che il framework proposto affronta efficacemente il divario di sicurezza nell'applicazione del DRL al controllo dell'assetto dei veicoli spaziali. Il contributo principale è la dimostrazione che, sebbene la modellazione della ricompensa migliori la consapevolezza dei vincoli, è insufficiente per garantire la sicurezza in manovre critiche. Al contrario, l'integrazione di un filtro di sicurezza basato su CBF garantisce il rigoroso rispetto dei vincoli di puntamento senza compromettere significativamente le prestazioni di controllo. Gli autori concludono che il loro approccio fornisce una soluzione praticabile e in tempo reale per la riorientazione vincolata dei veicoli spaziali, sebbene notino che sono necessari lavori futuri per affrontare i comportamenti non assestati e estendere l'algoritmo per gestire più zone di esclusione utilizzando reti Long Short-Term Memory (LSTM).