Deep Reinforcement Learning for Spacecraft Attitude Control During Atmospheric Re-Entry

Sintesi Tecnica: Deep Reinforcement Learning per il Controllo dell'Assetto di un Veicolo Spaziale durante il Rientro Atmosferico

Definizione del Problema
Il documento affronta la sfida del controllo dell'assetto di un veicolo spaziale ipersonico a corpo portante (lifting-body) durante il rientro atmosferico (da un'altitudine di 93 km a 10 km). Si tratta di un problema di inseguimento (tracking) critico per la sicurezza, che coinvolge dinamiche altamente non lineari, incertezze significative e condizioni ambientali variabili (numero di Mach, pressione dinamica). Gli approcci tradizionali si affidano a controllori Proporzionale-Integrale-Derivativo (PID) con programmazione dei guadagni (gain-scheduled), che richiedono un esteso tuning esperto e una verifica formale per specifici casi limite. Gli autori indagano se il Deep Reinforcement Learning (RL) possa offrire un'alternativa più adattiva, precisa e robusta, affrontando al contempo la natura di "scatola nera" delle policy apprese, che complica la verifica e la validazione (V&V) per il software di classe spaziale.

Metodologia
Gli autori formalizzano il problema del controllo dell'assetto all'interno di un framework di RL continuo e off-policy. Utilizzano un modello di simulazione ad alta fedeltà a sei gradi di libertà che include forze aerodinamiche, dinamica dei propulsori e ritardi dei sensori.

• Architetture di Controllo: Vengono confrontate tre architetture:
  1. Baseline: Un controllore PID con programmazione dei guadagni standard del settore, dotato di dinamica inversa feedforward.
  2. Pure RL: Un agente model-free (MR.Q, TD7, TD3, SAC) che genera direttamente variazioni della deflessione delle superfici di comando (flap) e comandi ai propulsori.
  3. Controllori Ibridi:
     • Ibrido Additivo: L'agente RL genera un comando residuo che viene aggiunto all'output del PID di base.
     • Ibrido con Programmazione dei Guadagni: L'agente RL genera fattori di scala (in decibel) per regolare i guadagni del PID di base.
• Algoritmi: Lo studio si concentra su algoritmi di controllo continuo allo stato dell'arte, confrontando specificamente le estensioni basate su TD3 (TD7, MR.Q) e le estensioni basate su SAC. MR.Q (Model-based Representation learning with Q-learning) è evidenziato per l'uso dell'apprendimento di rappresentazioni basato sul modello e del replay dell'esperienza prioritizzato con aggiustamento della perdita.
• Funzione di Ricompensa (Reward Function): È stata progettata una ricompensa strettamente positiva per evitare incentivi alla terminazione anticipata. Combina un decadimento esponenziale dell'errore di inseguimento dell'assetto (angolo di attacco, angolo di deriva e angolo di bank/roll) con un costo di controllo che penalizza l'uso eccessivo dei propulsori e le variazioni del tasso di deflessione dei flap.
• Strategie di Generalizzazione: Per affrontare la generalizzazione fuori distribuzione (OOD), gli autori impiegano:
  • Randomizzazione della Dinamica (DR): Randomizzazione dei parametri fisici (massa, tensore d'inerzia, larghezza di banda degli attuatori) e degli assetti iniziali durante l'addestramento.
  • Task Scheduling: Confronto tra strategie come "Hard tasks first" (SMT) e "Active Multi-Task" (AMT) rispetto al campionamento casuale uniforme.

Contributi Chiave

1. Applicazione di RL SOTA al Rientro Ipersonico: Gli autori applicano algoritmi avanzati di controllo continuo (specificamente MR.Q) a un complesso problema di inseguimento dell'assetto di un veicolo spaziale che richiede la programmazione dei guadagni. Dimostrano che MR.Q eccelle senza necessità di tuning specifico per il task, superando i controllori PID tradizionali in condizioni nominali grazie all'adattamento continuo ai cambiamenti ambientali.
2. Controllo Ibrido per la Robustezza: Il documento esplora architetture ibride per mitigare le preoccupazioni relative all'opacità e alla stabilità del RL puro. Si scopre che, sebbene il RL puro possa superare la baseline in condizioni nominali, i controllori ibridi (in particolare quelli additivi) offrono un meccanismo di fallback più sicuro. La baseline PID funge da livello di sicurezza verificato, con l'agente RL che ne potenzia le prestazioni o si adatta alle variazioni.
3. Valutazione della Strategia di Addestramento: Lo studio confronta sistematicamente la randomizzazione della dinamica rispetto agli approcci di task scheduling. Determina che la randomizzazione continua e uniforme della dinamica è sufficiente ed efficace per imporre la generalizzazione, mentre le strategie di task scheduling più complesse (come SMT o AMT) non hanno prodotto risultati superiori e hanno introdotto instabilità nell'addestramento.

Risultati

• Prestazioni Nominali: In condizioni nominali, l'algoritmo MR.Q (sia nella versione pura che in quella dell'ibrido additivo) ottiene rendimenti cumulativi più elevati e un inseguimento più stretto dell'angolo di attacco rispetto alla baseline standard del settore. La distribuzione dell'errore per l'angolo di attacco è più stretta per il controllore appreso, sebbene la baseline mostri una maggiore concentrazione di errori vicino allo zero.
• Generalizzazione Out-of-Distribution:
  • Le policy addestrate solo in condizioni nominali non generalizzano bene alle variazioni dell'assetto iniziale e del tensore d'inerzia, spesso performando peggio della baseline.
  • Le policy addestrate con la Randomizzazione della Dinamica (DR) mostrano una robustezza significativamente migliorata. Mantengono alti tassi di successo (>93%) attraverso variazioni di massa, inerzia e larghezza di banda degli attuatori dove il controllore baseline fallisce (particolarmente a basse larghezze di banda degli attuatori).
  • Il controllore Ibrido Additivo addestrato con DR dimostra il miglior equilibrio, raggiungendo i più alti tassi di successo (fino al 94-99%) e riducendo gli errori ai percentili 90, 95 e 98 per gli angoli aerodinamici rispetto alla baseline.
• Task Scheduling: I metodi di task scheduling (SMT, AMT) non hanno superato la semplice randomizzazione uniforme della dinamica. In alcuni casi, concentrarsi sui task "difficili" (SMT) ha portato a fallimenti dell'addestramento (tasso di successo dello 0%).

Significatività e Rivendicazioni
Il documento sostiene che il deep reinforcement learning, in particolare quando combinato con architetture di controllo ibride e addestrato tramite randomizzazione della dinamica, può raggiungere una robustezza e prestazioni di inseguimento superiori rispetto ai controllori PID con programmazione dei guadagni tradizionali nell'inviluppo operativo del rientro ipersonico.

Gli autori sottolineano che, sebbene il RL puro offra alte prestazioni, l'approccio ibrido è il candidato più promettente per i sistemi pronti al volo. Questa architettura fornisce una sicurezza intrinseca mantenendo un controllore di base formalmente verificato, permettendo alla componente RL di essere limitata o disabilitata tramite logica di supervisione qualora il sistema si avvicini ai limiti del proprio dominio validato. Lo studio conclude che MR.Q è particolarmente efficace grazie alla sua rappresentazione basata sul modello e ai ritorni multi-step, e che la semplice randomizzazione della dinamica è una strategia di addestramento più affidabile rispetto al task scheduling complesso per garantire la generalizzazione in questa applicazione critica per la sicurezza. Il lavoro mira a fornire prove statistiche di affidabilità all'interno di un ambito operativo strettamente definito, colmando il divario tra l'IA adattiva e i rigorosi requisiti di V&V per i voli spaziali.