Evaluating Robustness and Adaptability in Learning-Based Mission Planning for Active Debris Removal

Questo articolo valuta tre approcci di pianificazione delle missioni per la rimozione attiva dei detriti, dimostrando che mentre l'apprendimento per rinforzo con randomizzazione del dominio offre un equilibrio robusto tra velocità e adattabilità, il Monte Carlo Tree Search fornisce una gestione dei vincoli superiore al costo di un tempo computazionale significativamente più elevato, evidenziando un compromesso critico tra l'efficienza della politica appresa e la flessibilità basata sulla ricerca.

L'essenziale

Immagina di essere il capitano di una nave spaziale incaricato di pulire una stanza disordinata piena di detriti fluttuanti (spazzatura spaziale). Hai una quantità limitata di carburante (come un serbatoio di benzina) e una scadenza rigorosa (come un coprifuoco). Il tuo compito è visitare quanti più pezzi di spazzatura possibile, fermarti a una stazione di rifornimento se necessario e tornare in tempo.

Questo articolo è una gara tra tre diversi "cervelli" che cercano di capire il percorso migliore per pulire la stanza. I ricercatori hanno testato quanto bene funziona ogni cervello quando le regole del gioco rimangono invariate e quanto bene gestisce i cambiamenti (come quando finisce il carburante più velocemente del previsto o si ha meno tempo).

Ecco come si classificano i tre concorrenti, usando semplici analogie:

I Tre Concorrenti

1. Lo "Specialista" (Nominal PPO)

• Cos'è: Questo è un robot addestrato specificamente per uno scenario perfetto. È come uno studente che ha imparato a memoria le risposte di un test di pratica specifico.
• Come funziona: Impara per tentativi ed errori finché non conosce esattamente le mosse migliori per una missione standard (7 giorni, pieno carico di carburante).
• Il limite: È incredibilmente veloce. Prende decisioni in un battito di ciglia. Tuttavia, se cambi le domande del test (ad esempio, "Ora hai solo metà del carburante"), va nel panico. Prova a usare le stesse mosse memorizzate, finisce la benzina e fallisce miseramente. È ottimo quando tutto va esattamente come pianificato, ma è fragile quando le cose vanno male.

2. Il "Generalista" (Domain-Randomized PPO)

• Cos'è: Questo è un robot addestrato su molti scenari diversi. È come uno studente che non si è limitato a memorizzare un singolo test, ma si è esercitato ogni giorno con livelli di carburante e limiti di tempo casuali.
• Come funziona: Ha imparato a essere flessibile. Sa come essere aggressivo quando ha molto carburante e come essere conservativo quando ne ha poco.
• Il limite: È ancora molto veloce (proprio come lo Specialista). Quando le regole cambiano, si adatta molto meglio dello Specialista. Non è eccellente quanto lo Specialista nello scenario perfetto, ma non va in crash quando lo scenario diventa difficile. È un buon compromesso.

3. Il "Calcolatore" (MCTS)

• Cos'è: Questo non è un robot pre-addestrato; è un supercomputer che pensa a ogni possibile futuro prima di compiere una singola mossa. È come un grande maestro di scacchi che simula 200 partite diverse nella sua testa prima di muovere un pezzo.
• Come funziona: Ad ogni passo, si chiede: "Se vado qui, cosa succede dopo? Se vado lì, cosa succede poi?". Riprogramma costantemente il piano in base alla situazione attuale.
• Il limite: È il più intelligente nel gestire le sorprese. Se tagli il carburante della metà, ricalcola istantaneamente il percorso migliore e completa comunque il lavoro. Tuttavia, è lento. Mentre gli altri due prendono decisioni in meno di un secondo, questo impiega oltre quattro minuti per pensare a una singola mossa. In una vera emergenza su una nave spaziale, aspettare quattro minuti per decidere dove girare potrebbe essere troppo tempo.

I Risultati della Gara

I ricercatori hanno eseguito 300 test per vedere chi vinceva in diverse condizioni:

• Il Test della "Giornata Perfetta" (Carburante e Tempo Normali):
  Lo Specialista ha vinto per un margine minimo. Conosceva il percorso perfettamente. Il Generalista era quasi altrettanto bravo, e il Calcolatore era leggermente indietro ma ha fatto comunque un ottimo lavoro.

• Il Test del "Tempo Limitato" (3 Giorni invece di 7):
  Tutti hanno faticato perché l'orologio correva più velocemente. Il Generalista si è adattato meglio e ha pulito più spazzatura. Lo Specialista si è confuso e ha pulito meno. Il Calcolatore è andato bene, ma è stato leggermente più lento a reagire rispetto al Generalista.

• Il Test del "Basso Carburante" (1/3 del carburante):
  Questo è stato il grande shock. Lo Specialista è andato in crash totale; ha cercato di seguire il suo solito percorso, è rimasto senza benzina immediatamente e ha pulito quasi nulla. Il Generalista è andato molto meglio, pulendo più del doppio rispetto allo Specialista, ma non è riuscito comunque a battere il Calcolatore. Il Calcolatore è stato il chiaro vincitore qui, perché è stato in grado di vedere istantaneamente che doveva essere molto prudente con il carburante e ha cambiato il suo piano al volo.

La Grande Lezione

L'articolo conclude che esiste un compromesso tra velocità e flessibilità:

• Se sai che le regole non cambieranno, usa lo Specialista. È veloce ed efficiente.
• Se pensi che le regole possano cambiare un po', usa il Generalista. È un buon compromesso, è veloce ma può gestire alcune sorprese.
• Se le regole sono caotiche e hai bisogno del piano migliore a prescindere da tutto, usa il Calcolatore. Ma attenzione: richiede molto tempo per pensare.

Gli autori suggeriscono che il futuro della pulizia spaziale potrebbe comportare la miscelazione di questi approcci: addestrare i robot a essere "Generalisti" (come il secondo robot) in modo che siano intelligenti e veloci, ma magari dando loro un pizzico della capacità del "Calcolatore" di ricontrollare i propri piani quando le cose si fanno davvero folli.

Sommario tecnico

Sintesi Tecnica: Valutazione della Robustezza e dell'Adattabilità nella Pianificazione di Missioni Basata sull'Apprendimento per la Rimozione Attiva dei Detriti

Definizione del Problema
La Rimozione Attiva dei Detriti (ADR) in orbita terrestre bassa (LEO) richiede che veicoli spaziali autonomi effettuino l'incontro sequenziale con molteplici oggetti di detrito sotto rigidi vincoli operativi. La sfida centrale è un problema di decision-making sequenziale vincolato in cui il veicolo spaziale deve massimizzare il numero di detriti rimossi rispettando limiti invalicabili sulla durata totale della missione e sul $\Delta v$ cumulativo (budget di carburante). Il veicolo spaziale opera in una fascia di altitudine tra 700 e 800 km, utilizzando trasferimenti di Hohmann co-ellittici e manovre di ellisse di sicurezza terminale. Una complicazione critica è il potenziale "shift distributivo" (distorsione della distribuzione), in cui le condizioni di dispiegamento (ad esempio, riduzione del carburante o accorciamento del tempo di missione) differiscono dai parametri assunti durante l'addestramento delle policy apprese. Il problema è ulteriormente complicato dalla necessità di rifornimento a metà missione, che azzera il budget di $\Delta v$ ma consuma tempo di missione.

Metodologia
Gli autori valutano e confrontano tre distinte strategie di pianificazione all'interno di un ambiente di simulazione orbitale ad alta fedeltà (SpaceDebrisStressTestEnv) che coinvolge 50 target di detriti generati casualmente per episodio. Tutti i metodi utilizzano il mascheramento delle azioni (action masking) per imporre i vincoli di fattibilità ( $\Delta v$ rimanente, tempo e stato di visita).

1. PPO Mascherato Nominale: Un agente Proximal Policy Optimization (PPO) addestrato su parametri di missione fissi e nominali (durata di 7 giorni, 3 km/s di $\Delta v$). Utilizza un Multi-Layer Perceptron (MLP) con due strati nascosti (256 unità) ed è addestrato per 1 milione di timesteps.
2. PPO Mascherato con Randomizzazione del Dominio: Un'architettura PPO identica addestrata per 5,5 milioni di timesteps, ma con i parametri di missione (durata e budget di $\Delta v$) randomizzati all'inizio di ogni episodio. Questo approccio mira a migliorare la robustezza contro gli shift distributivi.
3. MCTS Plain (Monte Carlo Tree Search): Un baseline basato su ricerca online che utilizza l'algoritmo Upper Confidence bounds applied to Trees (UCT). Esegue 200 simulazioni per ogni passo decisionale con una policy randomica uniforme per i rollout. Replana dinamicamente ad ogni passo senza addestramento preventivo.

Risultati Chiave
I metodi sono stati testati su 300 casi (100 per scenario) coprendo condizioni nominali, carburante ridotto (1 km/s) e tempo di missione ridotto (3 giorni).

• Prestazioni Nominali: Nelle condizioni corrispondenti all'addestramento, il PPO Nominale ha ottenuto il più alto numero medio di detriti rimossi (29,1 oggetti), superando leggermente il PPO con Randomizzazione del Dominio (28,2) e l'MCTS (27,1). Entrambe le varianti PPO hanno dimostrato tempi di inferenza inferiori al secondo.
• Tempo di Missione Ridotto: Quando la durata è stata tagliata a 3 giorni, il Polo PPO con Randomizzazione del Dominio ha mostrato la migliore adattabilità (14,1 oggetti), superando sia il PPO Nominale (12,6) che l'MCTS (11,9).
• Carburante ($\Delta v$) Ridotto: Sotto severi vincoli di carburante (1 km/s), il PPO Nominale è degradato drasticamente, rimuovendo in media solo 3,2 oggetti a causa dell'esaurimento precoce del carburante. Il PPO con Randomizzazione del Dominio è migliorato significativamente (8,1 oggetti) ma rimane comunque inferiore all'MCTS (15,0 oggetti).
• Costo Computazionale: L'MCTS ha subito una massiccia penalità computazionale, con una media di oltre 4 minuti per caso di test a causa della ripetuta clonazione dell'ambiente e dei rollout. Al contrario, entrambe le varianti PPO richiedevano meno di 1 secondo per episodio.

Significatività e Rivendicazioni
Il documento sostiene che esiste un compromesso fondamentale tra la velocità delle policy apprese e l'adattabilità dei metodi di ricerca come l'MCTS nella pianificazione delle missioni ADR.

• Policy Apprese: Offrono un'inferenza rapida adatta all'esecuzione in tempo reale a bordo, ma sono fragili quando le condizioni di dispiegamento deviano dalle distribuzioni di addestramento.
• Metodi Basati sulla Ricerca (MCTS): Forniscono una superiore adattabilità ai cambiamenti di vincoli attraverso la ri-pianificazione online, ma sono computazionalmente proibitivi per l'esecuzione in tempo reale su hardware con risorse limitate.
• Randomizzazione del Dominio: Lo studio dimostra che l'addestramento con diversità di parametri di missione colma parzialmente questo divario. Sebbene comporti una perdita moderata nelle prestazioni nominali e richieda molti più passi di addestramento (5,5M rispetto a 1M), produce una policy con una robustezza significativamente migliorata rispetto alla resistenza ai cambiamenti di vincolo rispetto a una policy nominale.

Gli autori concludono che, sebbene nessun metodo offra attualmente sia l'ottimalità di velocità che di adattabilità, combinare la diversità in fase di addestramento (randomizzazione del dominio) con strategie di pianificazione online rappresenta una strada promettente per futuri sistemi ADR resilienti. Suggeriscono che framework ibridi, come quelli che fondono predizioni di policy neurali con la ricerca ad albero (ad esempio, AlphaZero o MuZero), potrebbero rappresentare una direzione valida per il lavoro futuro per ottenere sia efficienza che adattabilità.