Learning-Based Planning for Improving Science Return of Earth Observation Satellites

Titolo

Pianificazione basata sull'apprendimento per migliorare il ritorno scientifico dei satelliti di osservazione terrestre.

1. Il Problema

I satelliti di osservazione terrestre (EO) sono strumenti fondamentali per la raccolta di dati scientifici (geologia, meteorologia, clima), ma operano sotto severe limitazioni:

• Vincoli orbitali: Non possono deviare facilmente dalle loro traiettorie.
• Limitazioni dei sensori: Hanno un campo di vista ristretto e richiedono risorse significative (energia e tempo) per il puntamento e l'operatività.
• Gestione delle risorse: L'operatività dei sensori consuma la batteria, che si ricarica lentamente.

L'obiettivo è ottimizzare la raccolta dati selezionando solo le misurazioni più informative. Il concetto di Targeting Dinamico (Dynamic Targeting) emerge come soluzione: utilizzare i dati di un sensore "di pre-visualizzazione" (lookahead) per riconfigurare intelligentemente e puntare il sensore principale verso obiettivi scientifici di alto valore, massimizzando il ritorno scientifico rispetto alle strategie di campionamento convenzionali (es. campionamento uniforme o casuale).

2. Metodologia

Gli autori modellano il problema del targeting dinamico come un Processo Decisionale di Markov (MDP), dove lo stato include le informazioni dei sensori e lo stato di carica della batteria (SOC), e l'azione è decidere se o non campionare.

Per risolvere questo problema, vengono proposti e confrontati due approcci basati sull'apprendimento automatico, entrambi che si basano su una soluzione di Programmazione Dinamica (DP) utilizzata come "oracolo" per generare un limite superiore di prestazione (benchmark):

A. Apprendimento per Rinforzo (Reinforcement Learning - Q-Learning)

• Approccio: Utilizza una variante del Q-learning, un algoritmo model-free.
• Rappresentazione dello Stato: A causa della sensibilità del Q-learning al numero di stati, non vengono usate le immagini grezze. Viene creato un vettore di stato composto da 7 caratteristiche: lo stato di carica (SOC) e 6 variabili binarie che indicano la presenza di tre tipi di nuvole (o tempeste) nel raggio del sensore principale e in quello di pre-visualizzazione.
• Azione: Binaria (campionare o non campionare). La posizione esatta del campionamento è determinata dalla regola "campionare il tipo di nuvola con reward più alto più vicino al nadir".
• Innovazione: Per superare il problema della scarsa esplorazione degli stati (tipico del Q-learning con spazi grandi), gli autori adottano una strategia di apprendimento all'indietro (backward iteration) sui dati di simulazione. Invece di procedere in avanti nel tempo, l'algoritmo parte dall'ultimo timestep e retrocede, variando lo SOC da 0 a 100%, garantendo così che ogni stato possibile venga visitato durante l'addestramento.

B. Apprendimento per Imitazione (Imitation Learning - Behavioral Cloning)

• Approccio: Apprendimento supervisionato per replicare le azioni di un agente esperto.
• Esperto: L'algoritmo di Programmazione Dinamica (DP) funge da esperto, fornendo la sequenza di azioni ottimali per ogni stato.
• Modello: Una rete neurale artificiale (MLP - Multilayer Perceptron) addestrata per mappare gli stati (vettori di caratteristiche normalizzati) alle azioni dell'esperto.
• Vantaggio: Permette l'inferenza a bordo con risorse limitate, apprendendo offline una politica che approssima quella ottimale.

3. Scenari di Simulazione

Gli algoritmi sono stati testati in due scenari distinti utilizzando dati storici reali:

1. Evitamento delle Nuvole (Cloud Avoidance): Obiettivo è osservare la superficie terrestre chiara.
   • Reward: Nuvola (basso), Nuvola media (medio), Cielo sereno (alto).
   • Dati: Immagini MODIS.
2. Caccia alle Tempeste (Storm Hunting): Obiettivo è campionare sistemi convettivi intensi.
   • Reward: Nessuna tempesta (basso), Anvile piovoso (medio), Nucleo convettivo (alto).
   • Dati: Dati della missione GPM.

In entrambi i casi, il satellite deve gestire un vincolo energetico stringente: il campionamento scarica la batteria del 5%, mentre la ricarica è dell'1% per timestep, costringendo il satellite a stare "spento" circa l'80% del tempo.

4. Risultati Chiave

Prestazioni rispetto ai Metodi Esistenti

I metodi basati sull'apprendimento superano significativamente le euristiche tradizionali (Random, Greedy Nadir, Greedy Lateral, Greedy Window):

• Imitation Learning (Behavioral Cloning): Supera il miglior metodo euristico (Greedy Window) di una media del 10,0%.
• Reinforcement Learning (Q-Learning): Supera il miglior metodo euristico di una media del 13,7%.
• Confronto con l'Oracolo (DP):
  • Cloud Avoidance: Q-Learning raggiunge il 98,67% del reward totale possibile; Behavioral Cloning il 95,84%.
  • Storm Hunting: Q-Learning raggiunge il 94,66%; Behavioral Cloning il 91,27%.
  • Greedy Window (migliore euristica precedente): Raggiunge solo l'87,50% (Cloud) e 82,57% (Storm).

Efficienza dei Dati

Un risultato cruciale è che entrambi i metodi possono essere addestrati efficacemente con piccole quantità di dati:

• Per l'evitamento delle nuvole, le prestazioni si stabilizzano con circa 20.000 immagini.
• Per la caccia alle tempeste, bastano 3.000 immagini.
• L'uso di dataset completi (86.400 immagini) non garantisce sempre prestazioni superiori e può portare a overfitting in alcuni scenari.

Comportamento Osservato

I modelli appresi tendono a evitare di campionare obiettivi a basso reward (es. nuvole basse o assenza di tempeste) per conservare energia, aspettando obiettivi ad alto reward. Il Q-learning, in particolare, mostra una capacità superiore di utilizzare le informazioni del sensore di pre-visualizzazione per anticipare eventi futuri, a differenza del Behavioral Cloning che si basa principalmente sullo stato corrente.

5. Contributi e Significatività

• Nuovo Paradigma: Introduce con successo l'uso di RL e IL per il targeting dinamico, superando i limiti computazionali della Programmazione Dinamica pura (che richiede conoscenza futura completa e non è deployabile su satellite).
• Efficienza Operativa: Dimostra che è possibile ottenere prestazioni vicine all'ottimo (quasi 99% del potenziale) con modelli leggeri addestrati su piccoli dataset, rendendo fattibile l'implementazione a bordo di satelliti con risorse computazionali limitate.
• Gestione delle Risorse: I metodi ottimizzano dinamicamente il consumo energetico, massimizzando il valore scientifico per ogni joule consumato.
• Scalabilità: Il framework è progettato per essere esteso a sensori più complessi e vincoli più realistici in futuro.

6. Lavori Futuri

Gli autori pianificano di:

• Utilizzare immagini complete come input invece di vettori di stato ingegnerizzati manualmente.
• Implementare metodi di Deep Reinforcement Learning (DQN, PPO) per gestire spazi di stato continui.
• Considerare vincoli più realistici (tempo di movimento del sensore, dissipazione termica).
• Deployare e testare questi algoritmi su piattaforme satellitari reali, in particolare su piccoli satelliti con processori di volo che supportano il deep learning.

In sintesi, questo lavoro dimostra che l'integrazione di tecniche di apprendimento automatico nella pianificazione di missione dei satelliti può trasformare radicalmente l'efficienza della raccolta dati scientifica, passando da strategie reattive o statiche a strategie proattive e intelligenti.