Learning-Based Planning for Improving Science Return of Earth Observation Satellites

Probleemstelling

Aarde-observatiesatellieten zijn krachtige instrumenten voor wetenschappelijke datacollectie, maar ze kampen met aanzienlijke beperkingen:

1. Beperkte mobiliteit: Ze kunnen niet eenvoudig van hun orbitale traject afwijken.
2. Beperkt gezichtsveld: Sensoren hebben een beperkt zichtveld.
3. Ressourcenbeperking: Het richten en bedienen van sensoren kost veel energie (stroom).

Het doel is om de wetenschappelijke opbrengst te maximaliseren door alleen de meest waardevolle metingen te doen. Dit vereist dynamische targeting: het intelligent herconfigureren en richten van de primaire sensor op basis van data van een "vooruitkijkende" (lookahead) sensor. Bestaande methoden (zoals greedy-algoritmen) zijn vaak suboptimaal omdat ze lokaal optimaliseren zonder rekening te houden met toekomstige energiebeperkingen of langere-termijn beloningen.

Methodologie

De auteurs modelleren het probleem als een Markov Decision Process (MDP) en ontwikkelen twee leer-gebaseerde benaderingen die voortbouwen op een dynamische programmering (DP) oplossing:

1. Versterkende Leer (Reinforcement Learning - Q-learning):

   • Doel: Een agent leren om een beleid te volgen dat de totale beloning maximaliseert.
   • Aanpak: Er wordt gebruikgemaakt van Q-learning met een Q-tabel. Omdat een directe toepassing op ruwe beelden te veel toestanden zou genereren, wordt een gereduceerde toestandvector gebruikt. Deze vector bevat de laadtoestand van de batterij (SOC) en binaire variabelen die de aanwezigheid van drie soorten wolken/stormen aangeven in zowel het primaire als het lookahead sensorbereik.
   • Innovatie: Om het probleem van onvoldoende exploratie van toestanden op te lossen, wordt een strategie uit dynamische programmering toegepast: het trainen begint bij het einde van de data en werkt terug in de tijd. Hierdoor "ervaart" de Q-learning agent elke mogelijke combinatie van toestand en actie, zelfs met beperkte datasets.

2. Imitatie-Leren (Imitation Learning - Behavioral Cloning):

   • Doel: Het nabootsen van het optimale beleid van een "expert".
   • Expert: Een dynamische programmering (DP) algoritme fungeert als de expert. Hoewel DP niet op een satelliet inzetbaar is (omdat het volledige kennis van de toekomst vereist), genereert het de optimale reeks acties voor een gegeven dataset.
   • Aanpak: Er wordt een Multilayer Perceptron (MLP) (een neurale netwerkk) getraind via supervised learning. De input is een genormaliseerde toestandvector (meer gedetailleerd dan bij Q-learning) en de output is de waarschijnlijkheid om een meting te doen. Het netwerk leert om het gedrag van de DP-expert te repliceren.

Simulatieomgeving:
De methoden worden getest in een simulatie met een primaire radar-sensor en een lookahead-sensor. Twee scenario's worden onderzocht:

• Wolkvermijding: Focus op het observeren van heldere lucht (hoge beloning) en het vermijden van wolken.
• Stormjacht: Focus op het observeren van convectieve stormkernen (hoge beloning).
• Energiebeperking: Het nemen van een monster verbruikt 5% batterij; opladen gebeurt met 1% per tijdstap. Dit dwingt de satelliet om gemiddeld 80% van de tijd "uit" te staan.

Belangrijkste Bijdragen

• Introductie van leer-gebaseerde planning: Het toepassen van Q-learning en imitatie-leer op het specifieke probleem van dynamische targeting voor satellieten.
• Efficiënte trainingsstrategie: Het aantonen dat deze methoden effectief kunnen worden getraind met zeer kleine datasets (slechts enkele duizenden afbeeldingen) door gebruik te maken van backtracking-strategieën en imitatie van een DP-expert.
• Superioriteit ten opzichte van heuristieken: Het bewijzen dat leer-gebaseerde methoden significant beter presteren dan bestaande heuristische methoden (zoals greedy-nadir, greedy-lateral, en greedy-window).
• Real-time toepasbaarheid: De berekende beslissingen duren microseconden, wat betekent dat ze in real-time op satellieten kunnen worden uitgevoerd.

Resultaten

De prestaties worden gemeten als het percentage van de theoretisch maximale beloning (bereikt door de DP "oracle").

• Vergelijking met Heuristieken:

  • Q-learning behaalde gemiddeld 98,67% van de maximale beloning in het scenario "Wolkvermijding" en 94,66% in "Stormjacht".
  • Imitatie-leer (Behavioral Cloning) behaalde 95,84% (Wolkvermijding) en 91,27% (Stormjacht).
  • De beste bestaande heuristiek ("Greedy Window") behaalde slechts 87,50% (Wolkvermijding) en 82,57% (Stormjacht).
  • Conclusie: Imitatie-leer presteerde gemiddeld 10,0% beter dan de beste heuristiek, en Q-learning 13,7% beter.

• Data-efficiëntie:

  • De modellen convergeren naar optimale prestaties met relatief weinig data (3.000 tot 20.000 afbeeldingen), afhankelijk van het scenario. Het gebruik van volledige datasets leidde soms zelfs tot overfitting (bij stormjacht).

• Gedrag:

  • De leermodellen slaagden erin om vaker hoge-beloningsdoelen (heldere lucht of convectieve stormen) te selecteren en minder tijd te besteden aan het meten van lage-beloningsdoelen, in vergelijking met traditionele methoden. Ze leerden ook om energie te sparen wanneer alleen lage-beloningsdoelen zichtbaar waren, in afwachting van betere kansen.

Betekenis en Toekomstperspectief

Dit onderzoek toont aan dat machine learning-methoden de wetenschappelijke opbrengst van aarde-observatiesatellieten aanzienlijk kunnen verhogen door intelligenter om te gaan met beperkte energie en zichtbaarheid. De methoden zijn niet alleen superieur aan huidige technieken, maar ook robuust genoeg om met kleine datasets te trainen, wat cruciaal is voor missies waar grote datasets niet altijd beschikbaar zijn.

Toekomstig werk omvat:

• Het gebruik van volledige beelden als input in plaats van handmatig ontworpen toestandvectoren.
• Toepassing van geavanceerde methoden zoals Deep Q-Networks (DQN) en Proximal Policy Optimization (PPO).
• Het inbouwen van meer realistische instrumentbeperkingen (zoals bewegingstijd en energie).
• De implementatie en test van deze algoritmen op daadwerkelijke satellietplatforms met deep-learning-ondersteunde processors.