Optimal Multi-Debris Mission Planning in LEO: A Deep Reinforcement Learning Approach with Co-Elliptic Transfers and Refueling

Dit artikel introduceert een op co-elliptische overgangen en tanken gebaseerd raamwerk voor het verwijderen van meerdere ruimteafvalobjecten in de lage aardbaan, waarbij Masked Proximal Policy Optimization (PPO) als deep reinforcement learning-methode aanzienlijk betere prestaties en efficiëntie toont dan traditionele greedy-algoritmen en Monte Carlo Tree Search.

De kern

Stel je voor dat de ruimte rondom de aarde (de Lage Aarde-omloopbaan) een enorme, drukke snelweg is. Maar in plaats van auto's, zit deze snelweg vol met ruimteschroot: oude satellieten, stukken raketten en andere puinhopen. Dit schroot is gevaarlijk; als het tegen elkaar botst, kan het een kettingreactie veroorzaken waarbij er steeds meer schroot ontstaat (het zogenaamde "Kessler-syndroom").

Om dit probleem op te lossen, willen we een "ruimtestoof" sturen die dit schroot opruimt. Maar er is een groot probleem: er zijn duizenden stukken schroot, en de stoof heeft beperkt brandstof en tijd. Hoe kies je welke stukken je eerst opruimt, zodat je er het meeste mee kunt doen zonder vast te komen zitten?

Dit artikel beschrijft hoe de auteurs een slimme computer hebben getraind om dit opruimwerk te plannen, en hoe deze computer veel beter presteert dan de oude methoden.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De Ruimtelijke Pizzakoerier

Stel je voor dat je een pizzakoerier bent in een stad waar de wegen voortdurend veranderen. Je moet 50 verschillende huizen bezoeken om pizza's af te leveren.

• De uitdaging: Je hebt een beperkte tank benzine. Als je op een verkeerd huis afrijdt, kun je vast komen te zitten of je tank leegrijden voordat je de rest hebt bezorgd.
• De oude manier: De "Gierige" methode (Greedy). Deze kijkt alleen naar het huis dat nu het dichtstbij is. Het klinkt slim, maar vaak rijdt je hierdoor in een doodlopende straat en moet je later een enorme omweg maken.
• De tussenweg: De "Monte Carlo" methode (MCTS). Deze probeert in zijn hoofd duizenden verschillende routes uit te rekenen voordat hij vertrekt. Het is heel nauwkeurig, maar het duurt eeuwen om te rekenen. Tegen de tijd dat hij een route heeft, is de pizza koud.

2. De Oplossing: De Slimme AI (Deep Reinforcement Learning)

De auteurs hebben een kunstmatige intelligentie (AI) getraind die werkt als een super-ervaren chauffeur. In plaats van alleen naar de dichtste plek te kijken of duizenden routes uit te rekenen, heeft deze AI "geleerd" door te oefenen.

Ze hebben de AI getraind in een virtuele simulatie met drie belangrijke regels:

1. De Slimme Route (Co-elliptische transfers): In plaats van rechtstreeks van A naar B te vliegen (wat veel brandstof kost), gebruikt de AI een slimme techniek. Hij schuift eerst naar een tussenbaan die deelt met het doelwit, en "draait" dan langzaam mee met de aarde tot hij erachter is. Dit is alsof je niet hard remt en weer optrekt, maar je auto op de snelweg laat meedrijven tot je op de juiste plek bent.
2. De Veiligheidszone (Safety Ellipse): Als de AI dicht bij het schroot komt, gaat hij niet direct op de rem. Hij maakt een voorzichtig, elliptisch rondje om het schroot heen. Dit is als een piloot die heel voorzichtig en langzaam landt, zodat hij niet per ongeluk tegen het schroot botst.
3. Het Tankstation (Refueling): De AI weet dat hij niet alles in één keer kan doen. Als zijn brandstof (delta-V) bijna op is, keert hij terug naar het tankstation. De AI leert echter om niet te vaak te tanken, want dat kost tijd. Hij probeert dus een slimme balans te vinden: "Hoeveel kan ik doen voordat ik terug moet?"

3. De Wedstrijd: Wie wint er?

De auteurs hebben drie methoden tegen elkaar laten strijden in 100 verschillende scenario's:

• De Gierige Koerier: Kijkt alleen naar het dichtstbijzijnde doel.
• De Rekenkundige (MCTS): Rekent alles uit, maar is traag.
• De Getrainde AI (Masked PPO): Gebruikt wat hij heeft geleerd.

De resultaten:

• Aantal opruimwerk: De AI (Masked PPO) was de winnaar. Hij kon twee keer zoveel stukken schroot opruimen als de "Gierige Koerier". Hij deed bijna net zo goed als de "Rekenkundige", maar dan veel sneller.
• Snelheid: Dit is het belangrijkste. De AI had slechts 1 of 2 seconden nodig om een plan te maken. De "Rekenkundige" had duizenden seconden (uren) nodig.
  • Vergelijking: De AI is als een ervaren taxi-chauffeur die direct weet welke route hij moet nemen. De rekenkundige is als iemand die eerst een kaart van de hele stad moet tekenen voordat hij de auto start.

4. Waarom is dit belangrijk?

Vroeger dachten mensen dat je voor zulke complexe ruimtetaakjes alleen maar simpele regels of enorme rekenkracht nodig had. Dit artikel laat zien dat lerende computers (AI) de toekomst zijn.

Ze kunnen:

• Veilig werken (door de veiligheidszones).
• Brandstof besparen (door slimme routes).
• Snel beslissingen nemen (cruciaal voor echte ruimtemissies).

Conclusie:
Deze studie bewijst dat we met moderne AI een "ruimtestofzuiger" kunnen bouwen die niet alleen slimmer is dan onze oude methoden, maar ook veel sneller en zuiniger. Het is een grote stap naar een schone en veilige ruimte, waar toekomstige satellieten niet meer worden geblokkeerd door het schroot van vroeger.

Technische samenvatting

1. Probleemdefinitie

De proliferatie van ruimteschroot in de Lage Aarde-omloopbaan (LEO) vormt een groeiende bedreiging voor operationele ruimtevaartuigen en de langetermijnduurzaamheid van ruimteactiviteiten (het "Kessler-syndroom"). Actieve Ruimteschrootverwijdering (ADR) is noodzakelijk om deze dreiging te mitigeren.

De kernuitdaging ligt in het plannen van een multi-doel rendezvous-missie waarbij een "jager"-ruimtevaartuig (chaser) meerdere schrootobjecten moet bezoeken, vastmaken en uit de baan moet brengen binnen strikte beperkingen:

• Brandstofbeperkingen: Beperkte $\Delta V$ (verandering in snelheid) capaciteit.
• Tijdsbeperkingen: Een maximale missieduur (bijv. 7 dagen).
• Veiligheid: Vermijden van botsingen en respecteren van "keep-out zones".
• Dynamiek: De schrootobjecten bevinden zich in verschillende banen met willekeurige parameters.

Traditionele methoden (zoals de Travelling Salesman Problem-benadering met heuristieken) slagen er vaak niet in om de volledige complexiteit van ruimtemissies te vangen, zoals het afwegen van tankstops, dynamische veiligheidszones en complexe baanovergangen.

2. Methodologie

De auteurs introduceren een unificatiekader voor co-elliptische manoeuvres en testen drie verschillende planningsalgoritmen binnen een realistische orbitale simulatieomgeving.

A. Het Orbitale Kader

Het model combineert drie kritieke componenten voor een realistische simulatie:

1. Co-elliptische Hohmann-overdrachten: In plaats van directe overdrachten tussen elk paar objecten, wordt het jagerschip geplaatst in een tussenliggende co-elliptische baan die de apogeum of perigeum deelt met het doelwit. Dit zorgt voor efficiëntere fasering (phasing) en verlaagt de totale $\Delta V$ en tijd.
2. Veiligheidsellips (Safety Ellipse): Voor de finale nadering wordt een gecontroleerde, elliptische langzame nadering gebruikt (gebaseerd op Barbee et al., 2011). Dit minimaliseert het botsingsrisico en zorgt voor precisie bij het rendezvous met niet-coöperatieve doelen.
3. Herverbranding (Refueling): Het agent kan terugkeren naar een tankstation (op 700 km hoogte) om het $\Delta V$-budget te herstellen. Dit brengt echter tijdsstraffen met zich mee en wordt gestuurd door de agent om de efficiëntie te maximaliseren.

B. De Vergelijkende Algoritmen

Drie benaderingen worden getest tegen elkaar:

1. Gierige Heuristiek (Greedy): Kiest bij elke stap het dichtstbijzijnde of goedkoopste (minste $\Delta V$) onbezoekte object. Dit is lokaal optimaal maar mist langetermijnstrategie.
2. Monte Carlo Tree Search (MCTS): Bouwt een zoekboom op door toekomstige trajecten te simuleren en gebruikt de Upper Confidence Bound (UCB) formule om exploratie en exploitatie in evenwicht te brengen.
3. Deep Reinforcement Learning (RL) - Masked PPO:
   • Algoritme: Proximal Policy Optimization (PPO) met Actie-maskering.
   • Actie-maskering: Verwijdert onmogelijke acties (zoals al bezochte objecten) uit de kansverdeling van het beleid, wat de leerstabiliteit en efficiëntie verhoogt.
   • Observatieruimte: Omvat een binair masker van bezochte objecten, resterend $\Delta V$, resterende tijd, en de Kepler-elementen van zowel het jagerschip als alle schrootobjecten.
   • Beloning: +1 voor succesvol rendezvous, 0 voor tanken/omwegen, -1 voor voortijdige beëindiging of schending van beperkingen.

3. Belangrijkste Bijdragen

• Unificatiekader: Een nieuw model dat Hohmann-overdrachten, co-elliptische fasering, veiligheidsellipsen en expliciete tanklogica integreert in één simulatieomgeving.
• Masked PPO voor Ruimte: Toepassing van een gespecialiseerd RL-algoritme (Masked PPO) dat specifiek is ontworpen voor sequentiële beslissingen met dynamische beperkingen in de ruimtevaart.
• Uitgebreide Benchmarking: Een rigoureuze vergelijking van heuristiek, zoekbomen en RL over 100 willekeurige testscenario's met 50 schrootobjecten per scenario.

4. Resultaten

De prestaties werden gemeten op basis van het aantal bezochte schrootobjecten en de rekentijd.

• Efficiëntie (Aantal objecten):

  • Greedy: Presteerde het slechtst (15-18 objecten) door het gebrek aan langetermijnplanning.
  • MCTS: Verbeterde aanzienlijk (25-29 objecten) door toekomstige scenario's te simuleren.
  • Masked PPO: Bereikte de hoogste prestatie (29-32 objecten). Het agent leert om complexe, efficiënte routes te vinden die zowel brandstof als tijd optimaliseren en effectief gebruik maken van tankstops.

• Rekentijd (Computational Performance):

  • Greedy & Masked PPO: Zeer snel (1-2 seconden per missie). Dit maakt ze geschikt voor real-time of aan boord toepassingen.
  • MCTS: Extreem traag (1.000 - 10.000 seconden) vanwege de noodzaak voor uitgebreide boomexpansie en roll-outs. Dit maakt MCTS onpraktisch voor snelle planning in dynamische omgevingen.

5. Betekenis en Conclusie

De studie concludeert dat Masked PPO de beste balans biedt tussen oplossingskwaliteit en rekenkundige haalbaarheid.

• Schaalbaarheid: RL-methoden kunnen complexe, hoog-dimensionale beslissingsproblemen aanpakken waar traditionele zoekmethoden (zoals MCTS) te traag zijn en heuristieken (zoals Greedy) te kortzichtig.
• Autonomie: De resultaten onderstrepen het potentieel van moderne RL-methoden voor autonome ADR-missies, waarbij het agent in staat is om veiligheidszones, brandstofbeperkingen en dynamische omgevingen te balanceren zonder menselijke tussenkomst.
• Toekomstperspectief: Dit werk legt de basis voor verdere ontwikkelingen, zoals het integreren van nog gedetailleerdere dynamische modellen (bijv. J2-perturbaties) en transfer learning voor adaptatie aan veranderende schrootvelden.

Kortom, dit artikel bewijst dat Deep Reinforcement Learning met specifieke aanpassingen (zoals actie-maskering) een superieur alternatief is voor traditionele methoden in het plannen van complexe multi-doel ruimtemissies.