Optimizing Mission Planning for Multi-Debris Rendezvous Using Reinforcement Learning with Refueling and Adaptive Collision Avoidance

Deze studie stelt een gemaskeerd Proximal Policy Optimization (PPO) reinforcement learning-framework voor dat brandstofefficiënte, adaptieve botsingsvermijdings- en bijtankenstrategieën optimaliseert voor kleine satellieten die missies voor actieve verwijdering van meerdere stukken ruimteafval uitvoeren, waarbij een superieure prestatie wordt aangetoond ten opzichte van traditionele heuristische benaderingen in complexe orbitale omgevingen.

De kern

Stel je de baan van de Aarde voor als een drukke, chaotische snelweg in de ruimte. Door de jaren heen zijn er duizenden oude satellieten en brokken metaal (ruimteafval) opgehoopt, wat een gevaarlijke verkeersopstopping heeft gecreëerd. Als een satelliet tegen dit afval botst, creëert dit nog meer puin, wat kan leiden tot een kettingreactie die ruimtereizen voor decennia onmogelijk kan maken. Dit staat bekend als het "Kessler-syndroom".

Om dit op te lossen, hebben we "Active Debris Removal" (ADR) missies nodig. Denk aan deze missies als sleepwagens in de ruimte, ontworpen om deze stukken afval te grijpen en ze uit de weg te slepen. Maar dat is het probleem: de snelweg beweegt snel, het verkeer is onvoorspelbaar en de sleepwagen heeft een beperkte brandstoftank.

Dit artikel presenteert een nieuwe manier om deze missies te plannen met behulp van een "slim brein" genaamd Reinforcement Learning (RL). In plaats van oude, rigide regels te gebruiken, hebben de onderzoekers een computeragent geleerd om door deze ruimte-sleepwagen te rijden via vallen en opstaan, net zoals een personage in een videogame leert een level te voltooien.

Hier is hoe hun systeem werkt, onderverdeeld in eenvoudige concepten:

1. De "Slimme Bestuurder" (De AI-agent)

De onderzoekers hebben een digitale agent gemaakt die fungeert als de missieplanner. In plaats van een vooraf geschreven kaart te volgen, leert deze agent door miljoenen keren het spel te spelen.

• Het Doel: Zoveel mogelijk stukken afval bezoeken voordat de brandstof of de tijd op is.
• De Uitdaging: Het "verkeer" (ander afval) kan plotseling in het pad verschijnen, wat een gevarenzone creëert. De agent moet beslissen: "Ga ik rechtdoor, neem ik een omweg, of stop ik om bij te tanken?"

2. De Drie Grote Acties

De agent moet drie soorten beslissingen nemen, en hij doet dit allemaal tegelijkertijd:

• Het Volgende Doel Kiezen: Welk stuk afval moet ik als volgende bezoeken? De agent leert de meest efficiënte volgorde om objecten te bezoeken, vergelijkbaar met een bezorger die de beste route uitstippelt om pakketjes af te leveren zonder achteruit te rijden.
• Bijtanken: De sleepwagen kan niet eeuwig doorgaan. De agent leerde dat hij kan stoppen bij een "tankstation" (een bijtankenpunt), maar alleen nadat hij succesvol ten minste één stuk afval heeft opgepikt. Hij leerde de balans te vinden tussen stoppen voor brandstof (wat tijd kost) en het risico om zonder brandstof te komen zitten.
• Ontwijken van Gevaar: Soms verschijnt er plotseling nieuw afval in het pad. De agent leerde om direct een "ontwijkmanoeuvre" uit te voeren. Hij kan iets hoger of iets lager sturen (zoals van rijstrook wisselen op een snelweg) om om de gevarenzone heen te gaan, terwijl hij een veilige afstand van 5 kilometer behoudt.

3. Het "Gemaskeerde" Brein

Een van de slimme trucs in dit artikel is iets dat een "Masked" algoritme wordt genoemd.
Stel je voor dat je een spel speelt waarbij je alleen kunt kiezen uit de knoppen die oplichten. Als een knop kapot of illegaal is, blijft deze donker.

• In dit systeem is de AI "gemaskeerd", zodat hij geen illegale zetten kan maken. Hij kan fysiek niet kiezen om een stuk afval te bezoeken dat hij al heeft opgepikt, of proberen bij te tanken voordat dat mag. Dit voorkomt dat de AI tijd verspilt aan het aanleren van slechte gewoonten en helpt hem sneller te leren.

4. De Resultaten: Hoe Ging Het?

De onderzoekers testten deze "Slimme Bestuurder" tegen oudere, simpelere methoden (zoals een robot die gewoon het dichtstbijzijnde afval pakt zonder vooruit te denken).

• De Oude Manier: De simpele robots kwamen vaak vast te zitten in het verkeer, raakten hun brandstof kwijt of botsten omdat ze niet naar de toekomst hadden gepland.
• De Nieuwe Manier: De Reinforcement Learning-agent was veel beter. Hij bezocht meer stukken afval, vermeed vaker botsingen en beheerde zijn brandstof veel efficiënter. Hij leerde flexibel te zijn en zijn route direct aan te passen wanneer er een nieuw gevaar verscheen.

De Kernboodschap

Dit artikel laat zien dat we computers kunnen leren om betere verkeersmanagers in de ruimte te zijn dan wij met oude, rigide regels. Door een AI te laten leren door oefening, kunnen we kleine, wendbare satellieten naar de ruimte sturen om ruimteafval veiliger en efficiënter op te ruimen.

Wat het artikel NIET beweert:

• Het zegt niet dat deze technologie morgen al op een echte satelliet vliegt.
• Het beweert niet dat dit alle ruimteproblemen onmiddellijk zal oplossen.
• Het richt zich strikt op het plannen en de simulatie van deze missies, om te bewijzen dat deze "slimme brein"-aanpak beter werkt dan traditionele wiskundige planning in een computersimulatie.

Kortom, de auteurs bouwden een virtuele trainingsgrond waar een AI leerde een meesterlijke ruimte-janitor te worden, en het bewees veel slimmer te zijn dan de oude manieren van doen.

Technische samenvatting

Technische Samenvatting: Optimalisatie van Missieplanning voor Multi-Debris Rendez-vous met behulp van Reinforcement Learning

1. Probleemstelling

Het artikel behandelt de kritieke uitdaging van Active Debris Removal (ADR) in een lage aardbaan (LEO), waar de toenemende dichtheid van gecatalogiseerde objecten en fragmenten kleiner dan een centimeter een hoog risico op botsingen in de baan creëert. Het specifieke probleem wordt geformuleerd als een sequentieel beslissingsprobleem onder onzekerheid, vergelijkbaar met een gemodificeerd Dynamic Traveling Salesman Problem (TSP).

Het doel is om een optimale sequentie van manoeuvres te bepalen voor een kleine satelliet om rendez-vous te voltooien met meerdere debris-doelwitten, terwijl aan strikte beperkingen wordt voldaan:

• Beperkte middelen: Eindige brandstof- en tijdbudgetten.
• Dynamische gevaren: Probabilistische botsingsrisico's (gemodelleerd als kubusvormige gevarenzones) die tijdens transfers kunnen verschijnen.
• Operationele complexiteit: De noodzaak om bijtankstrategieën (die de levensduur van de missie verlengen maar kosten met zich meebrengen) en adaptieve botsingsvermijding (die trajectherplanning vereisen) te integreren.

Traditionele benaderingen, zoals brute-force enumeratie of greed-heuristieken, worden als ontoereikend beschouwd. Brute-force methoden zijn computationeel onhaalbaar voor complexe missies, terwijl greed-heuristieken vaak suboptimale oplossingen opleveren omdat ze toekomstige beperkingen of dynamische botsingsrisico's niet kunnen voorzien.

2. Methodologie

De auteurs stellen een Reinforcement Learning (RL) framework voor dat gebruikmaakt van een Masked Proximal Policy Optimization (PPO) algoritme. Het probleem wordt gemodelleerd als een Markov Decision Process (MDP).

A. State en Action Space

• State Representatie ($s_t$): Omvat de positie, snelheid en genormaliseerd brandstofniveau van het ruimtevaartuig; een binaire maskering die aangeeft welke debris bezocht zijn; relatieve Kepler-elementen van alle debris-doelwitten; afstand tot bijtankstations; eligibility-flags voor bijtanken; en botsingsrisico-nabijheidsvectoren.
• Action Space ($A$): Een discrete, gemaskeerde actieruimte bestaande uit:
  • Rendez-vous: Het selecteren van een niet-bezocht debris-doelwit ($d_j$) dat momenteel buiten de gevarenzones valt.
  • Bijtanken: Het uitvoeren van een bijtaak-actie (alleen toegestaan als de agent ten minste één debris heeft bezocht).
  • Botsingsvermijding (CA): Het selecteren van "CA Above" of "CA Below" manoeuvres wanneer een geplande transferboog een probabilistisch getriggerde gevarenzone snijdt.

B. Kernalgoritme: Masked PPO

Het framework maakt gebruik van PPO vanwege de stabiliteit in continue controle-domeinen. Een belangrijke innovatie is de toepassing van invalid action masking. Vóór de softmax-laag worden de logits voor ongeldige acties (bijv. het bezoeken van reeds bezocht debris of bijtanken zonder eligibility) ingesteld op $-\infty$. Dit beperkt de actieruimte dynamisch bij elk tijdstap, waardoor de agent alleen de haalbare acties overweegt op basis van de huidige missiestatus.

C. Simulatieomgeving

• Dynamica: Gebruikt Hohmann-transferbogen voor brandstofefficiënt rendez-vous en patched-conic benaderingen voor botsingsvermijding.
• Botsingsmodellering: Gevarenzones (5×5×5 km) worden met een kans van 33% getriggerd bij het selecteren van een doelwit. Als een traject een zone snijdt, moet de agent herplannen met behulp van elliptische omwegen ("CA Above" of "CA Below") waarbij een vrije marge van 5 km wordt gehandhaafd.
• Bijtanklogica: Agents kunnen alleen bijtanken nadat ze ten minste één debris hebben bezocht. Voortijdig bijtanken wordt bestraft.
• Training: De agent wordt getraind over 10 miljoen stappen met behulp van Stable-Baselines3 met gedistribueerde sampling en entropie-regularisatie. Scenario's zijn afgeleid van de Iridium 33 debris dataset.

D. Beloningsfunctie

De agent maximaliseert de langetermijn cumulatieve beloningen gedefinieerd door:
$$r_t = \delta_{visit} - C_t - T_{penalty}$$
Waarbij $\delta_{visit}$ een beloning is voor het bezoeken van nieuw debris, $C_t$ een straf is voor botsingen, en $T_{penalty}$ een straf is voor het uitputten van brandstof of tijd.

3. Belangrijkste Bijdragen

Het artikel identificeert vier primaire bijdragen:

1. Adaptieve Botsingsvermijding: Implementatie van probabilistisch getriggerde kubusvormige risicozones die de agent dwingen tot herplanning met gebruik van detour-manoeuvres met een minimale marge van 5 km.
2. Geïntegreerde Bijtanklogica: Het inbedden van bijtanken als een leerbaar beslissingscheckpoint dat de missielevensduur verlengt maar wordt bestraft als het voortijdig wordt gebruikt.
3. Brandstofefficiënte Transfers: Gebruik van Hohmann-manoeuvres en ellips-gebaseerde avoidance-bogen voor trajectgeneratie.
4. Custom Reward Shaping: Een beloningsstructuur die missie-efficiëntie, veiligheid en volledige debris-dekking in balans brengt.

4. Resultaten en Evaluatie

Het framework werd geëvalueerd tegen vier verschillende planningsmodi over 100 unieke testgevallen:

1. RL-RL: RL handelt zowel de sequencing als de botsingsvermijding af.
2. RL-Greedy: RL handelt de sequencing af; een deterministische greedy planner handelt de vermijding af.
3. Greedy-RL: Een greedy heuristiek handelt de sequencing af; RL handelt de vermijding af.
4. Greedy-Greedy: Zowel de sequencing als de vermijding worden afgehandeld door heuristieken.

Belangrijkste bevindingen:

• Prestaties: De RL-RL configuratie behaalde de hoogste gemiddelde debris-dekking (ongeveer 30,4 debris per missie in de testcase) vergeleken met hybride en greedy baselines (die varieerden tussen 19,3 en 29,5).
• Robuustheid: De RL-agent demonstreerde het vermogen om zich aan te passen aan dynamische gevaren. In casestudies slaagde de agent erin om routes te herplannen wanneer botsingsrisico's werden getriggerd, waarbij de voltooiing van de missie binnen de kaders werd gehouden.
• Convergentie: De training vertoonde een steile beloningswinst in de eerste 1–2 miljoen stappen en stabiliseerde na 8 miljoen stappen, wat wijst op beleidsconvergentie.
• Vergelijking: Hybride strategieën die vertrouwen op greedy-heuristieken voor sequencing presteerden ondermaats vanwege een onvermogen om toekomstige beperkingen te voorzien. Daartegenover presteerde het gebruik van RL enkel voor vermijding (Greedy-RL) niet beter dan de volledige RL, wat het belang benadrukt van het globaal leren van de visitatie-sequentie.

5. Betekenis en Claims

Het artikel claimt dat dit onderzoek een praktische en schaalbare oplossing biedt voor het plannen van complexe ADR-missies gericht op meerdere stukken debris.

• Voorbij Heuristieken: De studie toont aan dat RL-gebaseerde besluitvorming traditionele heuristische benaderingen overtreft in zowel veiligheid en naleving als in missievolledigheid (debris-dekking).
• Generaliseerbaarheid: Hoewel gericht op ADR, stelt de auteur dat het framework een bredere toepasbaarheid biedt voor andere multi-target rendezvous scenario's, zoals on-orbit servicing, collaboratieve inspectie en asteroid sample return campagnes.
• Autonomie: Het werk valideert RL als een levensvatbare methode voor de volgende generatie autonome ruimteoperaties, in staat om met beperkte middelen en probabilistische omgevingsgevaren in real-time om te gaan.

De auteurs concluderen dat het vermogen van het framework om gezamenlijk visitatie-sequenties, bijtanklogica en botsingsvermijding te leren, het een robuust instrument maakt voor toekomstige missies in steeds meer verdichte orbitale omgevingen.