Evaluating Robustness and Adaptability in Learning-Based Mission Planning for Active Debris Removal

Dit artikel evalueert drie missieplanningbenaderingen voor actieve debrisverwijdering, waarbij wordt aangetoond dat hoewel domein-gerandomiseerd reinforcement learning een robuust evenwicht biedt tussen snelheid en aanpassingsvermogen, Monte Carlo Tree Search superieure beperkingsafhandeling biedt ten koste van aanzienlijk hogere rekentijd, wat een kritieke afweging tussen de efficiëntie van geleerde beleid en zoekgebaseerde flexibiliteit benadrukt.

De kern

Stel je voor dat jij de kapitein bent van een ruimteschip met de taak om een rommelige kamer op te ruimen die vol ligt met zwevend afval (ruimteafval). Je hebt een beperkte hoeveelheid brandstof (zoals een benzinetank) en een strikte deadline (zoals een avondklok). Jouw taak is om zoveel mogelijk stukken afval te verzamelen, onderweg naar een tankstation te stoppen als dat nodig is om je tank bij te vullen, en op tijd terug te keren.

Dit artikel is een race tussen drie verschillende "hersenen" die proberen de beste route te bepalen. De onderzoekers hebben getest hoe goed elk brein werkt wanneer de regels van het spel hetzelfde blijven, en hoe goed ze ermee omgaan wanneer de regels plotseling veranderen (zoals wanneer je sneller brandstof verbruikt dan verwacht of minder tijd hebt).

Hier is hoe de drie concurrenten tegen elkaar afstevenen, met behulp van eenvoudige analogieën:

De Drie Concurrenten

1. De "Specialist" (Nominal PPO)

• Wat het is: Dit is een robot die specifiek is getraind voor één perfect scenario. Het is als een student die de antwoorden op een specifieke oefentoets heeft uit het hoofd geleerd.
• Hoe het werkt: Het leert door middel van vallen en opstaan totdat het precies de beste zetten kent voor een standaard missie (7 dagen, volle tank).
• De adder onder het gras: Het is ongelooflijk snel. Het neemt beslissingen in een oogwenk. Echter, als je de vragen van de toets verandert (bijv. "Je hebt nu alleen nog de helft van de brandstof"), raakt het in paniek. Het probeert dezelfde geleerde zetten te gebruiken, raakt zonder brandstof en faalt jammerlijk. Het is geweldig wanneer alles precies volgens plan verloopt, maar kwetsbaar wanneer er dingen misgaan.

2. De "Generalist" (Domain-Randomized PPO)

• Wat het is: Dit is een robot die getraind is op veel verschillende scenario's. Het is als een student die niet alleen één toets heeft uit het hoofd geleerd, maar elke dag heeft geoefend met willekeurige brandstofniveaus en willekeurige tijdslimieten.
• Hoe het werkt: Het heeft geleerd om flexibel te zijn. Het weet hoe het agressief moet zijn als het veel brandstof heeft en hoe het voorzichtig moet zijn als de brandstof laag is.
• De adder onder het gras: Het is nog steeds erg snel (net als de Specialist). Wanneer de regels veranderen, past het zich veel beter aan dan de Specialist. Het is niet zo perfect als de Specialist in het perfecte scenario, maar het stort niet in wanneer het scenario lastig wordt. Het is een goed middenpad.

3. De "Calculator" (MCTS)

• Wat het is: Dit is geen vooraf getrainde robot; dit is een supercomputer die over elke mogelijke toekomst nadenkt voordat hij zelfs maar één zet doet. Het is als een schaakgrootmeester die 200 verschillende spellen in zijn hoofd simuleert voordat hij een stuk verplaatst.
• Hoe het werkt: Bij elke stap vraagt het: "Als ik hierheen ga, wat gebeurt er dan? Als ik daarheen ga, wat gebeurt er dan?" Het plant constant opnieuw op basis van de huidige situatie.
• De adder onder het gras: Het is het slimst in het omgaan met verrassingen. Als je de brandstof halveert, berekent het direct de beste route opnieuw en voert de klus nog steeds uit. Echter, het is traag. Terwijl de andere twee beslissingen nemen in minder dan een seconde, heeft deze computer meer dan vier minuten nodig om over één enkele zet na te denken. In een echte noodsituatie op een ruimteschip kan wachten op vier minuten om te beslissen waar je heen moet draaien, te lang zijn.

De Resultaten van de Race

De onderzoekers hebben 300 tests uitgevoerd om te zien wie er won onder verschillende omstandigheden:

• De "Perfecte Dag" Test (Normale Brandstof & Tijd):
  De Specialist won met een kleine marge. Het kende de route perfect. De Generalist was bijna net zo goed, en de Calculator lag er iets achter maar deed nog steeds een geweldig werk.

• De "Tekort aan Tijd" Test (3 Dagen in plaats van 7):
  Iedereen had het zwaar omdat de klok sneller tikte. De Generalist paste zich het beste aan en ruimde de meeste troep op. De Specialist raakte in de war en ruimde minder op. De Calculator deed het goed, maar reageerde iets trager dan de Generalist.

• De "Lage Brandstof" Test (1/3 van de brandstof):
  Dit was de grote schok. De Specialist stortte volledig in; het probeerde zijn gebruikelijke route te vliegen, raakte direct zonder brandstof en ruimde bijna niets op. De Generalist deed het veel beter en ruimde meer dan twee keer zoveel op als de Specialist, maar kon de Calculator nog steeds niet verslaan. De Calculator was de duidelijke winnaar hier, omdat het direct kon zien dat het heel voorzichtig moest zijn met de brandstof en het plan gaande van de zaak aanpaste.

De Belangrijkste Les

Het artikel concludeert dat er een afweging is tussen snelheid en flexibiliteit:

• Als je weet dat de regels niet zullen veranderen, gebruik dan de Specialist. Het is snel en efficiënt.
• Als je denkt dat de regels een beetje kunnen veranderen, gebruik dan de Generalist. Het is een slim compromis dat snel is maar ook enkele verrassingen kan afhandelen.
• Als de regels chaotisch zijn en je hebt het absolute beste plan nodig, ongeacht wat er gebeurt, gebruik dan de Calculator. Maar wees gewaarschuwd: het kost veel tijd om na te denken.

De auteurs suggereren dat de toekomst van ruimte-opruiming het combineren van deze benaderingen kan zijn: het trainen van robots om "Generalisten" te zijn (zoals de tweede robot), zodat ze slim en snel zijn, maar hen misschien ook een beetje van de capaciteit van de "Calculator" geven om hun plannen dubbel te checken wanneer het echt chaotisch wordt.

Technische samenvatting

Technische Samenvatting: Evaluatie van Robuustheid en Adaptiviteit in Leer-gebaseerde Missieplanning voor Actieve Verwijdering van Ruimteafval

Probleemstelling
Actieve Verwijdering van Ruimteafval (ADR) in een lage aardbaan (LEO) vereist autonome ruimtevaartuigen die opeenvolgend contact moeten maken met meerdere brokstukken onder strikte operationele beperkingen. De kernuitdaging is een geconstreind sequentieel besluitvormingsprobleem waarbij het ruimtevaartuig het aantal verwijderde objecten moet maximaliseren terwijl het zich houdt aan harde limieten voor de totale missieduur en het cumulatieve $\Delta v$ (brandstofbudget). Het ruimtevaartuig opereert in een hoogteband van 700–800 km en maakt gebruik van co-elliptische Hohmann-transfers en manoeuvres in een terminaal veiligheidscirkel-traject. Een cruciale complicatie is de potentiële "distributieverschuiving", waarbij de lanceercondities (bijv. verminderde brandstof of verkorte missietijd) verschillen van de parameters die tijdens de training van geleerde beleidsregels (policies) zijn aangenomen. Het probleem wordt verder bemoeilijkt door de noodzaak van tussentijdse bijtanken, wat het $\Delta v$-budget reset maar de missietijd consumeert.

Methodologie
De auteurs evalueren en vergelijken drie verschillende planningsstrategieën binnen een hoogwaardige orbitale simulatieomgeving (SpaceDebrisStressTestEnv) met 50 willekeurig gegenereerde doelwitten per episode. Alle methoden maken gebruik van actiemasking om haalbaarheidsbeperkingen af te dwingen (resterend $\Delta v$, tijd en bezoekstatus).

1. Nominale Gemaskeerde PPO: Een Proximal Policy Optimization (PPO) agent getraind op vaste, nominale missieparameters (7 dagen duur, 3 km/s $\Delta v$). Het gebruikt een Multi-Layer Perceptron (MLP) met twee verborgen lagen (256 eenheden) en is getraind voor 1 miljoen tijdstappen.
2. Domein-Gerandomiseerde Gemaskeerde PPO: Een identieke PPO-architectuur getraind voor 5,5 miljoen tijdstappen, waarbij de missieparameters (duur en $\Delta v$-budget) aan het begin van elke episode worden gerandomiseerd. Deze aanpak beoogt de robuustheid tegen distributieverschuivingen te verbeteren.
3. Gewone Monte Carlo Tree Search (MCTS): Een online zoekgebaseerde baseline die gebruikmaakt van het Upper Confidence Bounds applied to Trees (UCT) algoritme. Het voert 200 simulaties uit per beslissingsstap met een uniform willekeurig beleid voor rollouts. Het plant dynamisch opnieuw bij elke stap zonder voorafgaande training.

Belangrijkste Resultaten
De methoden werden getest over 300 gevallen (100 per scenario) die nominale condities, verminderde brandstof (1 km/s) en verminderde missietijd (3 dagen) beslaan.

• Nominale Prestaties: Onder de met de training overeenkomende condities behaalde de Nominale PPO de hoogste gemiddelde verwijdering van objecten (29,1 objecten), waarmee het de Domein-Gerandomiseerde PPO (28,2) en MCTS (27,1) licht overtrof. Beide PPO-varianten vertoonden inferentietijden van minder dan een seconde.
• Verminderde Missietijd: Wanneer de duur werd ingekort naar 3 dagen, vertoonde de Domein-Gerandomiseerde PPO de beste adaptiviteit (14,1 objecten), waarmee het zowel de Nominale PPO (12,6) als MCTS (11,9) versloeg.
• Verminderde Brandstof ($\Delta v$): Onder zware brandstofbeperkingen (1 km/s) degradeerde de Nominale PPO scherp, met een gemiddelde verwijdering van slechts 3,2 objecten door voortijdige brandstofuitputting. De Domein-Gerandomiseerde PPO verbeterde aanzienlijk (8,1 objecten), maar bleef achter bij MCTS (15,0 objecten).
• Computationele Kosten: MCTS incorporeerde een enorme computationele straf, met een gemiddelde van meer dan 4 minuten per testgeval door herhaaldelijk klonen van de omgeving en rollouts. In contrast hiermee vereisten beide PPO-varianten minder dan 1 seconde per episode.

Betekenis en Claims
Het artikel stelt dat er een fundamentele afruil bestaat tussen de snelheid van geleerde beleidsregels en de adaptiviteit van zoekgebaseerde methoden in ADR-missieplanning.

• Geleerde Beleidsregels: Bieden snelle inferentie geschikt voor real-time onboard uitvoering, maar zijn fragiel wanneer de implementatiecondities afwijken van de trainingsdistributies.
• Zoekgebaseerde Methoden (MCTS): Bieden superieure adaptiviteit aan veranderende beperkingen door online herplanning, maar zijn computationeel te kostbaar voor real-time uitvoering op hardware met beperkte middelen.
• Domein-Randomisatie: De studie toont aan dat trainen met diverse missieparameters de kloof gedeeltelijk overbrugt. Hoewel dit een matig verlies in nominale prestaties met zich meebrengt en aanzienlijk meer trainingsstappen vereist (5,5M vs 1M), levert het een beleid op dat aanzienlijk verbeterde robuustheid vertoont tegen verandering in beperkingen vergeleken met een nominaal beleid.

De auteurs concluderen dat hoewel geen enkele methode momenteel zowel optimale snelheid als adaptiviteit biedt, het combineren van diversiteit tijdens de training (domein-randomisatie) met online planningsstrategieën een veelbelovende weg vormt voor toekomstige veerkrachtige ADR-systemen. Ze suggereren dat hybride frameworks, zoals die welke neurale beleidsprognoses mengen met boomzoekopdrachten (bijv. AlphaZero of MuZero), een levensvatbare richting kunnen zijn voor toekomstig werk om zowel efficiëntie als adaptiviteit te bereiken.