Optimal Multi-Debris Mission Planning in LEO: A Deep Reinforcement Learning Approach with Co-Elliptic Transfers and Refueling

Diese Arbeit stellt einen Deep-Reinforcement-Learning-Ansatz mit Maskiertem PPO vor, der im Vergleich zu Greedy-Heuristiken und Monte-Carlo-Baum-Suchen die Effizienz und Rechengeschwindigkeit bei der Planung von Mehrziel-Missionen zur aktiven Weltraumschrottentfernung in der erdnahen Umlaufbahn unter Einbeziehung von co-elliptischen Manövern und Betankungsoptimierung signifikant steigert.

Das Wesentliche

Raumschiff-Rallye im Weltraummüll: Wie künstliche Intelligenz die Erdumlaufbahn säubert

Stellen Sie sich den Weltraum um die Erde herum wie eine riesige, chaotische Autobahn vor. Nur statt Autos gibt es dort über 36.000 große Trümmerteile und Millionen kleinerer Scherben – alte Satelliten, Raketenstufen und Metallsplitter. Das ist unser Weltraummüll. Wenn nichts unternommen wird, könnte eine Kettenreaktion entstehen (die sogenannte „Kessler-Syndrom"), bei der sich alles gegenseitig trifft und die Erdumlaufbahn für immer unbrauchbar wird.

Um das zu verhindern, braucht es eine Aktive Müllbeseitigung (ADR). Ein spezielles „Putzschiff" muss hinauf fliegen, den Müll einsammeln und ihn sicher zur Erde zurückführen, wo er verglüht.

Das Problem? Es ist wie ein extrem schwieriges Puzzle:

1. Der Müll ist überall verteilt.
2. Das Putzschiff hat wenig Treibstoff.
3. Es muss sehr vorsichtig vorgehen, um nicht selbst zu kollidieren.
4. Es muss entscheiden: Welches Stück nehme ich als Nächstes? Soll ich erst mal tanken?

Die Autoren dieses Papers haben herausgefunden, wie man künstliche Intelligenz (KI) nutzt, um dieses Puzzle viel besser zu lösen als alte Methoden.

Die drei Kandidaten im Rennen

Die Forscher haben drei verschiedene „Gehirne" getestet, die das Putzschiff steuern sollen:

1. Der „Sofort-Entscheider" (Greedy-Heuristik):

   • Wie er funktioniert: Er schaut sich nur das nächste Stück Müll an und wählt das aus, das gerade am nächsten ist. Er denkt nicht an die Zukunft.
   • Analogie: Wie ein Tourist, der immer nur das nächste Restaurant wählt, ohne zu prüfen, ob er danach noch genug Geld für den Rest des Tages hat. Er ist schnell, aber oft ineffizient und verpasst viele Gelegenheiten.

2. Der „Träumer" (Monte-Carlo-Baum-Suche / MCTS):

   • Wie er funktioniert: Er simuliert Tausende von möglichen Zukünften. Er denkt: „Wenn ich jetzt zu Stück A gehe, dann zu B, dann muss ich vielleicht C verpassen..." Er plant extrem genau.
   • Analogie: Wie ein Schachgroßmeister, der 100 Züge im Voraus berechnet. Die Lösung ist oft perfekt, aber er braucht dafür ewig lange. Für ein echtes Raumschiff, das sofort handeln muss, ist er zu langsam.

3. Der „Lernende Profi" (Deep Reinforcement Learning / Masked PPO):

   • Wie er funktioniert: Diese KI wurde in einer Simulation trainiert, wie ein Kind, das Radfahren lernt. Sie hat Millionen von Szenarien durchgespielt, Fehler gemacht und gelernt, welche Entscheidungen langfristig am besten sind. Sie weiß, wann sie einen Umweg nehmen muss, um später mehr Treibstoff zu sparen.
   • Analogie: Ein erfahrener LKW-Fahrer, der die Strecke kennt. Er weiß genau, wann er tanken muss und welche Abkürzungen er nehmen kann, um in kürzester Zeit die meisten Lieferungen zu erledigen.

Die neue Technik: Der „Co-Elliptic"-Trick

Ein wichtiger Teil des Papers ist die Art und Weise, wie das Schiff fliegt. Früher dachte man oft: „Ich fliege direkt von A nach B." Das kostet aber viel Treibstoff.

Die Autoren nutzen eine cleverere Methode, die sie Co-Elliptic-Manöver nennen.

• Die Analogie: Stellen Sie sich vor, Sie wollen einen Freund auf einer anderen Bahnspur einholen. Statt wild zu beschleunigen und zu bremsen, setzen Sie sich auf eine mittlere Spur, die sich langsam mit der Ihres Freundes dreht. Sie „gleiten" einfach heran, bis Sie genau nebeneinander sind.
• Dazu kommt noch eine Sicherheitsellipse: Wenn das Schiff ganz nah am Müll ist, fliegt es nicht direkt drauf zu, sondern beschreibt vorsichtig eine ovale Schleife, um sicher zu landen. Und wenn der Treibstoff knapp wird, kann das Schiff zu einer Tankstelle zurückkehren, um vollgetankt weiterzumachen.

Was hat sich ergeben?

Die Forscher ließen alle drei „Gehirne" in 100 verschiedenen, zufälligen Szenarien antreten. Das Ergebnis war klar:

• Der „Sofort-Entscheider" (Greedy): War schnell, hat aber nur etwa 15–18 Müllteile eingesammelt. Er war zu kurzsichtig.
• Der „Träumer" (MCTS): Hatte eine sehr gute Strategie und sammelte etwa 25–29 Teile. Aber er brauchte dafür tausende von Sekunden Rechenzeit. Das ist für ein echtes Raumschiff zu langsam.
• Der „Lernende Profi" (Masked PPO): War der Gewinner! Er sammelte bis zu 32 Müllteile (also fast doppelt so viele wie der Greedy-Entscheider) und brauchte dafür nur 1–2 Sekunden Rechenzeit.

Fazit

Die Botschaft des Papers ist einfach: Künstliche Intelligenz ist der Schlüssel zur Zukunft der Weltraumreinigung.

Frühere Methoden waren entweder zu dumm (sehen nur das Nächste) oder zu langsam (rechnen zu viel nach). Die neue KI-Methode lernt aus Erfahrung, plant strategisch voraus und trifft Entscheidungen in Sekundenbruchteilen. Sie kombiniert die Geschwindigkeit eines Computers mit der Weisheit eines erfahrenen Piloten.

Das bedeutet, dass wir in Zukunft viel effizienter und sicherer unseren Weltraum von gefährlichem Müll befreien können, ohne dabei die Ressourcen zu verschwenden. Es ist ein großer Schritt hin zu einer autonomen Zukunft, in der Roboter-Teams den Orbit für uns aufräumen.

Technische Zusammenfassung

Titel: Optimal Multi-Debris Mission Planning in LEO: A Deep Reinforcement Learning Approach with Co-Elliptic Transfers and Refueling

Autoren: Agni Bandyopadhyay und Günther Waxenegger-Wilfing (Julius-Maximilians-Universität Würzburg)

---

1. Problemstellung

Das Paper adressiert die wachsende Bedrohung durch Weltraumschrott im erdnahen Orbit (LEO), insbesondere das Risiko des „Kessler-Syndroms" (eine Kaskade von Kollisionen). Der Fokus liegt auf der Aktiven Schrottentfernung (Active Debris Removal, ADR).
Die zentrale Herausforderung besteht darin, eine autonome Raumsonde (Chaser) so zu steuern, dass sie innerhalb strikter Ressourcenbeschränkungen (Treibstoff/$\Delta V$-Budget und Zeit) eine maximale Anzahl von Schrottteilen identifiziert, anfliegt und entsorgt.
Das Problem ist komplex, da es folgende Faktoren vereint:

• Multi-Target-Planung: Die Reihenfolge der Besuche muss optimiert werden (ähnlich dem Traveling Salesman Problem, aber mit orbitaler Dynamik).
• Ressourcenmanagement: Begrenztes $\Delta V$-Budget und die Notwendigkeit von Zwischenlandungen zur Betankung.
• Sicherheitsanforderungen: Einhaltung von Keep-Out-Zonen und sichere Annäherungsmanöver.
• Dynamik: Die Notwendigkeit, auf zufällig generierte Schrott-Felder zu reagieren, ohne die Rechenzeit zu sprengen.

2. Methodik und Framework

A. Unified Co-Elliptic Maneuver Framework

Die Autoren führen ein einheitliches Manöver-Framework ein, das realistische orbitalmechanische Prozesse integriert:

1. Co-Elliptische Hohmann-Transfers: Anstatt direkte Transfers zwischen jedem Paar von Zielen zu berechnen, wird die Sonde in eine intermediäre, ko-elliptische Bahn gebracht, die den Apogäum oder Perigäum des Ziels teilt. Dies ermöglicht ein effizientes „Phasing" (Positionierung relativ zum Ziel) mit minimalem $\Delta V$.
2. Sicherheitsellipse (Safety Ellipse): Für den finalen Annäherungsabschnitt wird eine elliptische, kontrollierte Annäherung verwendet (basierend auf Barbee et al.), um Kollisionen zu vermeiden und die Präzision bei nicht-kooperativen Zielen zu gewährleisten.
3. Logik zur Betankung: Die Sonde kann bei Bedarf zu einer Betankungsstation zurückkehren. Dies füllt das $\Delta V$-Budget auf, kostet jedoch Zeit und zusätzliche Manöver.

B. Vergleichende Algorithmen

Drei verschiedene Planungsansätze wurden in einer realistischen Simulationsumgebung (OpenAI Gym mit Poliastro/Astropy) getestet:

1. Greedy-Heuristik: Ein klassischer Algorithmus, der in jedem Schritt das nächste erreichbare Ziel mit den geringsten Kosten ($\Delta V$ und Zeit) auswählt. Er ist kurzsichtig (myop).
2. Monte Carlo Tree Search (MCTS): Ein suchbasierter Ansatz, der einen Suchbaum aufbaut, um zukünftige Szenarien zu simulieren und die kumulative Belohnung zu optimieren.
3. Deep Reinforcement Learning (Masked PPO): Ein Agent, der auf dem Proximal Policy Optimization (PPO) Algorithmus basiert.
   • Masked PPO: Eine spezialisierte Variante, die „Action Masking" verwendet, um bereits besuchte Ziele oder nicht erreichbare Aktionen aus der Wahrscheinlichkeitsverteilung der Policy auszuschließen.
   • Zustandsvektor: Enthält Besuchsstatus, verbleibendes $\Delta V$, verbleibende Zeit und die orbitalen Elemente (Kepler-Elemente) der Sonde und aller Ziele.
   • Belohnungsfunktion: +1 für erfolgreiche Besuche, 0 für Betankung/Umwege, -1 für vorzeitiges Ende oder Verletzung von Constraints.

3. Schlüsselergebnisse

Die Evaluation erfolgte über 100 randomisierte Test-Szenarien (jeweils 50 Schrottteile pro Episode, 7-Tage-Fenster, 3 km/s $\Delta V$-Budget).

• Effizienz (Anzahl besuchter Ziele):

  • Greedy: Schwächste Leistung (15–18 Ziele pro Episode). Die kurzsichtige Strategie führt zu ineffizienten Pfaden.
  • MCTS: Mittlere Leistung (25–29 Ziele). Besser als Greedy, da es langfristige Folgen simuliert, aber nicht optimal.
  • Masked PPO: Beste Leistung (29–32 Ziele). Der RL-Agent lernt langfristige Strategien und besucht bis zu doppelt so viele Ziele wie der Greedy-Ansatz.

• Rechenzeit (Computational Performance):

  • Greedy & Masked PPO: Extrem schnell (ca. 1–2 Sekunden pro Episode). Der RL-Agent liefert die Lösung fast sofort (Inferenz).
  • MCTS: Deutlich langsamer (1.000 bis 10.000 Sekunden pro Episode). Die Notwendigkeit umfangreicher Suchbäume und Rollouts macht es für Echtzeitanwendungen an Bord ungeeignet.

4. Technische Beiträge und Innovationen

1. Integration komplexer Manöver: Die nahtlose Kombination von Hohmann-Transfers, ko-elliptischen Phasing-Manövern und Sicherheitsellipsen in einem einzigen Lernframework.
2. Action Masking in PPO: Die effektive Anwendung von Masking, um die Suche auf gültige, nicht-besuchte Ziele zu beschränken, was die Konvergenz und Effizienz des RL-Agenten in diskreten Aktionsräumen drastisch verbessert.
3. Skalierbarkeit: Der Nachweis, dass Deep RL nicht nur qualitativ bessere Lösungen findet als traditionelle Heuristiken, sondern auch die Rechenzeit im Vergleich zu Suchalgorithmen wie MCTS um Größenordnungen reduziert.
4. Realistische Constraints: Einbeziehung von Betankungslogik und Sicherheitszonen, was den Ansatz näher an reale ADR-Missionen bringt als rein theoretische Modelle.

5. Bedeutung und Fazit

Das Paper unterstreicht das enorme Potenzial von Deep Reinforcement Learning für die Raumfahrtplanung. Die Ergebnisse zeigen, dass Masked PPO den idealen Kompromiss zwischen Lösungsqualität (maximale Anzahl entfernter Ziele) und Rechenleistung (Echtzeitfähigkeit) bietet.

• Für die Praxis: Während MCTS theoretisch gute Pläne erstellen kann, ist es für den Einsatz an Bord von Satelliten oder für Echtzeit-Planung aufgrund der hohen Latenz unpraktisch. Greedy-Algorithmen sind zwar schnell, aber suboptimal und verschwenden Ressourcen.
• Zukunftsperspektive: Die Studie ebnet den Weg für autonome ADR-Missionen der nächsten Generation. Zukünftige Arbeiten sollen detailliertere dynamische Modelle (z.B. J2-Störungen), Transfer-Learning für sich ändernde Schrott-Felder und Onboard-Validierungen integrieren.

Zusammenfassend demonstriert diese Arbeit, dass moderne KI-Methoden in der Lage sind, komplexe, hochdimensionale Entscheidungsprobleme im Weltraum sicher, ressourceneffizient und skalierbar zu lösen.