Optimizing Mission Planning for Multi-Debris Rendezvous Using Reinforcement Learning with Refueling and Adaptive Collision Avoidance

Diese Studie schlägt ein maskiertes Proximal Policy Optimization (PPO) Reinforcement-Learning-Framework vor, das treibstoffeffiziente, adaptive Kollisionsvermeidungs- und Betankungsstrategien für Kleinsatelliten optimiert, die Missionen zur aktiven Entfernung mehrerer Trümmerteile durchführen, wobei es eine überlegene Leistung gegenüber traditionellen heuristischen Ansätzen in komplexen orbitalen Umgebungen demonstriert.

Das Wesentliche

Stellen Sie sich die Erdumlaufbahn als eine belebte, chaotische Autobahn im Weltraum vor. Im Laufe der Jahre haben sich tausende alte Satelliten und Metallstücke (Weltraummüll) angesammelt und einen gefährlichen Stau verursacht. Wenn ein Satellit mit diesem Schrott kollidiert, erzeugt dies noch mehr Trümmerteile, was zu einer Kettenreaktion führen kann, die die Raumfahrt für Jahrzehnte unmöglich machen könnte. Dies ist als „Kessler-Syndrom“ bekannt.

Um dies zu beheben, benötigen wir Missionen zur „Aktiven Trümmerbeseitigung“ (Active Debris Removal – ADR). Denken Sie an diese Missionen wie an Weltraum-Abschleppwagen, die darauf ausgelegt sind, diese Schrottteile zu greifen und aus dem Weg zu ziehen. Aber hier liegt das Problem: Die Autobahn bewegt sich schnell, der Verkehr ist unvorhersehbar und der Abschleppwagen hat einen begrenzten Tankinhalt.

Dieses Papier präsentiert einen neuen Weg, diese Missionen zu planen, indem ein „smartes Gehirn“ namens Reinforcement Learning (RL) eingesetzt wird. Anstatt alte, starre Regeln zu verwenden, haben die Forscher einem Computer-Agenten beigebracht, diesen Weltraum-Abschleppwagen durch Versuch und Irrtum zu steuern, genau wie ein Videospiel-Charakter, der lernt, ein Level zu meistern.

Hier ist die Funktionsweise ihres Systems, unterteilt in einfache Konzepte:

1. Der „smarte Fahrer“ (Der KI-Agent)

Die Forscher entwickelten einen digitalen Agenten, der als Missionsplaner fungiert. Anstatt einer vorgegebenen Karte zu folgen, lernt dieser Agent, indem er das Spiel Millionen von Male spielt.

• Das Ziel: So viele Schrottteile wie möglich besuchen, bevor der Treibstoff oder die Zeit ausgeht.
• Die Herausforderung: Der „Verkehr“ (andere Trümmer) kann plötzlich im Pfad auftauchen und eine Gefahrenzone schaffen. Der Agent muss entscheiden: „Fahre ich geradeaus, nehme ich eine Umleitung oder halte ich an, um zu tanken?“

2. Die drei großen Bewegungen

Der Agent muss drei Arten von Entscheidungen treffen, und er erledigt sie alle gleichzeitig:

• Auswahl des nächsten Ziels: Welches Stück Schrott sollte ich als Nächstes besuchen? Der Agent lernt die effizienteste Reihenfolge, um die Teile zu besuchen, ähnlich wie ein Lieferfahrer, der die beste Route plant, um Pakete auszuliefern, ohne unnötige Umwege zu fahren.
• Tanken: Der Abschleppwagen kann nicht ewig fahren. Der Agent lernte, dass er an einer „Tankstelle“ (einem Auftankpunkt) halten kann, aber erst, nachdem er mindestens ein Stück Schrott erfolgreich eingesammelt hat. Er lernte, das Anhalten zum Tanken (was Zeit kostet) gegen das Risiko abzuwägen, ohne Treibstoff liegen zu bleiben.
• Ausweichen vor Gefahren: Manchmal erscheint ein neues Stück Schrott direkt im Pfad. Der Agent lernte, sofort ein „Ausweichmanöver“ durchzuführen. Er kann leicht höher oder tiefer steuern (wie beim Spurwechsel auf einer Autobahn), um die Gefahrenzone zu umfahren und dabei einen Sicherheitsabstand von 5 Kilometern einzuhalten.

3. Das „maskierte“ Gehirn

Einer der cleveren Tricks in diesem Papier ist etwas, das als „Masked“ Algorithmus bezeichnet wird.
Stellen Sie sich vor, Sie spielen ein Spiel, bei dem Sie nur die Tasten auswählen können, die leuchten. Wenn eine Taste defekt oder unzulässig ist, bleibt sie dunkel.

• In diesem System wird die KI „maskiert“, sodass sie keine illegalen Züge machen kann. Sie kann physisch nicht versuchen, ein Stück Schrott zu besuchen, das sie bereits eingesammelt hat, oder zu tanken, bevor sie dazu berechtigt ist. Dies verhindert, dass die KI Zeit damit verschwendet, schlechte Gewohnheiten zu lernen, und hilft ihr, schneller zu lernen.

4. Die Ergebnisse: Wie hat es abgeschnitten?

Die Forscher testeten diesen „smarten Fahrer“ gegen ältere, einfachere Methoden (wie einen Roboter, der einfach das nächste Teil in der Nähe wählt, ohne vorauszuplanen).

• Der alte Weg: Die einfachen Roboter blieben oft im Verkehr stecken, gingen dem Treibstoff aus oder kollidierten, weil sie nicht für die Zukunft planten.
• Der neue Weg: Der Reinforcement-Learning-Agent war viel besser. Er besuchte mehr Schrottteile, vermied Kollisionen häufiger und verwaltete seinen Treibstoff wesentlich effizienter. Er lernte, flexibel zu sein und seine Route sofort zu ändern, wenn eine neue Gefahr auftauchte.

Das Faz-it

Dieses Papier zeigt, dass wir Computer dazu bringen können, bessere Weltraum-Verkehrsmanager zu sein als wir es mit alten, starren Regeln könnten. Indem wir einer KI erlauben, durch Praxis zu lernen, können wir kleine, agile Satelliten senden, um Weltraummüll sicherer und effizienter zu beseitigen.

Was das Papier NICHT behauptet:

• Es sagt nicht, dass diese Technologie morgen bereits auf einem echten Satelliten fliegt.
• Es behauptet nicht, dass dies alle Weltraumprobleme sofort lösen wird.
• Es konzentriert sich strikt auf die Planung und die Simulation dieser Missionen und beweist, dass dieser „smarte Gehirn“-Ansatz in einer Computersimulation besser funktioniert als die traditionelle mathematische Planung.

Kurz gesagt: Die Autoren haben einen virtuellen Trainingsplatz geschaffen, auf dem eine KI lernte, ein Meister der Weltraumreinigung zu werden, und sie bewies, dass sie viel klüger ist als die alten Methoden.

Technische Zusammenfassung

Technisches Resümee: Optimierung der Missionsplanung für Multi-Trümmer-Rendezvous mittels Reinforcement Learning

1. Problemstellung

Die vorliegende Arbeit befasst sich mit der kritischen Herausforderung der aktiven Trümmerbeseitigung (Active Debris Removal, ADR) im niedrigen Erdorbit (LEO), wo die zunehmende Dichte katalogisierter Objekte und subzentimetergroßer Fragmente ein hohes Risiko für Kollisionen im Orbit darstellt. Das spezifische Problem wird als ein sequentielles Entscheidungsfindungsproblem unter Unsicherheit formuliert, das einem modifizierten dynamischen Traveling Salesman Problem (TSP) ähnelt.

Das Ziel ist es, eine optimale Sequenz von Manövern für einen einzelnen Kleinsatelliten zu bestimmen, um mit mehreren Trümmerzielen zu einem Rendezvous zu kommen, während strikte Randbedingungen eingehalten werden:

• Begrenzte Ressourcen: Endliche Treibstoff- und Zeitbudgets.
• Dynamische Gefahren: Probabilistische Kollisionsrisiken (modelliert als kubische Gefahrenzonen), die während der Transfers auftreten können.
• Operative Komplexität: Die Notwendigkeit, Betankungsstrategien (die die Missionslebensdauer verlängern, aber Kosten verursachen) und eine adaptive Kollisionsvermeidung (die eine Trajektorien-Neuberechnung erfordert) zu integrieren.

Traditionelle Ansätze, wie etwa Brute-Force-Enumeration oder gierige Heuristiken (Greedy Heuristics), werden als unzureichend erachtet. Brute-Force-Methoden sind für komplexe Missionen rechentechnisch nicht durchführbar, während gierige Heuristiken oft suboptimale Lösungen liefern, da sie zukünftige Beschränkungen oder dynamische Kollisionsrisiken nicht antizipieren können.

2. Methodik

Die Autoren schlagen ein Framework für Reinforcement Learning (RL) vor, das einen Masked Proximal Policy Optimization (PPO) Algorithmus nutzt. Das Problem wird als Markov-Entscheidungsprozess (MDP) modelliert.

A. Zustands- und Aktionsraum

• Zustandsrepräsentation ($s_t$): Umfasst die Position, Geschwindigkeit und den normalisierten Treibstoffstand des Raumfahrzeugs; eine binäre Maske der besuchten Trümmer; relative Kepler-Elemente aller Trümmerziele; die Distanz zu Betankungsstationen; Flag für die Betankungsberechtigung; sowie Kollisionsrisiko-Proximitätsvektoren.
• Aktionsraum ($A$): Ein diskreter, maskierter Aktionsraum bestehend aus:
  • Rendezvous: Auswahl eines unbesuchten Trümmerobjekts ($d_j$), das sich derzeit außerhalb von Gefahrenzonen befindet.
  • Betankung: Ausführung einer Betankungsaktion (nur zulässig, wenn der Agent mindestens ein Trümmerteil besucht hat).
  • Kollisionsvermeidung (CA): Auswahl von „CA Above“ oder „CA Below“ Manövern, wenn ein geplanter Transferbogen eine probabilistisch ausgelöste Gefahrenzone kreuzt.

B. Kernalgorithmus: Masked PPO

Das Framework verwendet PPO aufgrund seiner Stabilität in kontinuierlichen Kontrollbereichen. Eine zentrale Innovation ist die Anwendung von Invalid Action Masking. Vor der Softmax-Schicht werden die Logits für ungültige Aktionen (z. B. Besuch bereits besuchter Trümmer oder Betankung ohne Berechtigung) auf $-\infty$ gesetzt. Dies schränkt den Aktionsraum zu jedem Zeitschritt dynamisch ein und stellt sicher, dass der Agent nur zulässige Aktionen basierend auf dem aktuellen Missionsstatus in Betracht zieht.

C. Simulationsumgebung

• Dynamik: Verwendet Hohmann-Transferbögen für treibstoffeffiziente Rendezvous und Patch-Conic-Approximationen zur Kollisionsvermeidung.
• Kollisionsmodellierung: Gefahrenzonen (5×5×5 km) werden mit einer Wahrscheinlichkeit von 33 % bei der Auswahl eines Ziels ausgelöst. Wenn eine Trajektorie eine Zone kreuzt, muss der Agent unter Verwendung elliptischer Umwege („CA Above“ oder „CA Below“) neu planen, wobei ein Abstand von 5 km einzuhalten ist.
• Betankungslogik: Agenten können nur nach dem Besuch von mindestens einem Trümmerteil betanken. Eine vorzeitige Betankung wird sanktioniert.
• Training: Der Agent wird über 10 Millionen Schritte unter Verwendung von Stable-Baselines3 mit verteiltem Sampling und Entropie-Regularisierung trainiert. Die Szenarien leiten sich aus dem Iridium 33 Trümmerdatensatz ab.

D. Belohnungsfunktion

Der Agent maximiert die langfristige kumulative Belohnung, definiert durch:
$$r_t = \delta_{visit} - C_t - T_{penalty}$$
Wobei $\delta_{visit}$ eine Belohnung für das Besuchen neuer Trümmer ist, $C_t$ eine Strafe für Kollisionen darstellt und $T_{penalty}$ eine Strafe für das Erschöpfen von Treibstoff oder Zeit ist.

3. Zentrale Beiträge

Die Arbeit identifiziert vier primäre Beiträge:

1. Adaptive Kollisionsvermeidung: Implementierung von probabilistisch ausgelösten kubischen Risikozonen, die den Agenten zwingen, die Route unter Verwendung von Umweg-Manövern mit einem Mindestabstand von 5 km neu zu planen.
2. Integrierte Betankungslogik: Einbettung der Betankung als lernbare Entscheidungsprüfung, die die Missionslebensdauer verlängert, aber bei vorzeitiger Nutzung sanktioniert wird.
3. Treibstoffeffiziente Transfers: Nutzung von Hohmann-Manövern und Ellipsen-basierten Vermeidungswegen zur Trajektoriengenerierung.
4. Custom Reward Shaping: Eine Belohnungsstruktur, die Missionseffizienz, Sicherheit und vollständige Trümmerabdeckung ausbalanciert.

4. Ergebnisse und Evaluierung

Das Framework wurde gegen vier verschiedene Planungsmodi über 100 einzigartige Testfälle evaluiert:

1. RL-RL: RL übernimmt sowohl die Sequenzierung als auch die Kollisionsvermeidung.
2. RL-Greedy: RL übernimmt die Sequenzierung; ein deterministischer Greedy-Planer übernimmt die Vermeidung.
3. Greedy-RL: Eine gierige Heuristik übernimmt die Sequenzierung; RL übernimmt die Vermeidung.
4. Greedy-Greedy: Sowohl die Sequenzierung als auch die Vermeidung werden durch Heuristiken gehandhabt.

Wichtigste Erkenntnisse:

• Leistung: Die RL-RL Konfiguration erreichte die höchste durchschnittliche Trümmerabdeckung (ca. 30,4 Trümmer pro Mission im Testfall) im Vergleich zu den hybriden und gierigen Baselines (die zwischen 19,3 und 29,5 lagen).
• Robustheit: Der RL-Agent zeigte die Fähigkeit, sich an dynamische Gefahren anzupassen. In Fallstudien konnte der Agent Routen erfolgreich neu planen, wenn Kollisionsrisiken ausgelöst wurden, und die Missionsabwicklung innerhalb der Parameter aufrechterhalten.
• Konvergenz: Das Training zeigte einen steilen Gewinn der Belohnung in den ersten 1–2 Millionen Schritten und stabilisierte sich nach 8 Millionen Schritten, was auf eine Konvergenz der Policy hindeutet.
• Vergleich: Hybride Strategien, die auf gierigen Heuristiken für die Sequenzierung basieren, waren aufgrund der Unfähigkeit, zukünftige Beschränkungen zu antizipieren, unterlegen. Umgekehrt konnte die ausschließliche Nutzung von RL für die Vermeidung (Greedy-RL) die Leistung der vollen RL-Lösung nicht erreichen, was die Bedeutung des globalen Lernens der Besuchssequenz unterstreicht.

5. Bedeutung und Ansprüche

Die Arbeit behauptet, dass diese Forschung eine praktische und skalierbare Lösung für die Planung komplexer ADR-Missionen bietet, die mehrere Trümmerteile anvisieren.

• Jenseits von Heuristiken: Die Studie zeigt, dass die RL-basierte Entscheidungsfindung traditionellen heuristischen Ansätzen sowohl in Bezug auf die Einhaltung der Sicherheit als auch auf die Vollständigkeit der Mission (Trümmerabdeckung) überlegen ist.
• Generalisierbarkeit: Obwohl der Fokus auf ADR liegt, geben die Autoren an, dass das Framework eine breitere Anwendbarkeit auf andere Multi-Target-Rendezvous-Szenarien bietet, wie etwa On-Orbit-Servicing, kollaborative Inspektionen und Asteroiden-Probenrückführungskampagnen.
• Autonomie: Die Arbeit validiert RL als eine lebensfähige Methode für die nächste Generation autonomer Weltraumoperationen, die in der Lage ist, Ressourcenbeschränkungen und probabilistische Umweltgefahren in Echtzeit zu handhaben.

Die Autoren kommen zu dem Schluss, dass die Fähigkeit des Frameworks, Besuchssequenzen, Betankungslogik und Kollisionsvermeidung gemeinsam zu lernen, es zu einem robusten Werkzeug für zukünftige Missionen in zunehmend überfüllten orbitalen Umgebungen macht.