Evaluating Robustness and Adaptability in Learning-Based Mission Planning for Active Debris Removal

Diese Arbeit evaluiert drei Ansätze zur Missionsplanung für die aktive Trümmerbeseitigung und zeigt auf, dass während domänen-randomisiertes bestärkendes Lernen ein robustes Gleichgewicht zwischen Geschwindigkeit und Anpassungsfähigkeit bietet, die Monte-Carlo-Baumsuche eine überlegene Handhabung von Nebenbedingungen auf Kosten einer signifikant höheren Rechenzeit ermöglicht, was einen kritischen Kompromiss zwischen der Effizienz gelernter Strategien und der Flexibilität auf suchenden Verfahren verdeutlicht.

Das Wesentliche

Stellen Sie sich vor, Sie sind der Kapitän eines Raumschiffs, das damit beauftragt ist, ein unordentliches Zimmer voller schwebendem Müll (Weltraummüll) zu reinigen. Sie verfügen über eine begrenzte Menge Treibstoff (wie einen Gastank) und eine strikte Frist (wie eine Sperrstunde). Ihre Aufgabe ist es, so viel Müll wie möglich zu sammeln, bei einer Tankstelle anzuhalten, falls Sie auftanken müssen, und rechtzeitig zurückzukehren.

Dieses Papier ist ein Wettrennen zwischen drei verschiedenen „Gehirnen“, die versuchen, die beste Route zu finden. Die Forscher haben getestet, wie gut jedes Gehirn funktioniert, wenn die Regeln des Spiels gleich bleiben, und wie gut sie damit umgehen können, wenn sich die Regeln plötzlich ändern (wie zum Beispiel, wenn der Treibstoff schneller verbraucht wird als erwartet oder weniger Zeit zur Verfügung steht).

Hier ist die Rangliste der drei Konkurrenten, unter Verwendung einfacher Analogien:

Die drei Konkurrenten

1. Der „Spezialist“ (Nominal PPO)

• Was er ist: Dies ist ein Roboter, der speziell für ein perfektes Szenario trainiert wurde. Er ist wie ein Schüler, der die Antworten auf eine ganz bestimmte Übungsprüfung auswendig gelernt hat.
• Wie er funktioniert: Er lernt durch Versuch und Irrtum, bis er die exakt besten Züge für eine Standardmission (7 Tage, voller Treibstoff) kennt.
• Der Haken: Er ist unglaublich schnell. Er trifft Entscheidungen in einem Wimpernschlag. Wenn man jedoch die Testfragen ändert (z. B. „Jetzt hast du nur noch die Hälfte des Treibstoffs“), gerät er in Panik. Er versucht, dieselben auswendig gelernten Züge anzuwenden, geht dann aber leer aus und scheitert kläglich. Er ist großartig, wenn alles genau nach Plan läuft, aber zerbrechlich, wenn etwas schiefgeht.

2. Der „Generalist“ (Domain-Randomized PPO)

• Was er ist: Dies ist ein Roboter, der für viele verschiedene Szenarien trainiert wurde. Er ist wie ein Schüler, der nicht nur eine Prüfung auswendig gelernt hat, sondern jeden Tag mit zufälligen Treibstoffmengen und zufälligen Zeitlimits geübt hat.
• Wie er funktioniert: Er hat gelernt, flexibel zu sein. Er weiß, wie er aggressiv sein muss, wenn er viel Treibstoff hat, und wie er vorsichtig sein muss, wenn der Treibstoff knapp ist.
• Der Haken: Er ist immer noch sehr schnell (genau wie der Spezialist). Wenn sich die Regeln ändern, passt er sich viel besser an als der Spezialist. Er ist nicht ganz so perfekt wie der Spezialist im idealen Szenario, aber er stürzt nicht ab, wenn das Szenario schwierig wird. Er ist ein guter Mittelweg.

3. Der „Rechner“ (MCTS)

• Was er ist: Dies ist kein vorab trainierter Roboter; es ist ein Supercomputer, der über jede mögliche Zukunft nachdenkt, bevor er auch nur einen einzigen Zug macht. Er ist wie ein Schachgroßmeister, der 200 verschiedene Partien in seinem Kopf simuliert, bevor er ein Stück bewegt.
• Wie er funktioniert: Er fragt bei jedem Schritt: „Wenn ich hierhin gehe, was passiert als Nächstes? Wenn ich dorthin gehe, was passiert dann?“ Er plant ständig basierend auf der aktuellen Situation neu.
• Der Haken: Er ist am klügsten darin, mit Überraschungen umzugehen. Wenn man den Treibstoff halbiert, berechnet er sofort den besten Pfad neu und erledigt trotzdem den Job. Er ist jedoch langsam. Während die beiden anderen in weniger als einer Sekunde Entscheidungen treffen, braucht dieser über vier Minuten, um über einen einzigen Zug nachzudenken. In einem echten Notfall auf einem Raumschiff könnte das Warten von vier Minuten, um zu entscheiden, wohin man steuern soll, zu lang sein.

Die Rennergebnisse

Die Forscher führten 300 Tests durch, um zu sehen, wer unter verschiedenen Bedingungen gewann:

• Der „Perfekte Tag“-Test (Normaler Treibstoff & Zeit):
  Der Spezialist gewann mit einem winzigen Vorsprung. Er kannte die Route perfekt. Der Generalist war fast so gut, und der Rechner lag etwas dahinter, machte aber trotzdem einen tollen Job.

• Der „Zeitnot“-Test (3 Tage statt 7):
  Alle hatten Schwierigkeiten, da die Uhr schneller tickte. Der Generalist passte sich am besten an und hat den meisten Müll gesammelt. Der Spezialist war verwirrt und hat weniger Müll gesammelt. Der Rechner war gut, reagierte aber etwas langsamer als der Generalist.

• Der „Treibstoffmangel“-Test (1/3 des Treibstoffs):
  Dies war der große Schocker. Der Spezialist stürzte hart ab; er versuchte seine übliche Route zu fliegen, ging sofort leer aus und hat kaum etwas gesammelt. Der Generalist schnitt viel besser ab und hat mehr als doppelt so viel Müll gesammelt wie der Spezialist, konnte aber den Rechner immer noch nicht schlagen. Der Rechner war der klare Gewinner hier, weil er sofort erkennen konnte, dass er sehr vorsichtig mit seinem Treibstoff sein musste, und seinen Plan während des Fluges änderte.

Die große Lehre

Die Autoren kommen zu dem Schluss, dass es einen Kompromiss zwischen Geschwindigkeit und Flexibilität gibt:

• Wenn Sie wissen, dass sich die Regeln nicht ändern werden, nutzen Sie den Spezialisten. Er ist schnell und effizient.
• Wenn Sie glauben, dass sich die Regeln ein wenig ändern könnten, nutzen Sie den Generalisten. Er ist ein kluger Kompromiss, der schnell ist, aber einige Überraschungen verkraften kann.
• Wenn die Regeln chaotisch sind und Sie den absolut besten Plan benötigen, egal was passiert, nutzen Sie den Rechner. Aber seien Sie gewarnt: Es dauert lange, nachzudenken.

Die Autoren schlagen vor, dass die Zukunft der Weltraumreinigung aus einer Mischung dieser Ansätze bestehen könnte: Roboter zu „Generalisten“ (wie dem zweiten Roboter) auszubilden, damit sie klug und schnell sind, ihnen aber vielleicht ein wenig der Fähigkeit des „Rechners“ zu geben, ihre Pläne zu überprüfen, wenn es wirklich extrem wird.

Technische Zusammenfassung

Technische Zusammenfassung: Bewertung der Robustheit und Adaptivität bei lernbasierten Missionsplanungen für die aktive Trümmerbeseitigung

Problemstellung
Die aktive Trümmerbeseitigung (Active Debris Removal, ADR) im niedrigen Erdorbit (LEO) erfordert autonome Raumfahrzeuge, die nacheinander mehrere Trümmerobjekte unter strengen operativen Einschränkungen ansteuern müssen. Die Kernherausforderung ist ein Problem der beschränkten sequentiellen Entscheidungsfindung, bei dem das Raumfahrzeug die Anzahl der entfernten Trümmer maximieren muss, während es sich an harte Grenzwerte für die Gesamtmissionsdauer und den kumulativen $\Delta v$ (Treibstoffbudget) halten muss. Das Raumfahrzeug operiert in einem Höhenband von 700–800 km und nutzt ko-elliptische Hohmann-Transfers sowie Manöver zur Sicherheit in der Terminal-Ellipse. Eine kritische Komplikation ist der potenzielle „Verteilungsdrift“ (Distributional Shift), bei dem die Einsatzbedingungen (z. B. reduzierter Treibstoff oder verkürzte Missionszeit) von den Parametern abweichen, die während des Trainings der gelernten Policys angenommen wurden. Das Problem wird durch die Notwendigkeit einer Betankung während der Mission zusätzlich erschwert, welche das $\Delta v$-Budget zurücksetzt, aber die Missionszeit verbraucht.

Methodik
Die Autoren evaluieren und vergleichen drei verschiedene Planungsstrategien innerhalb einer hochpräzisen orbitalen Simulationsumgebung (SpaceDebrisStressTestEnv), die pro Episode 50 zufällig generierte Trümmerziele umfasst. Alle Methoden nutzen Action Masking, um die Durchführbarkeit unter Einhaltung der Randbedingungen (verbleibendes $\Delta v$, Zeit und Besuchsstatus) zu gewährleisten.

1. Nominal Masked PPO: Ein Proximal Policy Optimization (PPO)-Agent, der auf festen, nominalen Missionsparametern (7 Tage Dauer, 3 km/s $\Delta v$) trainiert wurde. Er verwendet ein Multi-Layer Perceptron (MLP) mit zwei verborgenen Schichten (256 Einheiten) und wurde über 1 Million Zeitschritte trainiert.
2. Domain-Randomized Masked PPO: Ein identischer PPO-Architektur-Typ, der über 5,5 Millionen Zeitschritte trainiert wurde, wobei jedoch die Missionsparameter (Dauer und $\Delta v$-Budget) zu Beginn jeder Episode randomisiert werden. Dieser Ansatz zielt darauf ab, die Robustheit gegenüber Verteilungsdrifts zu verbessern.
3. Plain Monte Carlo Tree Search (MCTS): Eine Online-Such-Baseline unter Verwendung des Upper Confidence Bounds applied to Trees (UCT)-Algorithmus. Sie führt 200 Simulationen pro Entscheidungsschritt mit einer uniformen Zufallspolitik für die Rollouts durch. Sie plant bei jedem Schritt dynamisch neu, ohne vorheriges Training.

Wichtigste Ergebnisse
Die Methoden wurden über 300 Fälle (100 pro Szenario) getestet, die Nominalbedingungen, reduzierten Treibstoff (1 km/s) und reduzierte Missionszeit (3 Tage) abdeckten.

• Nominale Leistung: Unter den trainingsentsprechenden Bedingungen erreichte der Nominal PPO die höchste durchschnittliche Trümmerentfernung (29,1 Objekte) und übertraf damit leicht den Domain-Randomized PPO (28,2) und MCTS (27,1). Beide PPO-Varianten zeigten Inferenzzeiten im Sub-Sekundenbereich.
• Reduzierte Missionszeit: Bei einer Verkürzung der Dauer auf 3 Tage zeigte der Domain-Randomized PPO die beste Adaptivität (14,1 Objekte) und übertraf damit sowohl den Nominal PPO (12,6) als auch MCTS (11,9).
• Reduzierter Treibstoff ($\Delta v$): Unter schweren Treibstoffbeschränkungen (1 km/s) verschlechterte sich der Nominal PPO drastisch und entfernte im Durchschnitt nur 3,2 Objekte aufgrund vorzeitiger Treibstofferschöpfung. Der Domain-Randomized PPO verbesserte sich signifikant (8,1 Objekte), blieb jedoch hinter MCTS (15,0 Objekte) zurück.
• Rechenaufwand: MCTS verursachte eine massive Rechenstrafe und benötigte durchschnittlich über 4 Minuten pro Testfall aufgrund wiederholter Umgebungsklonungen und Rollouts. Im Gegensatz dazu benötigten beide PPO-Varianten weniger als 1 Sekunde pro Episode.

Bedeutung und Ansprüche
Die Arbeit postuliert, dass es einen grundlegenden Zielkonflikt zwischen der Geschwindigkeit gelernter Policys und der Adaptivität suchbasierter Methoden bei der ADR-Missionsplanung gibt.

• Gelernte Policys: Bieten eine schnelle Inferenz, die für die Echtzeit-Onboard-Ausführung geeignet ist, sind jedoch anfällig, wenn die Einsatzbedingungen von den Trainingsverteilungen abweichen.
• Suchbasierte Methoden (MCTS): Bieten eine überlegene Adaptivität an wechselnde Randbedingungen durch Online-Replanung, sind jedoch für die Echtzeit-Ausführung auf ressourcenbeschränkter Hardware rechentechnisch zu aufwendig.
• Domain Randomization: Die Studie zeigt, dass das Training mit diversen Missionsparametern diese Lücke teilweise schließt. Während dies einen moderaten Verlust an nominaler Leistung zur Folge hat und deutlich mehr Trainingsschritte erfordert (5,5 Mio. gegenüber 1 Mio.), liefert es eine Policy, die im Vergleich zu einer nominalen Policy eine signifikant verbesserte Robustheit gegenüber Änderungen der Randbedingungen aufweist.

Die Autoren kommen zu dem Schluss, dass derzeit keine einzelne Methode sowohl optimale Geschwindigkeit als auch Adaptivität bietet, die Kombination von Diversität während der Trainingszeit (Domain Randomization) mit Online-Planungsstrategien jedoch einen vielversprechenden Weg für zukünftige resiliente ADR-Systeme darstellt. Sie schlagen vor, dass hybride Frameworks, die neuronale Policy-Vorhersagen mit der Baumsuche kombinieren (z. B. AlphaZero oder MuZero), ein gangbarer Weg für zukünftige Arbeiten sein könnten, um sowohl Effizienz als auch Adaptivität zu erreichen.