Autonomous Planning In-space Assembly Reinforcement-learning free-flYer (APIARY) International Space Station Astrobee Testing

Titel: APIARY: Reinforcement Learning voor Autonome Besturing van Vrije Vliegers in de Ruimte

1. Het Probleem

Huidige robotische ruimtevaartuigen, zoals de DARPA RSGS of de SpaceLogistics MEV, vertonen een aanzienlijk gebrek aan autonomie. Ze zijn afhankelijk van uitgebreide menselijke grondcontrole en gebruikmaken van klassieke besturingsmethoden (zoals PID-controllers, inverse kinematica en waypoint-gebaseerde planning). Deze methoden vereisen dat hooggekwalificeerde operatoren handmatig trajecten genereren en verifiëren, een proces dat uren tot dagen kan duren.
De beperkingen zijn tweeledig:

• Rekenkracht: Ruimtevaartuigcomputers zijn aanzienlijk trager dan die op aarde (bijv. RSGS gebruikt 800 MHz SBC's), waardoor complexe niet-lineaire besturingsalgoritmen moeilijk in real-time te draaien zijn.
• Verificatie: Klassieke methoden zijn wiskundig verifieerbaar, wat essentieel is voor de veiligheid van miljarden-dollar missies. Reinforcement Learning (RL) biedt potentieel voor grotere autonomie en aanpassingsvermogen, maar het ontbreekt vaak aan dezelfde niveau van formele verificatie en de "Sim-to-Real" kloof (het verschil tussen simulatie en de echte wereld) is een grote uitdaging.

Het doel van dit onderzoek is om de haalbaarheid van RL te demonstreren voor de besturing van een vrije vlieger (free-flyer) in een zero-gravity-omgeving, specifiek gericht op het overbruggen van de Sim-to-Real kloof.

2. Methodologie

Het team van het US Naval Research Laboratory (NRL) heeft een end-to-end pipeline ontwikkeld voor het trainen en valideren van een RL-beleid voor de NASA Astrobee-robot op het Internationale Ruimtestation (ISS).

• Simulatieomgeving (Training):

  • Het beleid is getraind in NVIDIA Isaac Lab (binnen NVIDIA Omniverse).
  • De omgeving simuleert een zero-G-omgeving zonder visuele input (de robot bestuurt puur op basis van dynamische sensoren).
  • Domain Randomization: Om robuustheid te vergroten, werden parameters zoals doelposities, doeloriëntaties en massadistributies gevarieerd tijdens het trainen.
  • Algoritme: Er werd gebruikgemaakt van een Actor-Critic Proximal Policy Optimization (PPO) netwerk.
  • Input/Output: De agent observeerde positie- en oriëntatiefouten, lineaire en hoeksnelheden. De acties bestonden uit krachten en koppels (wrenches) die direct naar de ventilator-aandrijving van de Astrobee werden gestuurd.

• Validatie-pipeline:

  1. Simulatie: Testen in Isaac Lab en de NASA Astrobee Gazebo-simulatie (voor zowel ISS-interieur als Granite Lab).
  2. Grondtest: Testen op de Granite Lab van NASA Ames (een 2x2 meter granieten tafel met luchtkussens voor wrijvingsloze beweging, simulerend 1G met 3-DOF).
  3. Vluchttest: Autonome uitvoering op de Astrobee "Bumble" aan boord van het ISS (6-DOF in zero-G).

• Besturingsarchitectuur:
  Het RL-beleid verving de standaard Guidance Navigation Control (GNC) controller van de Astrobee. Het beleid genereerde direct krachten en koppels die werden uitgevoerd door de bestaande Force Allocation Module (FAM). Voor veiligheid was er een fallback-mechanisme: als de posiefout een bepaalde drempel overschreed, schakelde het systeem automatisch terug naar de klassieke baseline-controller.

3. Belangrijkste Bijdragen

• Eerste RL-besturing in de ruimte: Dit is, voor zover bekend, de eerste keer dat een Reinforcement Learning-beleid een vrije vlieger in de ruimte bestuurt.
• Overbrugging van de Sim-to-Real kloof: Het paper demonstreert succesvol dat een beleid getraind in een gesimuleerde zero-G-omgeving direct kan worden ingezet op hardware in de echte ruimte, zonder uitgebreide fine-tuning in de ruimte.
• Efficiënte implementatie op beperkte hardware: Het RL-beleid draaide op de beperkte rekenkracht van de Astrobee (die al volgepropt is met andere systemen), wat aantoont dat RL haalbaar is op ruimtevaartuigen met lage Size, Weight, and Power (SWAP).
• Robuustheid door randomisatie: Door massavariatie en doelrandomisatie tijdens het trainen, bleek het beleid bestand tegen onzekerheden in de dynamiek van de robot.

4. Resultaten

De experimenten omvatten simulatie, grondtesten en de uiteindelijke vluchttest op het ISS.

• Simulatie en Grondtesten:

  • In de simulaties en op de Granite Lab slaagde het RL-beleid erin om bewegingstrajecten uit te voeren (bijv. 0,5 meter verplaatsing).
  • Het RL-beleid presteerde iets minder nauwkeurig dan de klassieke NASA-baseline-controller (meer afwijkingen in oriëntatie en zijwaartse drift), maar bleef binnen de succescriteria voor de Astrobee.
  • Het beleid kon complexe 6-DOF bewegingen uitvoeren, inclusief ontkoppelen en rotaties.

• Vluchttesten op het ISS (27 mei 2025):

  • Binnen een tijdsvenster van ongeveer 7 minuten werden 8 manoeuvres uitgevoerd, waaronder ontkoppelen, rotaties, translaties en twee pogingen tot herkoppeling.
  • Succes: De robot voerde ontkoppelen en translaties succesvol uit. Een tweede herkoppelpoging was succesvol, zelfs tijdens een signaalverlies.
  • Veiligheidsmechanisme: Tijdens de eerste herkoppelpoging trad een fout op (vermoedelijk een localisatieprobleem door ISS-beweging). Het ingebouwde foutdetectiesysteem van de Astrobee merkte dat de fout de drempel overschreed en schakelde automatisch terug naar de veilige baseline-controller. Dit voorkwam ongecontroleerde beweging of botsing.
  • De RL-controller slaagde erin om de gewenste manoeuvres uit te voeren binnen de toleranties van de robot, ondanks dat het niet zo nauwkeurig was als de klassieke controller.

5. Betekenis en Toekomstperspectief

Deze demonstratie is een bewijs van concept (Proof of Concept) dat RL een transformatieve rol kan spelen in de ruimterobotiek:

• Snellere ontwikkeling: In plaats van maanden te besteden aan het handmatig ontwerpen en verifiëren van controllers, kunnen RL-beleidslijnen in minuten tot uren worden getraind en aangepast aan specifieke missiebehoeften.
• Toekomstige Missies: Dit legt de basis voor complexere taken zoals Rendezvous, Proximity Operations and Docking (RPOD), het manipuleren van onbekende objecten met de Astrobee-arm, en het herstellen van besturing na thruster-fouten.
• ISAM (In-Space Assembly and Manufacturing): De langetermijndoelstelling is het gebruik van RL voor Assembly, Integration and Testing (AI&T) in toekomstige missies, zoals het monteren van grote ruimtetelescopen of zonne-energiestations.

Hoewel de huidige resultaten aantonen dat RL haalbaar is, benadrukt het paper dat toekomstig onderzoek gericht moet zijn op het verbeteren van de formele veiligheidsverificatie om het vertrouwen in RL voor kritieke ruimteoperaties te vergroten.