Simulation Based Reward Function Validation for Multi-Agent On Orbit Inspection

Technische Samenvatting: Simulatiegebaseerde Validatie van Beloningsfuncties voor Multi-Agent Inspectie in een Baan

Probleemstelling
De ophoping van ruimteafval maakt actieve verwijderingsmissies noodzakelijk, die voorafgaande gegevensverzameling vereisen om middelen effectief toe te wijzen. Huidige inspectiemissies in een baan vertrouwen vaak op handmatige planning voor nabijheidsoperaties, een proces dat tijdrovend is en moeilijk schaalbaar is voor grote populaties puin. Hoewel Multi-Agent Reinforcement Learning (MARL) is voorgesteld om de controle van groepen inspectiespacecraft te automatiseren, vertrouwen bestaande benaderingen doorgaans op beloningsfuncties die agenten naar een eindig, vooraf bepaald aantal inspectiepunten leiden. Deze rigiditeit beperkt het vermogen van de agenten om zich aan te passen aan willekeurige inspectievereisten. Bovendien is de effectiviteit van deze beloningsfuncties vaak moeilijk objectief te valideren zonder een directe link naar de kwaliteit van de resulterende gegevens.

Methodologie
Dit werk stelt een gegeneraliseerd MARL-framework voor voor orbitale inspectie waarbij agenten niet beperkt zijn tot vaste waypoints, maar de timing en locatie van beeldcollectie willekeurig kunnen aansturen. Het systeem maakt gebruik van een hiërarchische controlestructuur met twee verschillende soorten agenten die opereren binnen een Proximal Policy Optimization (PPO) framework:

• Upper-Level Agents: Verantwoordelijk voor besluitvorming op hoog niveau, inclus\nbij het selecteren van doelpunten, het bepalen van het moment van beeldopname en het beslissen wanneer een episode wordt beëindigd.
• Lower-Level Agents: Verantwoordelijk voor lage-niveau controle, het genereren van stuwkrachtcommando's om naar doelpunten te navigeren terwijl brandstofverbruik wordt geminimaliseerd en botsingen worden vermeden.

De omgeving maakt gebruik van Hill-Clohessy-Wiltshire (HCW) relatieve dynamica binnen een Local Vertical Local Horizontal (LVLH) frame. De beloningsfunctie is de kerninnovatie, ontworpen om te generaliseren voor een willekeurig aantal beelden op willekeurige locaties. Deze is samengesteld uit verschillende gewogen componenten:

1. Beeldwaarde: Een samengestelde score gebaseerd op afstand, hoekscheiding van andere beelden, lichtomstandigheden (zonhoek) en het vermijden van zelfschaduwing.
2. Team versus Individuele Beloningen: Een mengcoëfficiënt balanceert de globale teambeeldwaarde tegen individuele bijdragen van agenten om samenwerking te stimulak en "luiheid" te voorkomen.
3. Straffen: Kosten worden toegepast voor verstreken tijd, brandstofverbruik, fouten in doelpunten, botsingen en het te ver afwijken van de operationele regio.

Om deze beloningsfuncties te valideren, maken de auteurs gebruik van een high-fidelity simulatiepipeline. Trajecten en beeldmetadata gegenereerd door de getrainde MARL-agenten worden geëxporteerd naar NVIDIA Isaac Sim om fotorealistische beelden vast te leggen. Deze beelden worden vervolgens verwerkt door COLMAP (fotogrammetrie) en Instant-NGP (neural radiance fields) om 3D-reconstructies van het doelwit te genereren. De kwaliteit van deze reconstructies dient als de objectieve metriek voor de prestaties van de beloningsfunctie. Het trainingsproces maakt gebruik van curriculum learning, waarbij de brandstofstraffen geleidelijk worden verhoogd en vlakke beloningen voor het verblijven in de operationele regio worden verwijderd om te voorkomen dat agenten triviale beleid aanleren (bijv. niets doen of direct wegdriften).

Belangrijkste Bijdragen
Het artikel levert vier primaire bijdragen:

1. Een open-ended MARL-framework met PPO dat beelden op elke locatie en in elke hoeveelheid accommodeert, waarmee de beperking van vaste waypoints wordt overstegen.
2. Een gedetailleerde methodologie voor het testen en verfijnen van MARL-inspectie-implementaties, specifiek gericht op de validatie van beloningsfuncties via de kwaliteit van 3D-reconstructie.
3. Identificatie van toekomstige verbeteringen voor RL-gebaseerde inspectie, inclusief alternatieve observatierepresentaties en controlearchitecturen.
4. Algemene lessen die toepasbaar zijn op zowel de specifieke MARL-taak als het bredere veld van orbitale inspectie.

Resultaten
De studie toont aan dat het afstemmen van de gewichten van de beloningsfunctie de gedragingen van de agenten significant beïnvloedt. Specifiek zorgde het verhogen van de brandstofstrafweging van 3 naar 4 voor een verschuiving van de policy van willekeurige, inefficiënte trajecten naar brandstofefficiënte paden die gebruikmaken van natuurlijke HCW-dynamica voor planaire beweging, terwijl actieve controle wordt gebruikt voor out-of-plane aanpassingen. Echter, de auteurs merken op dat excessieve brandstofstraffen ervoor zorgden dat agenten volledig vertrouwden op natuurlijke dynamica, en te strikte eisen voor beeldseparatie de beeldcollectie juist ontmoedigden.

Wat betreft de reconstructie produceerde COLMAP schone maar incomplete reconstructies, waarschijnlijk gehinderd door veranderende lichtomstandigheden tijdens de baan. Instant-NGP produceerde meer complete maar wazigere reconstructies. De auteurs observeerden dat hoewel de gegenereerde policies functioneel waren, ze nog steeds tekortkomingen vertoonden, en dat het trainingsproces gevoelig was voor parametercombinaties.

Betekenis en Claims
De auteurs beweren dat hoewel de gepresenteerde MARL-methoden policies genereren die de haalbaarheid van geautomatiseerde orbitale inspectie ondersteunen, de technieken verdere verfijning vereisen voordat ze in de ruimte kunnen worden ingezet. De primaire waarde van dit werk ligt in het vermogen van MARL om missieontwerpers in staat te stellen algemene lessen en strategieën voor inspectietaken te verkennen. De inzichten die zijn verkregen over reward shaping, curriculum learning en de trade-offs tussen brandstofverbruik en datakwaliteit zijn ook toepasbaar op inspectietaken die traditionele controllers gebruiken.

Het artikel concludeert bescheiden dat hoewel de huidige resultaten veelbelovend zijn, ze nog niet voldoende zijn voor directe inzet. Toekomstig werk wordt geïdentificeerd op het gebied van RL-veiligheidsgaranties voor nabijheidsoperaties en de potentie voor een volledige geautomatiseerde reconstructie-analyseloop om directe RL-beloningen te bieden op basis van reconstructiekwaliteit, een doel dat momenteel beperkt wordt door computationele haalbaarheid.