Safe Deep Reinforcement Learning for Spacecraft Reorientation with Pointing Keep-Out Constraint

Technische Samenvatting: Veilige Deep Reinforcement Learning voor Heroriëntatie van Ruimteschepen met Beperking voor Richtingbepaling

Probleemstelling
Heroriëntatiemanoeuvres van ruimteschepen vereisen vaak strikte naleving van richtingsbeperkingen om gevoelige aan boord geïnstalleerde instrumenten (bijvoorbeeld optische camera's) te beschermen tegen blootstelling aan heldere hemellichamen zoals de Zon. Traditionele benaderingen voor beperkte attitudebesturing, zoals attitudeplanning en niet-lineaire Model Predictive Control (MPC), zijn rekenkundig intensief en uitdagend voor realtime toepassing aan boord. Omgekeerd lijden Methoden op basis van Kunstmatige Potentiaalvelden (APF), hoewel ze efficiënt zijn, vaak aan lokale minima. Hoewel Deep Reinforcement Learning (DRL) een rekenkundig efficiënt alternatief biedt voor continue besturing, blijft de toepassing ervan op veiligheidskritieke, beperkte scenario's beperkt. Een primaire uitdaging is het ontbreken van formele veiligheidsgaranties; standaard DRL-agenten die uitsluitend met beloningsvorming worden getraind, kunnen tijdens de inzet niet strikt aan beperkingen voldoen.

Methodologie
Het artikel stelt een framework voor Veilige Reinforcement Learning (Safe RL) voor heroriëntatie van ruimteschepen met één verboden zone voor richtingbepaling voor. De methodologie integreert het Soft Actor-Critic (SAC)-algoritme met een op Control Barrier Function (CBF) gebaseerd veiligheidsfilter.

• Staatruimte en Ontwerp van Beloning: Er is een nieuwe representatie van de staatruimte ontworpen die een compacte en expliciete weergave van de beperkingszone voor attitude bevat. De staatvector omvat de relatieve attitude, hoeksnelheid, het boorrichtingsvector van de lading, de hoek tussen de boorrichting en de ontwijkingsrichting, de veiligheidsmargehoek en de relatieve vector van de ontwijkingsrichting. De beloningsfunctie combineert een basisbeloning voor attitudeconvergentie en minimalisatie van besturingsinspanning met een specifieke straffunctie ($P_{f-zone}$) die toeneemt naarmate het ruimteschip de grens van de verboden zone nadert.
• Trainingsstrategie: De agent wordt getraind met een curriculum learning-benadering in twee fasen. Fase 1 traint een basisbeleid voor onbeperkte attitude-regulatie met toenemende initiële afwijkingshoeken. Fase 2 fine-tuneert dit beleid met de straffunctie voor de verboden zone actief, waarbij beperkingen worden gegenereerd die de waarschijnlijkste kortste paden voor rotatie van de agent kruisen.
• Veiligheidsfilter: Om naleving van beperkingen tijdens de inzet te garanderen, wordt een op CBF gebaseerd veiligheidsfilter tussen de RL-agent en de omgeving geplaatst. Het filter lost op elk tijdstip een kwadratisch programma (QP) op om het besturingskoppel te vinden dat het dichtst bij het voorgestelde actie van de agent ligt, terwijl de besturingslimieten en de beperking voor de verboden zone worden gerespecteerd. De veilige set wordt gedefinieerd met behulp van een robuuste binnenste beperkingsset die rekening houdt met de bemonsteringstijd en mogelijke verstoringen.

Belangrijkste Resultaten
Uitgebreide simulaties, waaronder een Monte Carlo-analyse van 10.000 scenario's, zijn uitgevoerd om het voorgestelde framework te evalueren:

• Beperkingen van Standaard RL: Bij gebruik van een standaard RL-framework (uitsluitend beloningsvorming) bereikte de agent in ongeveer 97% van de gevallen succesvol het doel. Echter, resulteerden 2,66% van de manoeuvres in schendingen van de verboden zone, wat aantoont dat beloningsvorming alleen geen veiligheid kan garanderen.
• Prestaties van Safe RL: Bij integratie van het op CBF gebaseerde veiligheidsfilter daalde het percentage schendingen van beperkingen naar 0%. De gemiddelde beloning en de insteltijd bleven vergelijkbaar met de standaard RL-benadering (een lichte vermindering van de beloning en een kleine toename van de insteltijd), terwijl de besturingsinspanning licht afnam.
• Parametergevoeligheid: De parameter $\mu$ in de CBF-formulering beïnvloedt de prestaties aanzienlijk. Hoewel $\mu=0,0025$ optimale veiligheid en prestaties bood, resulteerde een kleinere, ongeschikt ingestelde $\mu$ ($0,0001$) in verslechterde prestaties (hogere insteltijd en meer gevallen zonder instelling) in vergelijking met de standaard RL-benadering, ondanks het feit dat schendingen werden vermeden.
• Geen Instelling: Een klein percentage gevallen (0,22% met het filter) slaagde er niet in om te stabiliseren. Analyse wees uit dat deze werden veroorzaakt door het beleid van de agent (wat leidde tot bias of limietcycli) en niet door het veiligheidsfilter, wat suggereert dat verdere training van de agent noodzakelijk is.

Betekenis en Beweringen
Het artikel beweert dat het voorgestelde framework de veiligheidskloof bij de toepassing van DRL op attitudebesturing van ruimteschepen effectief aanpakt. De primaire bijdrage is de demonstratie dat, hoewel beloningsvorming het bewustzijn van beperkingen verbetert, dit onvoldoende is om veiligheid te garanderen bij kritieke manoeuvres. Daarentegen zorgt de integratie van een op CBF gebaseerd veiligheidsfilter voor strikte naleving van richtingsbeperkingen zonder de besturingsprestaties significant te compromitteren. De auteurs concluderen dat hun aanpak een levensvatbare, realtime oplossing biedt voor beperkte heroriëntatie van ruimteschepen, hoewel zij opmerken dat toekomstig werk vereist is om gedrag zonder instelling aan te pakken en het algoritme uit te breiden om meerdere verboden zones te verwerken met behulp van Long Short-Term Memory (LSTM)-netwerken.