Approximate Relative Entropy Constraints for Nonlinear Covariance Steering Under Distribution Ambiguity

Technische Samenvatting: Benaderende Relatieve Entropie-restricties voor Nietlineaire Covariantie-sturing onder Distributie-ambiguïteit

Probleemstelling
Covariantie-sturing biedt een efficiënt kader voor het ontwerpen van lineaire stochastische feedback-policies, met name voor lineaire Gaussische systemen waarbij het probleem kan worden geformuleerd als een semidefinit programma. Het uitbreiden van dit kader naar nietlineaire systemen steunt echter doorgaans op lokale linearisatie rond een nominaal traject, waarbij wordt aangenomen dat de toestandsdistributie Gaussisch blijft. Deze Gaussische surrogaat wijkt vaak aanzienlijk af van de werkelijke nietlineaire toestandsdistributie, wat leidt tot onnauwkeurige schattingen van risicogevoelige grootheden zoals de botsingskans en de gemiddelde kwadratische fout (MSE). Hoewel distributioneel robuuste controlesystemen bestaan om onzekerheid in de kansdichtheidsfunctie (PDF) zelf aan te pakken, blijft een fundamentele methode voor het selecteren van de straal van de ambiguïteitsverzameling (de grens op de statistische afstand) een uitdaging. Dit werk adresseert de behoefte aan een robuust begeleidingskader dat rekening houdt met distributie-ambiguïteit in nietlineaire ruimtevaartuigdynamica zonder te vertrouwen op heuristische ambiguïteitsverzameling-radii.

Methodologie
De auteurs stellen een distributioneel robuust covariantie-sturingskader voor op basis van de relatieve entropie, of de Kullback–Leibler-divergentie (KLD), om de discrepantie tussen de ware toestandsdistributie ($\pi_t$) en een Gaussische referentie-surrogaat ($\hat{\pi}_t$) te kwantificeren. De methodologie verloopt via drie primaire analytische en algoritmische stappen:

1. Variationele Grenzen op Risicogevoelige Grootheden:
   Met behulp van de Donsker-Varadhan variatiemethode voor exponentiële integralen, leiden de auteurs berekenbare bovengrenzen af voor verwachte grootheden van belang onder distributie-ambiguïteit. Specifiek stellen zij vast dat voor elke begrensde functie $g(x)$, de verwachting onder de ware distributie $\pi$ wordt begrensd door een uitdrukking die de verwachting onder de surrogaat $\hat{\pi}$ en de relatieve entropie $R(\pi \parallel \hat{\pi})$ omvat. Dit maakt de afleiding van expliciete bovengrenzen mogelijk voor:

   • Kansrestricties (Botsingsrisico): Door de toegestane toestandsverzameling te definiëren als een halfruimte, wordt de kans op een botsing begrensd met behulp van de cumulatieve distributiefunctie (CDF) van de surrogaat en de KLD.
   • Gemiddelde Kwadratische Fout (MSE): Een bovengrens voor de levering-MSE wordt afgeleid, die convergeert naar de exacte MSE van de Gaussische surrogaat wanneer de KLD naar nul nadert.

2. Het Begrenzen van de Tijdssnelheid van Verandering van de KLD:
   Om de KLD-restrictie hanteerbaar te maken binnen een sturingsformulering, leiden de auteurs een benaderende bovengrens af voor de tijdssnelheid van verandering van de relatieve entropie, $\frac{d}{dt}R(\pi_t \parallel \hat{\pi}_t)$. Onder de aanname dat de referentie-surrogaat Gaussisch is en dat modelonzekerheden primair voortkomen uit structurele linearisatiefouten (tweede-orde afschaftfouten), wordt aangetoond dat deze snelheid een functie is van de covariantie-matrix $P_t$ en de Hessiaan van de nietlineaire dynamica. Cruciaal is dat deze grens controleerbaar is via de beslissingsvariabelen in een covariantie-sturingsprobleem.

3. Implementatie via Sequential Convex Programming (SCvx):
   De afgeleide grenzen worden geïntegreerd in een Sequential Convexification (SCvx) algoritme. De relatieve entropie-bovengrens en de variationele MSE-bovengrens worden behandeld als beslissingsvariabelen. De nietlineaire dynamica van deze grenzen wordt gelineariseerd rond de oplossing van de vorige convexe iteratie, waarbij slack-variabelen worden geïntroduceerd om dynamische consistentie te waarborgen. De resulterende subproblemen zijn convexe semidefinitie programma's die simultaan de feedback-control policy optimaliseren en de groei van de distributionele mismatch reguleren.

Belangrijkste Bijdragen

• Distributioneel Robuust Kader: Het artikel introduceert een covariantie-sturingskader dat expliciet rekening houdt met de ambiguïteit tussen de ware nietlineaire distributie en de Gaussische surrogaat met behulp van KLD.
• Fundamentele Ambiguïteitsverzameling-straal: In plaats van de radii van de ambiguïteitsverzameling heuristisch te selecteren, biedt dit werk een methode om passende grenzen te bepalen door deze direct te koppelen aan de nietlineaire dynamische evolutie en de control policy.
• Berekenbare Risicogrenzen: De afleiding van bovengrenzen voor botsingsrisico en MSE die enkel rusten op de bekende surrogaat-distributie en de KLD-grens, waardoor de noodzaak voor exacte kennis van de ware distributie vervalt.
• Controleerbare KLD-dynamica: De demonstratie dat de tijdssnelheid van verandering van de KLD begrensd en controleerbaar kan worden binnen een standaard covariantie-sturingsformulering, wat de handhaving van distributionele consistentie-restricties mogelijk maakt.

Resultaten
De voorgestelde aanpak werd gevalideerd op een uitdagend nietlineair ruimtevaartuig-transferprobleem tussen twee Near-Rectilinear Halo Orbits (NRHO's) in het Aarde-Maan Circular Restricted Three-Body Problem (CRTBP). Dit scenario bevat significante nietlineariteiten tijdens nauwe maan-ontmoetingen.

• Relatieve Entropie Targeting: In Testgeval #1 slaagde het algoritme erin de relatieve entropie-bovengrens te beperken tot voorgeschreven drempelwaarden (variërend van 100 tot 0,1). Monte Carlo-analyse (2.500 proeven) toonde aan dat terwijl standaard covariantie-sturing resulteerde in een aanzienlijk aantal terminale toestanden buiten de 99% betrouwbaarheidsgrenzen, de entropie-geconstreinde policies de consistentie met de ontworpen terminale onzekerheid behielden. De resultaten lieten zien dat striktere entropie-restricties leidden tot grotere control-varianties, maar de divergentie tussen de ware distributie en de Gaussische surrogaat aanzienlijk verminderden.
• MSE Variationele Constraints: In Testgeval #2 handhaafde het algoritme een variationele bovengrens op de MSE. De SCvx-iteraties convergeerden succesvol naar een optimale Lagrange-multiplier ($\lambda^*$), en de resulterende guidance policy zorgde ervoor dat de empirische MSE onder de voorgeschreven restrictie bleef, terwijl de standaardbenadering de grens overschreed.

Betekenis en Claims
De auteurs claimen dat dit werk een fundamenteel alternatief biedt voor heuristische methoden voor het selecteren van ambiguïteitsverzameling-radii in distributioneel robuuste controle. Door de ambiguïteitsstraal direct te koppelen aan de nietlineaire dynamische evolutie via de KLD-snelheidsgrens, biedt het kader een systematische manier om stochastische guidance-policies te ontwerpen die robuust blijven tegen distributionele mismatch. De numerieke resultaten suggereren dat de voorgestelde methode extra robuustheid kan bieden boven conventionele Gaussische covariantie-sturing, met name in hoog-nietlineaire regimes waar linearisatiefouten significant zijn. Het artikel concludeert dat het kader effectief de distributionele mismatch reguleert terwijl het conservatieve grenzen oplegt aan risicogevoelige prestatie-maten.