LC-SAC: Lyapunov-Constrained Soft Actor-Critic via Koopman Operator Theory for Trajectory Tracking and Stabilization

Technische Samenvatting: LC-SAC: Lyapunov-geconstreerde Soft Actor-Critic via Koopman-operatortheorie

Probleemstelling
Reinforcement Learning (RL) heeft succes getoond bij complexe sequentiële besluitvorming, maar staat voor aanzienlijke hindernissen bij de toepassing op veiligheidskritische fysieke systemen. Standaard RL-algoritmen geven prioriteit aan beloningsmaximalisatie, wat vaak beleid (policies) produceert dat oscillaties of onbegrensde staat-divergentie veroorzaakt door exploratie-gestuurde transiënten en fouten in functiebenadering. Hoewel Lyapunov-gebaseerde methoden een principieel pad naar stabiliteit bieden, kampen bestaande benaderingen met terugkerende beperkingen: de moeilijkheid van het construeren van geldige Lyapunov-functies in onbekende, hoogdimensionale omgevingen; de steekproef-inefficiëntie van on-policy Lyapunov-leren; en de computationele last van projecties of geconstreerde optimalisaties bij elke update-stap. Bovendien missen geleerde Lyapunov-certificaten vaak garanties op globale geldigheid, en kan het afdwingen van constraints het leerproces destabiliseren als dit niet rigoureus wordt geïmplementeerd.

Methodologie
De auteurs stellen LC-SAC (Lyapunov-Constrained Soft Actor-Critic) voor, een raamwerk dat Koopman-operatortheorie integreert met off-policy RL om stabiliteitsgaranties te bieden zonder hulp-Lyapunov-netwerken te trainen. De methodologie bestaat uit drie primaire componenten:

1. Offline Model Leren via EDMD:
   In plaats van de dynamica direct in de oorspronkelijke staatruimte te leren, leert het systeem een lineair gelift surrogaat van de fout-dynamica ($e_t = x_t - x_{ref,t}$) met behulp van Extended Dynamic Mode Decomposition (EDMD). Een woordenboek van observables (staatvariabelen gecombineerd met Radial Basis Functions) lift de niet-lineaire dynamica naar een lineair control-affine model: $z_{t+1} \approx A z_t + B u_t$, waarbij $z = g(e)$.

2. Closed-Form CLF Constructie:
   Gebruikmakend van de geïdentificeerde matrices $A$ en $B$, lossen de auteurs de Discrete Algebraic Riccati Equation (DARE) op om een unieke stabiliserende oplossing $P \succ 0$ te verkrijgen. Dit levert een closed-form kwadratische Control Lyapunov Function (CLF) op: $V(z) = z^\top P z$. Om ervoor te zorgen dat de CLF goed gedefinieerd is voor hogere-dimensionale gelifte modellen (specifiek 3D quadrotors en cartpoles), zijn drie structurele verfijningen geïntroduceerd:

   • Spectrale straal normalisatie: Het schalen van de matrix $A$ indien de spectrale straal $\rho(A) > 1$ om stabiliteit te waarborgen vóór het oplossen van DARE.
   • Fysisch betekenisvolle LQR-kosten: Het instellen van staat-kosten ($Q$) op basis van fysieke fout-staten.
   • Value-bias anchor: Het afdwingen van $V(0)=0$ door een bias-term $V_{bias} = g(0)^\top P g(0)$ af te trekken, wat corrigeert voor niet-nul RBF-centra bij de oorsprong.

3. Online Policy Optimalisatie met CVaR Constraint:
   De SAC-actor update wordt uitgebreid met een Lagrangian penalty die de Lyapunov-afname conditie afdwingt. In plaats van de gemiddelde schending te bestraffen, aggregeert de methode de slechtste scenario's in de staart van de schendingen met behulp van een Conditional Value-at-Risk (CVaR) objectief (gericht op de bovenste 25% van de schendingen). De actor loss wordt:
   $$L_\pi = J_{SAC} + \lambda (L_{CVaR}^v - \zeta)$$
   waarbij $L_{CVaR}^v$ het gemiddelde is van de slechtste één-stap Lyapunov-schendingen, $\lambda$ een duale variabele is die via geprojecteerde ascensie wordt bijgewerkt, en $\zeta$ een tolerantie is. Dit concentreert de constraint-druk op zeldzame maar ernstige instabiliteitsgebeurtenissen.

Belangrijkste Bijdragen

1. Nieuwachtige CLF Afleiding: Een methodologie om een closed-form CLF te verkrijgen via Koopman/EDMD lifting en DARE, ingebed als een Lagrangian constraint in SAC. Dit voorkomt het trainen van een hulp-Lyapunov netwerk, wat de computationele complexiteit vermindert en de data-efficiëntie verbetert.
2. Theoretische Analyse: Bewijs dat de geconstreerde actor update lokaal de één-stap Lyapunov-schending vermindert en dat het voldoen aan de constraint impliceert dat er asymptotische (of exponentiële, onder een versterkte marge) stabiliteit is van het gelifte surrogaatsysteem.
3. Structurele Verfijningen: De introductie van spectrale straal normalisatie, fysisch betekenisvolle LQR-kosten en een $V(0)=0$ anchor, die worden aangetoond noodzakelijk te zijn om de closed-form CLF correct te laten functioneren in hoogdimensionale gelifte modellen.
4. Omvattende Empirische Studie: Evaluatie over zes benchmark-taken (2D/3D quadrotor stabilisatie/tracking, cartpole stabilisatie/tracking) waarbij LC-SAC wordt vergeleken met vanilla SAC, een variant met gemiddelde-aggregatie (LC-SAC-Mean), en een potentiaal-gebaseerde reward shaping baseline (Lyap-RS-SAC).

Resultaten
De experimenten, uitgevoerd op de safe-control-gym suite, onthullen een duidelijk stabiliteits-prestatie trade-off:

• Stabilisatie Taken: Op taken met vaste setpoints (bijv. cartpole stabilisatie), evenaren of overtreft LC-SAC en zijn varianten de prestaties van vanilla SAC (tot +25% verbetering op cartpole) terwijl ze de variantie tussen trials drastisch verminderen. Dit geeft aan dat de constraint de catastrofale policy-divergentie tijdens training voorkomt.
• Tracking Taken: Op agressieve traject-tracking taken, brengt de stabiliteitsconstraint een bescheiden rendement-verlies met zich mee (3–15% lagere gemiddelde return vergeleken met vanilla SAC) in ruil voor aanzienlijk verminderde variantie en meer reproduceerbaar trainen.
• Ablatie Bevindingen:
  • Hard Constraint vs. Reward Shaping: Het vervangen van de harde Lagrangian constraint door potentiaal-gebaseerde reward shaping (Lyap-RS-SAC) veroorzaakt catastrofaal falen op quadrotor-taken (tot 94% return collapse), wat aantoont dat harde constraints essentieel zijn voor hoogdimensionale dynamica.
  • CVaR vs. Mean: De CVaR aggregatie (LC-SAC) richt zich op de slechtste schendingen, wat resulteert in lagere worst-case surrogaat-losses maar iets hogere gemiddelde vloeren vergeleken met de variant met gemiddelde-aggregatie (LC-SAC-Mean).
  • Structurele Fixes: Zonder de voorgestelde EDMD verfijningen (normalisatie en bias anchoring), was de surrogaat Lyapunov loss voor 3D taken onbegrensd (868 bij stap 4000), wat het leerproces volledig blokkeerde. De fixes reduceerden dit tot nabij nul, wat succesvol trainen mogelijk maakte.

Betekenis en Claims
Het artikel claimt dat LC-SAC een computationeel efficiënte en theoretisch gefundeerde aanpak biedt voor veilige RL door gebruik te maken van de globale linearisatie-eigenschappen van Koopman-operators om offline stabiliteitscertificaten af te leiden. Het werk demonstreert dat:

1. Stabiliteitsconstraints effectief kunnen worden geïntegreerd in off-policy RL zonder de steekproef-inefficiëntie van het online leren van een Lyapunov-functie.
2. Een harde Lagrangian constraint superieur is aan reward shaping voor het handhaven van stabiliteit in complexe, hoogdimensionale systemen.
3. Structurele verfijningen in de EDMD-pipeline cruciaal zijn voor het uitbreiden van closed-form CLF methoden naar hogere-dimensionale systemen zoals 3D quadrotors.
4. De aanpak een gunstige trade-off biedt, waarbij een kleine hoeveelheid piekprestatie op agressieve tracking-taken wordt geruild voor aanzienlijk verbeterde trainingsbetrouwbaarheid en robuustheid.

De auteurs merken op dat de huidige tijd-invariante kwadratische CLF een beperking is voor agressieve tijd-variërende referenties, wat suggereert dat toekomstig werk tijd-variërende of data-gedreven CLF-ontwerpen moet verkennen om de prestatiekloof bij tracking-taken verder te dichten.