Learned Lyapunov Shielding for Adaptive Control

Technische Samenvatting: Geleerde Lyapunov-certificaten voor Veilig Residu-Versterkt Leren op Euler-Lagrange-systemen

Probleemstelling
Adaptieve regelaars voor Euler-Lagrange-systemen, zoals de klassieke Slotine-Li-regelaar, vertrouwen op de lineaire-in-parameters eigenschap van starre-lichaamsdynamica en a priori kennis van massa-, Coriolis- en zwaartekrachts termen. Echter, praktische robotsystemen vertonen vaak niet-gemodelleerde niet-lineariteiten (bijvoorbeeld wrijvingshysterese, gewrichtselasticiteit, zachte-lichaamseffecten) die zich weerstaan aan een schone parametrisatie. Hoewel Versterkt Leren (RL) een weg biedt om deze residuen te leren, ontbreekt het standaard-RL aan formele stabiliteitsgaranties en faalt het vaak in convergentie wanneer toegepast op veiligheidskritieke controletaken. Bestaande benaderingen voor geleerde Lyapunov-functies vertrouwen vaak op generieke neurale architecturen (bijvoorbeeld MLP's met tanh-activaties) die post-hoc verificatie of complexe optimalisatie vereisen om positief-definite eigenschappen te waarborgen, wat vaak leidt tot onhaalbare veiligheidsfilters tijdens implementatie.

Methodologie
De auteurs stellen een raamwerk voor dat de Slotine-Li adaptieve regelaar uitbreidt met drie geleerde componenten, geïntegreerd in een beperkt Soft Actor-Critic (SAC)-beleid:

1. Gestructureerd-kwadratische Lyapunov-functie ($V_\psi$): In plaats van een generiek neurale netwerk, wordt de Lyapunov-candidate geparametriseerd als $V_\psi(x) = x^\top P_\psi(x) x$, waarbij $P_\psi(x) = L_\psi(x)L_\psi(x)^\top + \epsilon I$. Hierbij is $L_\psi$ een onder-driehoeks MLP. Deze Cholesky-parametrisatie garandeert positief-definite eigenschappen per constructie.
2. Residu SAC-beleid: Een Soft Actor-Critic-agent leert een gebonden residu-tkoppel $\Delta \tau$ om de analytische Slotine-Li-baseline te corrigeren. Het beleid wordt getraind om beloning (volgingsprestatie) te maximaliseren, onderworpen aan een beperking op de Lyapunov-afname-overtreding.
3. Fysica-informeerd Neuraal Netwerk (PINN): Een netwerk $f_\theta$ schat niet-gemodelleerde dynamica (residuen) en wordt getraind via een fysica-verlies dat de structuur van de Euler-Lagrange-vergelijking afdwingt. Dit model wordt gebruikt om het driftveld voor het veiligheidsfilter te schatten.

Veiligheidsfilter en Stabiliteitsmechanisme
De kerninnovatie is een gesloten-vorm veiligheidsfilter afgeleid van de enkele affiene beperking $\dot{V}_\psi + \alpha V_\psi \leq 0$. Omdat de systeemdynamica affiene is in de besturing ($\dot{x} = h(x) + g(x)\tau$) en $V_\psi$ kwadratisch is, wordt de beperking lineair in $\tau$ ($b(x)^\top \tau \leq c(x)$).

• Gesloten-vorm Projectie: Het filter projecteert elke ruwe beleidsoutput $\tau_{raw}$ op de veilige halfruimte via een eenvoudige Euclidische projectie, waardoor de noodzaak voor online Quadratic Programming (QP)-oplossers wordt vermeden.
• Haalbaarheidsvoorwaarde: Het artikel bewijst dat dit filter globaal haalbaar is als een "drift-afnamevoorwaarde" geldt op de verzameling $Z$ waar de besturingsbevoegdheid verdwijnt ($b(x)=0$). Specifiek moeten de natuurlijke drift-dynamica al Lyapunov-afnemend zijn op deze verzameling.
• Robuustheid: Een robuuste versie van het filter incorporateert de PINN-benaderingsfout ($\delta$) en de gradiëntgrens van $V_\psi$ ($L_V$) om stabiliteit te waarborgen zelfs wanneer het geleerde dynamische model imperfect is.

Belangrijkste Bijdragen
Het artikel stelt vijf theoretische en empirische bijdragen vast:

1. Gesloten-vorm Haalbaarheid: De gestructureerd-kwadratische parametrisatie levert een QP met één beperking op met een gesloten-vorm oplossing. De auteurs bewijzen globale haalbaarheid onder een verifieerbare drift-afnamevoorwaarde (Stelling 4).
2. Stabiliteitsgaranties: Exponentiële stabiliteit wordt bewezen onder exacte afscherming. Een robuuste uitbreiding wordt geboden waarbij de stabiliteitsmarge expliciet afhangt van de PINN-benaderingsfout (Stelling 13).
3. Convergentie: De gezamenlijke updates van het beleid, het Lyapunov-certificaat en de Lagrange-vermenigvuldiger blijken bijna zeker te convergeren naar een KKT-punt met behulp van een drie-tijdschaal stochastische benaderingsmethode (Stelling 10).
4. Generalisatie: Een PAC (Probably Approximately Correct) generalisatiegrens wordt afgeleid, die het geleerde Lyapunov-functie certificeert over compacte verzamelingen op basis van eindige steekproeven (Propositie 14).
5. Empirische Validatie: Uitgebreide experimenten op een 2-DOF manipulator en een 7-DOF Franka Emika Panda demonstreren de effectiviteit en schaalbaarheid van het raamwerk.

Experimentele Resultaten

• 2-DOF Manipulator: Op een systeem met niet-lineaire wrijving en variabele lading werd het geleerde Lyapunov-certificaat geïdentificeerd als de dominante bron van prestatiewinst. In vergelijking met de analytische Slotine-Li-baseline verlaagde de voorgestelde methode de volgfout met 41% onder nominale wrijving en 24% onder agressieve wrijving in het centroid van de trainingsverdeling. Ablatiestudies bevestigden dat het geleerde certificaat ($V_\psi$ aanzienlijk meer winst bood dan de PINN of het SAC-beleid alleen.
• 7-DOF Schaalbaarheid: Een studie op een 7-DOF Franka Panda (35-dimensionale toestandsruimte) bevestigde dat de volledige pijplijn (Transformer-gebaseerde PINN, gestructureerde $V_\psi$, gesloten-vorm afscherming) schoon convergeert op industriële schaal. In vergelijking met een exacte Computed-Torque-baseline (die toegang heeft tot ware dynamica), bereikte het raamwerk een volgprestatie binnen 1,7% van de baseline, wat bevestigt dat het fungeert als een gecertificeerd veiligheidsfilter in plaats van een prestatieboost wanneer de baseline al optimaal is.
• Foutmodi: De studie identificeerde een "warm-start-pathologie" waarbij een certificaat getraind onder een specifieke beloningsstructuur antagonistisch wordt voor nieuwe beloningsdoelen, wat een nieuwe initialisatie vereist. Er werd ook numerieke instabiliteit opgemerkt nabij toestanden waar $\nabla V_\psi \approx 0$, wat een gating-mechanisme vereist om koppelversterking te voorkomen.

Betekenis en Claims
Het artikel claimt dat de gestructureerd-kwadratische parametrisatie de centrale ontwerpkeuze is die het hele raamwerk mogelijk maakt. Door positief-definite eigenschappen per constructie te waarborgen, maakt het een computatie-efficiënt, gesloten-vorm veiligheidsfilter mogelijk dat haalbaarheid garandeert zonder online optimalisatie. Het werk toont aan dat geleerde componenten kunnen worden geïntegreerd in klassieke adaptieve regeling om niet-gemodelleerde dynamica te hanteren terwijl rigoureuze stabiliteitsgaranties behouden blijven. De auteurs benadrukken dat de waarde van het raamwerk ligt in het gezamenlijk leren van het beleid, certificaat en dynamisch residu onder formele veiligheidsbeperkingen, en niet in een enkele component op zich. De resultaten suggereren dat dergelijke raamwerken praktisch toepasbaar zijn over manipulatorschalen, op voorwaarde dat de analytische baseline niet al perfect is en de trainingsverdeling het operationele bereik dekt.