Technische Samenvatting: Veilige Verkenning voor Niet-lineaire Processen met Online Gaussian Process Learning

Probleemstelling

Het artikel behandelt de uitdaging van het regelen van niet-lineaire systemen met gedeeltelijk bekende dynamica in veiligheidskritieke toepassingen (bijvoorbeeld robotica, lucht- en ruimtevaart, procesindustrie). Hoewel datagedreven methoden zoals versterkend leren aanpassingsvermogen bieden, missen ze vaak harde garanties op stabiliteit en naleving van beperkingen tijdens de verkenningsfase. Bestaande aanpakken voor veilig leren vertrouwen vaak op geïdealiseerde aannames, zoals volledige kennis van niet-lineaire dynamica of conservatieve Lipschitz-overbenaderingen van onzekerheid, wat hun praktische toepasbaarheid beperkt.

Het specifieke probleem dat wordt aangepakt, is het ontwerpen van een regelframework dat veilige verkenning garandeert voor niet-lineaire systemen waarbij:

1. Slechts een stabiliseerbare lineaire benadering van het proces bekend is.
2. Ongemodelleerde niet-lineaire dynamica (residuen) online moeten worden geleerd.
3. Het systeem gedurende het leerproces met hoge waarschijnlijkheid aan toestands- en ingangsbeperkingen moet voldoen.

Methodologie

Het voorgestelde framework integreert Gaussian Process (GP) regressie, Lyapunov-stabiliteitstheorie en convexe optimalisatie om veilige, informatieve verkenning te realiseren.

1. Systeemdecompositie en GP-modellering

De systeemdynamica wordt gemodelleerd als een stuurbaar niet-lineair systeem:
$$\dot{x} = Ax + Bu + g(x)$$
waarbij $(A, B)$ een bekende, stabiliseerbare linearisatie is, en $g(x)$ een onbekend glad residu. Het residu $g(x)$ wordt online gemodelleerd met een Gaussian Process. Naarmate data wordt verzameld, levert de GP een posterior-middelpunt $\mu_t(x)$ en een standaardafwijking $\sigma_t(x)$. Er wordt een betrouwbaarheidsomhulsel met hoge waarschijnlijkheid geconstrueerd zodat:
$$\|g(x) - \mu_t(x)\|_2 \leq \beta_t \sigma_t(x)$$
met waarschijnlijkheid $1-\delta$, waarbij $\beta_t$ een tijdsvariabele betrouwbaarheidsparameter is die is afgeleid van GP-UCB-schema's voor eindige steekproeven.

2. Probabilistische Stuurbaar-Invariante Mengen (PCIS)

Veiligheid wordt afgedwongen via een Probabilistische Stuurbaar-Invariante Menge (PCIS) die is afgeleid van een Control Lyapunov-functie (CLF), $V(x) = x^\top P x$. De PCIS wordt gedefinieerd als de verzameling toestanden waarvoor een stuurinvoer bestaat die garandeert dat de Lyapunov-functie afneemt, zelfs onder de worst-case GP-onzekerheid binnen het betrouwbaarheidsomhulsel.
De voorwaarde voor de verzameling $S_t$ is:
$$\nabla V \cdot (Ax + Bu + \mu_t(x)) + \beta_t \sigma_t(x) \|\nabla V\| + \lambda V(x) \leq 0$$
Deze constructie garandeert dat als het systeem binnen de PCIS start, het daar met hoge waarschijnlijkheid ($1-\delta$) in blijft, waardoor recursieve haalbaarheid van beperkingen wordt gewaarborgd.

3. Op optimalisatie gebaseerde Regelaar

Op elk tijdstip lost de regelaar een Convex Kwartisch Program (QP) op om de stuurinvoer $u$ te bepalen. Het doel is om informatiewinst te maximaliseren (door excitatie in richtingen met hoge onzekerheid te stimuleren) terwijl strikt wordt voldaan aan veiligheidsbeperkingen.
Het QP minimaliseert de afwijking van een nominale stabiliserende regelaar $u_{lin}$:
$$\min_{u, s \geq 0} \|u - u_{lin}\|_2^2 + \rho s$$
onderworpen aan de voorwaarde voor Lyapunov-afname (met inbegrip van de GP-onzekerheidsgrens) en ingangsbeperkingen. Een slackvariabele $s$ zorgt voor haalbaarheid en wordt bestraft met $\rho$ om veiligheid voorrang te geven.

4. Adaptieve Uitbreiding

Naarmate de GP de residudynamica leert, neemt de onzekerheid $\sigma_t(x)$ af. Deze reductie maakt het mogelijk dat de PCIS zich adaptief uitbreidt, waardoor progressief rijker verkenningsgebieden worden ontsloten zonder veiligheidsgaranties te schenden.

Belangrijkste Bijdragen

Het artikel schetst drie primaire bijdragen:

1. Nominaal-Resid Decompositie: Een framework dat een bekend lineair model combineert met een online GP-residu, waardoor veilig leren van onbekende niet-lineariteiten mogelijk is zonder volledige modelkennis te vereisen.
2. Op Lyapunov gebaseerde PCIS-constructie: Een methode om probabilistische invariante verzamelingen te construeren die GP-onzekerheid incorporeren, en die garanties voor stabiliteit en naleving van beperkingen bieden voor eindige steekproeven.
3. Op optimalisatie gebaseerde Regelaar: Een regelaar in real-time die op elke stap een convex QP oplost om informatiewinst (verkenning) in evenwicht te brengen met strikte veiligheidsgaranties (CLF-afname), waardoor het conservatisme van meestaps-onzekerheidspropagatie zoals gevonden in andere Safe MPC-formuleringen wordt vermeden.

Experimentele Resultaten

Het framework is gevalideerd op twee benchmarks: een 2D-polynoomsysteem en een MIMO-drieklepproces voor waterpeil.

2D Polynoomsysteem

• Leerprestaties: Het GP-model boekte aanzienlijke verbeteringen in nauwkeurigheid (RMSE gereduceerd van ~1,11 tot ~0,03) over 12 iteraties.
• Kalibratie van Onzekerheid: De empirische dekking van de 95%-betrouwbaarheidsintervallen verbeterde na kalibratie van 37% naar 100%, waardoor de veiligheidscertificaten betrouwbaar waren.
• Veiligheid: De voorgestelde GP-PCIS-regelaar hield alle trajecten binnen de gecertificeerde veilige verzameling met nul schendingen van beperkingen. In tegenstelling hiermee schond een onveilige baseline (LQR zonder veiligheidslagen) toestandsbeperkingen.
• Uitbreiding van Verzameling: Het volume van de gecertificeerde veilige verzameling breidde zich met ongeveer 27,7% uit naarmate de onzekerheid afnam, wat de adaptieve aard van het framework demonstreert.

Drieklepproces voor Waterpeil

• Complexiteit: Dit MIMO-gekoppelde systeem testte de schaalbaarheid en haalbaarheid in real-time van het framework.
• Sparce versus Exacte GP: Sparce GP-benaderingen (met behulp van inducerende punten) bleken levensvatbaar, met inferentietijden die >1000x sneller waren dan bij exacte GPs, terwijl ze toch een dekking nabij het nominale niveau (~94,5%) en een aanvaardbare RMSE behielden.
• Veiligheid: Over een identificatiehorizon van 2000 seconden behaalde het framework nul schendingen van waterpeilbeperkingen (45%–87%), terwijl een onveilige baseline kort onder de ondergrens daalde.
• Prestaties in Real-time: De mediaan per-stap QP-oplostijden lagen in het milliseconde-bereik, wat de haalbaarheid voor implementatie in real-time bevestigt.

Betekenis en Claims

Het artikel claimt een unificerend en implementeerbaar framework te bieden voor veilige verkenning in gedeeltelijk bekende niet-lineaire systemen. De betekenis hiervan ligt in:

• Balans tussen Behapbaarheid en Conservatisme: In tegenstelling tot meestaps Safe MPC-formuleringen die te conservatief kunnen worden, dwingt deze aanpak een eenstaps Lyapunov-afname af met GP-betrouwbaarheidsgrenzen, wat resulteert in een convex QP zonder meestaps-onzekerheidsopblazing.
• Praktijkgerichtheid: Het vereist slechts een stabiliseerbaar lineair model (in de praktijk gebruikelijk) in plaats van exacte niet-lineaire dynamica, waardoor het toepasbaar is op real-world systemen waarbij ongemodelleerde effecten online moeten worden geleerd.
• Theoretische Garanties: Het biedt probabilistische veiligheidsgaranties voor eindige steekproeven, waardoor wordt gewaarborgd dat het systeem stabiel blijft en binnen beperkingen blijft met hoge waarschijnlijkheid, zelfs tijdens de actieve leerfase.

De auteurs erkennen beperkingen, waaronder het conservatisme van eenstaps worst-case grenzen en de kubische schaling van exacte GP-training, en suggereren toekomstig werk over meestaps kansbeperkingen en sparce GP-updates voor hogedimensionale taken. De resultaten tonen echter aan dat de voorgestelde methode effectief informatieve verkenning mogelijk maakt terwijl strikt wordt voldaan aan veiligheidsbeperkingen.