Gaussian behaviors: representations and data-driven control

Titel: Gaussian behaviors: representaties en datagedreven controle

Auteurs: András Sasfi, Ivan Markovsky, Alberto Padoan, Florian Dörfler

1. Probleemstelling

Datagedreven besturingsmethoden, gebaseerd op de gedragsbenadering (behavioral approach), hebben de laatste jaren veel aandacht getrokken. Deze methoden behandelen systemen als verzamelingen van trajecten en kunnen lineair tijd-invariante (LTI) systemen direct modelleren met data. Echter, de meeste bestaande methoden (zoals Subspace Predictive Control - SPC en Data-enabled Predictive Control - DeePC) gaan uit van een deterministische beschrijving van het systeemgedrag.

In realistische scenario's met onzekerheid, ruis en niet-lineariteiten, is een deterministische benadering vaak ontoereikend. Hoewel er enkele werken zijn die stochastische uitbreidingen van de gedragsbenadering voorstellen, zijn deze vaak te abstract, complex (bijv. via polynoom-chaos expansies) of missen ze een praktische, rekenefficiënte formulering voor controle. Er is een behoefte aan een raamwerk dat:

1. Onzekerheid in trajecten kwantificeert.
2. Direct uit data kan worden geschat.
3. Leidt tot tractabele (oplosbare) controleformuleringen die rekening houden met deze onzekerheid.

2. Methodologie: Gaussian Behaviors

De auteurs introduceren een nieuw modelraamwerk genaamd Gaussian Behaviors (Gaussische Gedrag).

• Definitie: Een eindige reeks van systeemtrajecten van lengte $L$ wordt gemodelleerd als een multivariate Gaussische verdeling (een Gaussisch proces). Een traject $w_{[t, t+L-1]}$ wordt beschreven door een gemiddelde $\mu_t$ en een covariantiematrix $\Sigma_t$.
• Lineariteit: Een lineair Gaussisch gedrag vereist dat het gemiddelde binnen het beeld (image) van een bepaalde subruimte ligt, analoog aan de deterministische gedragsruimte.
• Data-estimatie: De covariantiematrix $\Sigma_w$ kan direct worden geschat uit waargenomen data als de empirische steekproefcovariantie ($\hat{\Sigma}_w = \frac{1}{D} W W^\top$). Dit biedt een directe data-representatie van het systeem.
• Voorspelling: Gegeven een deel van het traject (bijv. verleden outputs en huidige inputs), kan de verdeling van toekomstige outputs worden voorspeld via de conditionele verdeling van de Gaussische verdeling. Dit levert een voorspellend model op met een geschat gemiddelde en een onzekerheidsmatrix.

3. Belangrijkste Bijdragen

A. Theoretische Koppeling aan Bestaande Modellen

De auteurs tonen aan dat hun definitie van "Gaussian Behaviors" een overkoepelend raamwerk is dat bestaande modellen als speciale gevallen omvat:

• Deterministische LTI-systemen: Dit komt overeen met een Gaussisch gedrag waarbij de covariantiematrix singulier is (rangverlies) en de onzekerheid nul is.
• Stochastische LTI-ruimtetijdsystemen: De standaard state-space modellen met Gaussisch ruis en initiële toestanden vallen onder deze definitie met een specifieke structuur in de covariantie.

B. Herinterpretatie van Bestaande Controlemethoden

Het papier biedt een nieuwe probabilistische interpretatie van bestaande datagedreven controlemethoden:

1. Subspace Predictive Control (SPC): Wordt geïdentificeerd als een certainty-equivalence formulering. Hierbij wordt de verwachte kostenfunctie geminimaliseerd op basis van het geschatte gemiddelde, zonder rekening te houden met de onzekerheid (de covariantie) in de voorspelling.
2. Regularized DeePC: De auteurs bewijzen dat de regularisatie in de DeePC-methode (een veelgebruikte methode om overfitting te voorkomen) wiskundig equivalent is aan een distributionally optimistic formulering.
   • In plaats van alleen het geschatte gemiddelde te gebruiken, optimaliseert DeePC het gemiddelde binnen een onzekerheidsset (gedefinieerd door een Kullback-Leibler-divergentie) om de kosten te minimaliseren.
   • Dit verklaart waarom regularisatie werkt: het "optimistisch" omgaan met onzekerheid door het model aan te passen om de kosten te verlagen, wat een balans creëert tussen exploitatie en exploratie.

C. Nieuwe Formulering: Distributionally Robust Control

Om de potentiële nadelen van "optimisme" (zoals slechte prestaties als het model te ver van de realiteit afwijkt) te mitigeren, stellen de auteurs een nieuwe distributionally robust controleformulering voor.

• Doel: Minimaliseer de verwachte kosten onder het worst-case scenario binnen een onzekerheidsset rondom de geschatte verdeling.
• Convexe Reformulering: Het probleem wordt geformuleerd als een min-max probleem. De auteurs tonen aan dat dit kan worden herschreven als een convex optimalisatieprobleem (een kwadratisch programmeerprobleem), wat zorgt voor efficiënte berekening.
• Regelparameter: Een parameter $\lambda$ (Lagrange-multiplicator) bepaalt de grootte van de onzekerheidsset. Een hoge $\lambda$ leidt terug naar de certainty-equivalence oplossing, terwijl een lagere $\lambda$ meer conservatief (robuust) gedrag oplevert.

4. Resultaten en Analyse

• Wiskundige Equivalentie: Er is een strikt bewijs geleverd dat de regularisatie in DeePC (met een geprojecteerde 2-norm) equivalent is aan het minimaliseren van de kosten onder een KL-divergentie-beperking (optimistische benadering).
• Convexiteit: De voorgestelde robuuste formulering (Theorema 2) resulteert in een convex probleem voor voldoende grote waarden van de regelparameter $\lambda$. Dit garandeert dat het probleem efficiënt oplosbaar is met standaard convex-optimalisatietechnieken.
• Prestaties: Numerieke simulaties (verwijzend naar eerdere werken) suggereren dat de distributionally robust formulering betere prestaties levert in scenario's met hoge onzekerheid vergeleken met de puur optimistische (DeePC) of certainty-equivalence (SPC) benaderingen, doordat het risico op slechte realisaties wordt beperkt.

5. Betekenis en Impact

Dit werk is significant voor de volgende redenen:

1. Unificatie: Het verbindt de gedragsbenadering (behavioral approach) met stochastische processen en moderne datagedreven controle in één coherent raamwerk.
2. Interpreteerbaarheid: Het biedt een fundamentele verklaring voor waarom regularisatie in DeePC werkt (het is een vorm van distributional optimism), wat de theoretische basis van datagedreven controle versterkt.
3. Praktische Toepasbaarheid: Door de complexe stochastische problemen om te zetten in tractabele, convexe problemen, maken de auteurs het mogelijk om robuuste stochastische controle direct uit data toe te passen zonder eerst een state-space model te identificeren.
4. Nieuwe Richting: Het introduceert een nieuwe, conservatieve (robuste) aanpak die de risico's van "te optimistisch" handelen in onzekere omgevingen adresseert, wat cruciaal is voor veiligheidskritieke toepassingen.

Kortom, het papier transformeert het begrip van datagedreven controle van een puur deterministisch perspectief naar een probabilistisch raamwerk, waarbij onzekerheid expliciet wordt gemodelleerd en gebruikt om zowel optimistische als robuuste controlestrategieën te ontwerpen.