Data-Driven Covariance Steering with Output Feedback

Titel: Data-gedreven Covariance Steering met Output Feedback

1. Probleemstelling

Het artikel adresseert het probleem van covariance steering (het sturen van de statistische verdeling van een systeemtoestand) voor stochastische, discrete-tijd, lineaire, tijd-invariante (LTI) systemen. De specifieke uitdagingen zijn:

• Output Feedback: Het systeemmodel is niet bekend, en er zijn geen volledige toestandsmetingen beschikbaar. In plaats daarvan worden alleen outputmetingen ($y_k$) en ingangen ($u_k$) gebruikt.
• Modelvrij: De matrices $A, B, C$ van het systeem zijn onbekend.
• Stochastische Omgeving: Het systeem is blootgesteld aan procesruis ($w_k$) en meetruis ($q_k$), die beide onafhankelijk en identiek verdeeld (i.i.d.) zijn.
• Doel: Het sturen van de outputverdeling van een initiële verdeling $\mathcal{N}(\mu_i, \Sigma_i)$ naar een finale verdeling $\mathcal{N}(\mu_f, \Sigma_f)$ binnen een bepaald tijdsvenster $N$, terwijl een kostenfunctie wordt geminimaliseerd.

Bestaande methoden voor data-gedreven covariance steering veronderstellen vaak volledige toestandsmetingen zonder ruis. Dit artikel vult de lacune door een oplossing te bieden voor het geval alleen ruisonderbroken outputmetingen beschikbaar zijn.

2. Methodologie

De auteurs hanteren een hybride aanpak die een niet-minimale toestandsrepresentatie combineert met zowel indirecte (model-gebaseerde) als directe (data-gebaseerde) methoden.

A. Niet-minimale Toestandsrepresentatie
Omdat de ware toestand $x_k$ niet bekend is, wordt een niet-minimale toestandsvector $z_k$ gedefinieerd die bestaat uit een stapeling van eerdere inputs en outputs:
$$z_k = \text{col}(u_{k-1}, \dots, u_{k-\ell}, y_{k-1}, \dots, y_{k-\ell})$$
waarbij $\ell$ de observabiliteitsindex is.

• Gevolg: In deze representatie wordt de effectieve ruis ($\tilde{\zeta}_k$) tijdsgecorreleerd (niet langer wit), zelfs als de oorspronkelijke ruis wit was.
• Reductie: Om de lineariteit en de rang van de data-matrices te behouden, wordt een projectie-matrix $L$ gebruikt om $z_k$ te reduceren tot een minimale representatie $\chi_k = L z_k$. De dynamica worden dan:
  $$\chi_{k+1} = A\chi_k + B u_k + \xi_k$$
  $$y_k = C\chi_k + \zeta_k$$
  Hierbij is $\zeta_k$ tijdsgecorreleerd.

B. Schatting van het Model en de Ruis (Data-Driven Identificatie)
Om de onbekende matrices $A, B, C$ en de ruisrealisaties te schatten, worden twee methoden vergeleken en toegepast:

1. Total Least Squares (TLS): Geschikt wanneer ruis zowel in de regressor-matrix als in de observaties aanwezig is. Echter, TLS is niet consistent als de regressoren ($\chi_k$) gecorreleerd zijn met de ruis ($\zeta_k$), wat hier het geval is.
2. Instrumentele Variabelen (IV) Methode: Om consistentie te garanderen ondanks de correlatie tussen regressor en ruis, wordt de Two-Stage Least Squares (2SLS) estimator gebruikt.
   • Instrumenten: Eerdere inputs ($u_{k-p}, \dots, u_k$) worden gebruikt als instrumenten omdat deze onafhankelijk zijn van de huidige ruis.
   • Dit stelt de auteurs in staat om consistente schattingen te maken van de dynamica en de ruisrealisaties.

C. Formulering van het Stuurprobleem
Het probleem wordt opgesplitst in twee delen:

1. Gemiddelde Sturing (Indirecte Aanpak):

   • Gebaseerd op het geschatte model ($\hat{A}, \hat{B}, \hat{C}$).
   • Het doel is het sturen van het gemiddelde $\mu_k$ naar de doelwaarde.
   • Dit wordt opgelost als een lineair kwadratisch regelprobleem (LQR) met de geschatte parameters.

2. Covariance Sturing (Directe Aanpak):

   • Hier wordt geen expliciet model gebruikt voor de feedback, maar wordt de feedbackwinst direct geparametriseerd via de data.
   • Kernuitdaging: Vanwege de tijdsgecorreleerde ruis is er een kruiscovariantie ($\Sigma_{\chi\zeta}$) tussen de toestand en de ruis. Deze moet expliciet worden meegevoerd in de propagatievergelijkingen.
   • De auteurs modelleren de ruis als een autoregressief proces ($\zeta_{k+1} = \Psi \zeta_k + \eta_k$) om de correlatie te hanteren.
   • De propagatievergelijkingen voor de covariantie $\Sigma_k$ en de kruiscovariantie $\Sigma_{\chi\zeta}$ worden afgeleid en omgezet naar een data-gedreven vorm.

D. Convexe Relaxatie
Het oorspronkelijke optimalisatieprobleem is niet-convex door termen zoals $G_k \Sigma_k G_k^T$.

• De auteurs introduceren nieuwe beslisvariabelen $U_k = G_k \Sigma_k$ en $W_k = G_k \Sigma_{\chi\zeta}$.
• Door een slack variabele $Y_k$ in te voeren en een semidefiniete relaxatie toe te passen, wordt het probleem omgezet in een Semidefinite Program (SDP).
• Dit SDP kan efficiënt worden opgelost. De methode erkent echter dat door de schattingsfouten en de relaxatie, de finale randvoorwaarden niet gegarandeerd exact worden gehaald (een trade-off tussen convexiteit en losslessheid).

3. Belangrijkste Bijdragen

1. Uitbreiding naar Output Feedback: Het is de eerste werk dat data-gedreven covariance steering toepast op systemen met output feedback en onbekende modellen, zonder volledige toestandsmetingen.
2. Hantering van Tijdsgecorreleerde Ruis: De paper lost het probleem op dat ontstaat door het gebruik van een niet-minimale representatie, waarbij de ruis tijdsgecorreleerd wordt. Dit vereist een expliciete propagatie van de kruiscovariantie tussen toestand en ruis.
3. Consistente Identificatie: Het toepassen van de Instrumentele Variabelen (IV) methode om consistente schattingen te verkrijgen in aanwezigheid van correlatie tussen regressoren en ruis, wat essentieel is voor de stabiliteit van de controller.
4. Directe Formulering: Een directe data-gedreven formulering voor de covariance controller die het model vermijdt en de feedbackwinsten direct uit de data afleidt.

4. Resultaten en Numerieke Simulaties

De auteurs hebben hun methode gevalideerd via numerieke simulaties:

• Model Schatting: Vergelijking tussen LS, TLS en IV. De resultaten tonen aan dat IV bij kleine steekproefgroottes slechter presteert (hoge variantie), maar bij grotere datasets (vanaf ~1000 samples) superieur is aan de andere methoden in termen van nauwkeurigheid en consistentie.
• Sturingssimulatie:
  • Een MIMO-systeem met 3 toestandsvariabelen en 2 outputs werd gebruikt.
  • Doel: Het sturen van een Lissajous-traject voor het gemiddelde en het verkleinen van de covariantie-ellips naar een specifieke finale grootte.
  • Conclusie: Zowel de nauwkeurigheid van het gemiddelde als de covariantie-sturing verbetert significant naarmate de dataset groter wordt. De empirische eindverdelingen komen overeen met de doelverdelingen, wat de effectiviteit van het framework bevestigt.

5. Betekenis en Toekomstperspectief

Dit werk is significant omdat het de brug slaat tussen theoretische covariance steering (die vaak volledige toestandsinformatie vereist) en praktische, data-gedreven toepassingen waar alleen ruisonderbroken outputs beschikbaar zijn. Het biedt een wiskundig onderbouwde route om autonome systemen te besturen onder onzekerheid zonder een fysiek model te hoeven identificeren.

Beperkingen en Toekomstig Werk:

• De huidige methode is gevoelig voor schattingsfouten; de relaxatie garandeert niet altijd dat de finale covariantie-voorwaarden exact worden gehaald.
• Toekomstig werk richt zich op het ontwikkelen van robuste formuleringen die rekening houden met deze schattingsonzekerheid, vergelijkbaar met eerdere werken voor state-feedback, maar dan aangepast voor output-feedback.

Samenvattend biedt dit artikel een robuust framework voor het sturen van de statistische verdeling van complexe systemen uitsluitend op basis van data, zelfs wanneer de systemen onvolledig waargenomen worden en onderhevig zijn aan gecorreleerde ruis.