Digital Twins: McKean-Pontryagin Control for Partially Observed Physical Twins

1. Probleemstelling

Het artikel adresseert de uitdaging van optimale regeling voor deels waargenomen fysische systemen (fysische tweelingen) binnen het Digital Twin-paradigma.

• Het Scenario: Een fysisch systeem evolueert volgens een gecontroleerde stochastische differentiaalvergelijking (SDE). Echter, zijn ware toestand ($X^\dagger_t$) is onbekend en kan alleen worden afgeleid via ruisbeïnvloede, indirecte en discrete-tijd metingen ($Y^\dagger_{t_n}$).
• Het Doel: Regellagen ($U_t$) afleiden die een oneindig-horizon afgepaste kostenfunctie minimaliseren. Cruciaal is dat de regeling moet afhangen van de geloofstoestand (de conditionele waarschijnlijkheidsverdeling $\pi_t$ van de toestand gegeven de waarnemingen), in plaats van de ware toestand zelf.
• De Uitdaging:
  • Standaard methoden voor optimale regeling (zoals het principe van Bellman of het Maximumprincipe van Pontryagin) gaan uit van volledige waarneembaarheid.
  • Voor deels waargenomen systemen leidt het probleem theoretisch tot de Hamilton-Jacobi-Bellman (HJB)-vergelijking op de ruimte van waarschijnlijkheidsverdelingen of Forward-Backward Stochastische Partiële Differentiaalvergelijkingen (FB-SPDE's).
  • Deze vergelijkingen zijn computationeel onhandelbaar voor hoog-dimensionale systemen, en schaalbare algoritmen zijn momenteel niet beschikbaar.
  • Bestaande benaderingen vertrouwen vaak op het scheidingsprincipe (eerst de toestand schatten en vervolgens de optimale regeling voor het volledig waarneembare geval toepassen), wat suboptimaal is voor niet-lineaire systemen.

2. Methodologie

De auteurs stellen een nieuw kader voor dat Data Assimilation (specifiek de Ensemble Kalman Filter) combineert met een McKean–Pontryagin-benadering voor stochastische optimale regeling. Dit resulteert in een systeem van interagerende deeltjes dat zowel de toestand als de co-toestand (geadjungeerde variabele) vertegenwoordigt.

A. Kerncomponenten

1. Ensemble Kalman Filter (EnKF): Wordt gebruikt om de toestandverdeling van de digitale tweeling bij te werken op basis van binnenkomende metingen van de fysische tweeling. Het artikel maakt gebruik van de mean-field formulering van de EnKF (Ensemble Kalman–Bucy Filter voor continue tijd, EnKF voor discrete tijd) om de filterverdeling $\pi_t$ te benaderen.
2. McKean–Pontryagin Formulering: In plaats van de HJB-vergelijking op te lossen, gebruiken de auteurs een herformulering van het Minimumprincipe van Pontryagin voor oneindig-horizon problemen. Dit omvat:
   • Toestanden ($X_t$): Evolueren voorwaarts in de tijd.
   • Co-toestanden ($P_t$): Evolueren ook voorwaarts in de tijd (in tegenstelling tot de achterwaartse evolutie in klassieke stochastische regeling), gekoppeld aan de gradiënt van de waardenfunctie.
   • Mean-Field Interactie: De evolutie van individuele deeltjes hangt af van de empirische verdeling van het gehele ensemble.

B. Het Voorgestelde Algoritme

De methode construeert een Digital Twin als een systeem van $M$ interagerende deeltjes $(X^{(i)}_t, P^{(i)}_t)$:

1. Toestands Evolutie: De toestandsdeeltjes evolueren volgens de fysische dynamica, aangevuld met een regelterm en een correctieterm voor data-assimilatie (gedreven door het verschil tussen waargenomen en voorspelde metingen).
2. Co-toestands Evolutie: De co-toestandsdeeltjes evolueren volgens een voorwaartse vergelijking afgeleid van de Hamilton-dichtheid. Deze vergelijking bevat termen voor de afkortingfactor, de gradiënt van de lopende kosten, en interactietermen afgeleid van de Schrödinger-brugbenadering.
3. Regelwet: De regeling $U^*_t$ wordt berekend als een open-loop regeling gebaseerd op het ensemblegemiddelde van de co-toestanden:
   $$U^*_t = -\frac{1}{M} \sum_{i=1}^M G(X^{(i)}_t)^T P^{(i)}_t$$
   Deze regeling wordt gelijktijdig met de toestandschatting afgeleid, waardoor het strikte scheidingsprincipe wordt vermeden.
4. Benaderingen:
   • Nadaraya-Watson Kernel Regression: Wordt gebruikt om de functie $\psi_t(x)$ (die toestanden koppelt aan co-toestanden) te benaderen vanuit het deeltjesensemble.
   • Schrödinger Brug: Wordt gebruikt om de drifttermen te benaderen die voortvloeien uit de generator van het diffusieproces.
   • Covariantielocalisatie: Toegepast voor hoog-dimensionale systemen (waarbij $M \ll dx$) om singuliere covariantiematrices te voorkomen en de computatiekosten te verlagen.

3. Belangrijkste Bijdragen

• Gecombineerd Kader: Het artikel overbrugt de kloof tussen data-assimilatie (EnKF) en oneindig-horizon optimale regeling (McKean–Pontryagin) om deels waargenomen systemen te behandelen.
• Online Berekening: De voorgestelde methode maakt gelijktijdige online berekening van de filterverdeling en de regelwet mogelijk. Beide evolueren voorwaarts in de tijd, wat de aanpak geschikt maakt voor real-time Digital Twin-toepassingen.
• Deeltjesgebaseerde Implementatie: De afleiding leidt tot een hanteerbaar systeem van interagerende deeltjes dat numeriek kan worden geïmplementeerd zonder hoog-dimensionale partiële differentiaalvergelijkingen op te lossen.
• Theoretische Uitbreiding: Het breidt de McKean–Pontryagin-aanpak (voorheen voor volledig waargenomen systemen) uit naar de deels waargenomen setting door de driftterm in de co-toestandsvergelijking te modificeren om rekening te houden met de correctie voor data-assimilatie.

4. Numerieke Resultaten

De auteurs valideren de methodologie op drie verschillende systemen:

1. Geregeld Lorenz-63 Systeem:

   • Taak: Beperk de chaotische baan tot het positieve $x-domein$($x_t \geq 0$).
   • Resultaten: De methode stabiliseerde het systeem succesvol. Met een hogere regeldrempel ($|U| \leq 100$) werd het chaotische karakter geëlimineerd en vestigde het systeem zich in een quasi-periodieke baan. Met een lagere drempel ($|U| \leq 50$) traden enkele overgangen naar negatieve waarden op, maar het systeem bleef begrensd.
   • Robuustheid: De aanpak werkte effectief met een klein ensembleformaat ($M=4$), wat computationele robuustheid aantoont.

2. Omgekeerde Slagwip:

   • Taak: Stabiliseer de slagwip bij het instabiele rechtopstaande evenwicht ($\theta = \pi$) startend vanuit de stabiele neerwaartse positie ($\theta = 0$).
   • Resultaten: De digitale tweeling dreef het systeem succesvol van het stabiele evenwicht naar het instabiele en hield het daar, zelfs met slechts $M=3$ deeltjes. De schattingsfout voor hoek en snelheid bleef laag.

3. Geregeld Lorenz-96 Systeem (Hoog-dimensionaal):

   • Taak: Stabiliseer een 40-dimensionaal chaotisch systeem naar de nul-toestand ($x=0$).
   • Resultaten: De methode onderdrukte de chaotische dynamica effectief en dreef de energienorm naar nul. Dit toonde de schaalbaarheid van de aanpak naar hogere dimensies aan in combinatie met covariantielocalisatie en inflatietechnieken.

5. Betekenis en Conclusie

• Real-time Toepasbaarheid: Door het oplossen van achterwaartse SPDE's of hoog-dimensionale HJB-vergelijkingen te vermijden, biedt deze methode een computationeel haalbaar pad voor real-time regeling van complexe, deels waargenomen fysische systemen.
• Voorbij het Scheidingsprincipe: In tegenstelling tot traditionele benaderingen die schatting en regeling scheiden (wat suboptimaal is voor niet-lineaire systemen), integreert deze methode ze, waardoor de regelwet zich dynamisch kan aanpassen aan de evoluerende onzekerheid (geloofstoestand).
• Digital Twin Paradigma: Het werk biedt een concreet wiskundig en computationeel blauwdruk voor "actieve" digitale tweelingen die niet alleen een fysisch systeem nabootsen, maar actief zijn gedrag in real-time optimaliseren op basis van ruisbeïnvloede sensordata.
• Toekomstig Werk: De auteurs merken op dat hoewel de numerieke resultaten veelbelovend zijn, een rigoureuze wiskundige verkenning van de convergentie en foutgrenzen van deze benadering een open probleem blijft. Uitbreidingen naar nog hogere dimensionale systemen vereisen verdere verfijning van localisatiestrategieën.

Kortom, Opper en Reich presenteren een krachtige, deeltjesgebaseerde regelingstrategie die data-assimilatie en optimale regeling verenigt, en een praktische oplossing biedt voor de regeling van deels waargenomen stochastische systemen in het tijdperk van digitale tweelingen.