State-Space Neural Network with Ordered Variance for Model Order Determination

Technische Samenvatting: State-Space Neuraal Netwerk met Geordende Variantie voor Bepaling van de Modelorde

Probleemstelling
Het artikel behandelt de uitdaging van het identificeren van nietlineaire toestandsruimtemodellen (state-space models) vanuit input-output trainingsdatasets, terwijl tegelijkertijd een adequate modelorde (toestandsdimensie) wordt bepaald. Hoewel State-Space Neurale Netwerken (SSNN's) populair zijn geworden voor het leren van nietlineaire dynamica, lijden ze aan problemen die gebruikelijk zijn bij Prediction Error Methods (PEM's), waaronder convergentie naar lokale minima en, cruciaal, de onbekende toestandsdimensie. Het selecteren van de modelorde vereist doorgaans trial-and-error, wat computationeel duur is. Bestaande methoden voor de bepaling van de modelorde in autoencoders of kernel-gebaseerde modellen zijn niet effectief uitgebreid naar SSNN's.

Methodologie: SSNNO-framework
De auteurs stellen een nieuw framework voor genaamd State-Space Neural Network with Ordered Variance (SSNNO). De kerninnovatie is de integratie van een variantie-regularisatieterm in de SSNN-verliesfunctie om een ordening van de staatsvarianties af te dwingen.

1. Architectuur en Training:

   • De SSNNO behoudt de standaard SSNN-structuur, waarbij de functies voor de toestand ($x_{k+1} = f_{NN}(x_k, u_k)$) en de output ($y_k = g_{NN}(x_k)$) worden geleerd via neurale netwerken.
   • De verliesfunctie ($J$) combineert de Squared Prediction Error (SPE), een parameter-regularisatieterm voor het output-subnetwerk, en een nieuwe variante-regularisatieterm ($J_v$).
   • Deze wegingsterm straft de steekproefvarianties van de voorspelde toestanden af, gewogen door een diagonale matrix $W = \text{diag}(w_1, \dots, w_d)$ waarbij de gewichten strikt toenemend zijn ($0 \le w_1 < w_2 < \dots < w_d$).
   • Dit wegingschema moedigt het optimalisatieproces aan om de varianties van de achterliggende toestanden (die hogere gewichten hebben) naar bijna nul te minimaliseren, terwijl de varianties van de leidende toestanden behouden blijven.

2. Modelorde Bepaling en Reductie:

   • Significante versus Residuele Toestanden: Na de training worden de toestanden geordend op basis van variantie ($V_{x_1} \ge V_{x_2} \ge \dots \ge V_{x_d}$). Een tolerantiedrempel $\delta$ wordt toegepast om toestanden te classificeren als "significant" ($V_{x_i} > \delta$) of "residueel" ($V_{x_i} \le \delta$).
   • Gereduceerd-orde SSNNO (R-SSNNO): De modelorde wordt gereduceerd door alleen de significante toestanden te behouden. De residuele toestanden worden benaderd door hun gemiddelde waarden en worden geabsorbeerd in de parameters van de eerste en laatste lagen van het toestandssubnetwerk. Dit levert een model met een lagere orde op zonder dat hertraining nodig is.

3. Praktische Implementatie:

   • In het besef dat lokale optimalisatiealgoritmen mogelijk niet convergeren naar het globale minimum dat vereist is voor een strikte variantie-ordening, stellen de auteurs een praktisch iteratief algoritme voor (Algoritme 1). Deze methaling permuteert de toestandsvariabelen van een lokaal geoptimaliseerde oplossing om aan de variantie-ordeningvoorwaarde te voldoen, waarbij indien nodig opnieuw wordt geoptimaliseerd, totdat een geordende oplossing wordt bereikt.

Theoretische Bijdragen
Het artikel biedt formele theoretische garanties met betrekking tot het voorgestelde framework:

• Bestaan van Geordende Variantie: Met behulp van de herrangschikkingsongelijkheid (rearrangement inequality) bewijzen de auteurs dat de globale minimizer van de voorgestelde verliesfunctie inherent voldoet aan de variantie-ordeningvoorwaarde ($V_{x_1} \ge \dots \ge V_{x_d}$).
• Foutberekening (Error Bound): De auteurs stellen een bovengrens vast voor de output-voorspellingsfout van de SSNNO ten opzichte van een standaard SSNN. Ze demonstreren dat de degradatie in voorspellingsnauwkeurigheid door variante-regularisatie begrensd kan worden door een door de gebruiker gespecificeerde tolerantie, gecontroleerd door de hyperparameters $\alpha$ en $\beta$.

Simulatie-resultaten
De effectiviteit van de SSNNO werd gevalideerd op een nietlineair Continuous Stirred-Tank Reactor (CSTR) proces, dat een ernstige gain-nonlineariteit vertoont.

• Identificatie van de Modelorde: In simulaties met een werkelijke systeemorde van 2, identificeerde de SSNNO (getraind met een initiële dimensie van 3) succesvol de derde toestand als zijnde met een verwaarloosbare variantie. Dit maakte de afleiding van een gereduceerd-orde (2e orde) R-SSNNO model mogelijk.
• Prestaties: De R-SSNNO modellen (gereduceerd tot 2e en 1e orde) behielden een voorspellingsnauwkeurigheid die vergelijkbaar is met de volledige 3e-orde SSNNO en de standaard SSNN, zoals aangetoond door de Mean Squared Error (MSE) metrieken op trainings- en testdata.
• Robuustheid: Monte Carlo-simulaties over variërende ruisniveaus bevestigden dat de variantie-ordening consistent wordt bereikt zonder de Squared Prediction Error (SPE) in gevaar te brengen.
• Regelingstoepassing: Het geïdentificeerde R-SSNNO model werd succesvol geïntegreerd in een Extended Kalman Filter (EKF)-gebaseerd Model Predictive Control (MPC) schema. De regelaar volgde effectief de referentietemperatuurtrajecten en corrigeerde voor plant-model mismatch.

Betekenis en Claims
Het artikel claimt dat SSNNO het eerste werk is dat variante-ordening van toestandsvariabelen direct binnen een SSNN-framework incorporeert om het probleem van de bepaling van de modelorde op te lossen. De primaire betekenis ligt in:

1. Gelijktijdige Identificatie: Het maakt de gelijktijdige identificatie van het nietlineaire state-space model en de bepaling van een adequate modelorde uit data mogelijk.
2. Systematische Reductie: Het biedt een systematische, niet-heuristische procedure om modellen met een lagere orde af te leiden die essentiële dynamica behouden terwijl de complexiteit wordt geminimaliseerd.
3. Theoretische Rigor: Het biedt formele bewijzen voor het bestaan van dergelijke geordende modellen en grenzen aan de voorspellingsfout, waarmee wordt ingegaan op het gebrek aan theoretische garanties in veel data-gedreven identificatiemethoden.

De auteurs concluderen dat hoewel de methode effectief is voor identificatie en regeling, toekomstig werk nodig is om het framework uit te breiden met theoretische garanties voor controleerbaarheid en stabiliteit.