State-Space Neural Network with Ordered Variance for Model Order Determination

Technisches Resümee: Zustandsraum-Neuronales Netz mit geordneter Varianz zur Bestimmung der Modellordnung

Problemstellung
Die Arbeit befasst sich mit der Herausforderung, nichtlineare Zustandsraummodelle aus Eingangs-Ausgang-Trainingsdatensätzen zu identifizieren und gleichzeitig eine angemessene Modellordnung (Zustandsdimension) zu bestimmen. Während Zustandsraum-Neuronale Netze (State-Space Neural Networks, SSNNs) für das Lernen nichtlinearer Dynamiken an Popularität gewonnen haben, leiden sie unter Problemen, die auch bei Prädiktionsfehlermethoden (Prediction Error Methods, PEMs) auftreten, einschließlich der Konvergenz gegen lokale Minima und – entscheidend – der unbekannten Zustandsdimension. Die Auswahl der Modellordnung erfordert typischerweise Trial-and-Error, was rechenintensiv ist. Bestehende Methoden zur Bestimmung der Modellordnung in Autoencodern oder kernbasierten Modellen wurden bisher nicht effektiv auf SSNNs ausgeweitet.

Methodik: SSNNO-Framework
Die Autoren schlagen ein neuartiges Framework vor, das als State-Space Neural Network with Ordered Variance (SSNNO) bezeichnet wird. Die zentrale Innovation ist die Integration eines Varianz-Regularisierungsterms in die SSNN-Verlustfunktion, um eine Ordnung der Zustandsvarianzen zu erzwingen.

1. Architektur und Training:

   • Das SSNNO behält die Standard-SSNN-Struktur bei, indem es die Zustandsfunktionen ($x_{k+1} = f_{NN}(x_k, u_k)$) und die Ausgangsfunktionen ($y_k = g_{NN}(x_k)$) mittels neuronaler Netze lernt.
   • Die Verlustfunktion ($J$) kombiniert den quadratischen Prädiktionsfehler (Squared Prediction Error, SPE), einen Parameter-Regularisierungsterm für das Ausgangssubnetzwerk und einen neuartigen Varianz-Regularisierungsterm ($J_v$).
   • Dieser Varianzterm bestraft die Stichprobenvarianzen der prädizierten Zustände, gewichtet durch eine Diagonale Matrix $W = \text{diag}(w_1, \dots, w_d)$, wobei die Gewichte streng steigend sind ($0 \le w_1 < w_2 < \dots < w_d$).
   • Dieses Gewichtungsschema ermutigt den Optimierungsprozess dazu, die Varianzen der nachfolgenden Zustände (diejenigen mit höheren Gewichten) auf ein Niveau nahe Null zu minimieren, während die Varianzen der führenden Zustände erhalten bleiben.

2. Modellordnungsbestimmung und -reduktion:

   • Signifikante vs. Residuelle Zustände: Nach dem Training werden die Zustände nach ihrer Varianz geordnet ($V_{x_1} \ge V_{x_2} \ge \dots \ge V_{x_d}$). Ein Toleranzschwellenwert $\delta$ wird angewendet, um die Zustände als „signifikant“ ($V_{x_i} > \delta$) oder „residuell“ ($V_{x_i} \le \delta$) zu klassifizieren.
   • Reduziertes-Ordnungs-SSNNO (R-SSNNO): Die Modellordnung wird reduziert, indem nur die signifikanten Zustände beibehalten werden. Die residuellen Zustände werden durch ihre Mittelwerte approximiert und in die Parameter der ersten und letzten Schichten des Zustands-Subnetzwerks absorbiert. Dies liefert ein Modell reduzierter Ordnung, ohne dass ein erneutes Training erforderlich ist.

3. Praktische Implementierung:

   • Da lokale Optimierungsalgorithmen möglicherweise nicht zur globalen Lösung konvergieren, die für eine strikte Varianzordnung erforderlich ist, schlagen die Autoren einen praktischen iterativen Algorithmus (Algorithmus 1) vor. Diese Methode permutiert die Zustandsvariablen einer lokal optimierten Lösung, um die Bedingung der Varianzordnung zu erfüllen, und re-optimiert falls notwendig, bis eine varianzgeordnete Lösung erreicht ist.

Theoretische Beiträge
Das Paper liefert formale theoretische Garantien für das vorgeschlagene Framework:

• Existenz einer geordneten Varianz: Unter Verwendung der Umordnungsgleichung (rearrangement inequality) beweisen die Autoren, dass der globale Minimierer der vorgeschlagenen Verlustfunktion inhärent die Varianzordnungsbedingung ($V_{x_1} \ge \dots \ge V_{x_d}$) erfüllt.
• Fehlergrenze: Die Autoren etablieren eine obere Schranke für den Ausgangsprädiktionsfehler des SSNNO im Vergleich zu einem Standard-SSNN. Sie zeigen, dass die Verschlechterung der Prädiktionsgenauigkeit durch die Varianz-Regularisierung durch eine benutzerdefinierte Toleranz begrenzt werden kann, die durch die Hyperparameter $\alpha$ und $\beta$ gesteuert wird.

Simulationsergebnisse
Die Effektivität des SSNNO wurde an einem nichtlinearen CSTR-Prozess (Continuous Stirred-Tank Reactor) validiert, der eine starke Verstärkungsnichtlinearität aufweist.

• Identifikation der Modellordnung: In Simulationen mit einer wahren Systemordnung von 2 identifizierte das SSNNO (trainiert mit einer initialen Dimension von 3) erfolgreich den dritten Zustand als vernachlässigbare Varianz besitzend. Dies ermöglichte die Ableitung eines reduzierten (2. Ordnung) R-SSNNO-Modells.
• Performance: Die R-SSNNO-Modelle (reduziert auf 2. und 1. Ordnung) behielten eine Prädiktionsgenauigkeit bei, die mit der des vollen 3.-Ordnung-SSNNO und des Standard-SSNN vergleichbar ist, wie durch MSE-Metriken auf Trainings- und Testdaten belegt wurde.
• Robustheit: Monte-Carlo-Simulationen über variierende Rauschpegel hinweg bestätigten, dass die Varianzordnung konsistent erreicht wird, ohne den quadratischen Prädiktionsfehler (SPE) zu beeinträchtigen.
• Regelung Anwendung: Das identifizierte R-SSNNO-Modell wurde erfolgreich in ein auf einem Extended Kalman Filter (EKF) basierendes Model Predictive Control (MPC) Schema integriert. Der Regler verfolgte effektiv Referenztemperatur-Trajektorien und korrigierte dabei Plant-Model-Mismatch.

Bedeutung und Ansprüche
Das Paper behauptet, dass SSNNO die erste Arbeit ist, die eine Varianzordnung der Zustandsvariablen direkt innerhalb eines SSNN-Frameworks integriert, um das Problem der Modellordnungsbestimmung zu lösen. Seine primäre Bedeutung liegt in:

1. Simultane Identifikation: Es ermöglicht die gleichzeitige Identifikation des nichtlinearen Zustandsraummodells und der Bestimmung einer angemessenen Modellordnung allein aus Daten.
2. Systematische Reduktion: Es bietet ein systematisches, nicht-heuristisches Verfahren zur Ableitung von Modellen reduzierter Ordnung, die wesentliche Dynamiken beibehalten und gleichzeitig die Komplexität minimieren.
3. Theoretische Stringenz: Es bietet formale Beweise für die Existenz solcher geordneten Modelle und Schranken für den Prädiktionsfehler und adressiert damit den Mangel an theoretischen Garantien in vielen datengesteuerten Identifikationsmethoden.

Die Autoren kommen zu dem Schluss, dass die Methode zwar effektiv für die Identifikation und Regelung ist, zukünftige Arbeiten jedoch notwendig sind, um das Framework zu erweitern, um theoretische Garantien für Steuerbarkeit (controllability) und Stabilität zu liefern.