State-Space Neural Network with Ordered Variance for Model Order Determination

Résumé Technique : Réseau de Neurones à Espace d'États avec Variance Ordonnée pour la Détermination de l'Ordre du Modèle

Énoncé du Problème
L'article traite du défi de l'identification de modèles d'espace d'états non linéaires à partir de jeux de données d'entraînement d'entrée-sortie, tout en déterminant simultanément un ordre de modèle (dimension de l'état) adéquat. Bien que les réseaux de neurones à espace d'états (SSNN) gagnent en popularité pour l'apprentissage de la dynamique non linéaire, ils souffrent de problèmes communs aux méthodes d'erreur de prédiction (PEM), notamment la convergence vers des minima locaux et, plus crucialement, l'inconnue de la dimension de l'état. La sélection de l'ordre du modèle nécessite généralement des essais et erreurs, ce qui est coûteux en termes de calcul. Les méthodes existantes de détermination de l'ordre du modèle dans les auto-encodeurs ou les modèles basés sur les noyaux n'ont pas été étendues efficacement aux SSNN.

Méthodologie : Cadre SSNNO
Les auteurs proposent un nouveau cadre nommé State-Space Neural Network with Ordered Variance (SSNNO) (Réseau de Neurones à Espace d'États avec Variance Ordonnée). L'innovation centrale réside dans l'intégration d'un terme de régularisation de la variance dans la fonction de perte du SSNN afin d'imposer un ordonnancement des variances d'état.

1. Architecture et Entraînement :

   • Le SSNNO conserve la structure standard d'un SSNN, apprenant les fonctions d'état ($x_{k+1} = f_{NN}(x_k, u_k)$) et de sortie ($y_k = g_{NN}(x_k)$) via des réseaux de neurones.
   • La fonction de perte ($J$) combine l'erreur de prédiction quadratique (SPE), un terme de régularisation de paramètres pour le sous-réseau de sortie, et un nouveau terme de régularisation de la variance ($J_v$).
   • Ce terme de variance pénalise les variances d'échantillon des états prédits, pondérées par une matrice diagonale $W = \text{diag}(w_1, \dots, w_d)$ où les poids sont strictement croissants ($0 \le w_1 < w_2 < \dots < w_d$).
   • Ce schéma de pondération encourage le processus d'optimisation à minimiser les variances des états terminaux (ceux ayant des poids plus élevés) vers des niveaux proches de zéro, tout en préservant les variances des états initiaux.

2. Détermination et Réduction de l'Ordre du Modèle :

   • États Significatifs vs Résiduels : Après l'entraînement, les états sont ordonnés par variance ($V_{x_1} \ge V_{x_2} \ge \dots \ge V_{x_d}$). Un seuil de tolérance $\delta$ est appliqué pour classer les états comme "significatifs" ($V_{x_i} > \delta$) ou "résiduels" ($V_{x_i} \le \delta$).
   • SSNNO d'Ordre Réduit (R-SSNNO) : L'ordre du modèle est réduit en ne conservant que les états significatifs. Les états résiduels sont approximés par leurs valeurs moyennes et absorbés dans les paramètres du modèle des premières et dernières couches du sous-réseau d'état. Cela produit un modèle d'ordre réduit sans nécessiter de ré-entraînement.

3. Mise en Œuvre Pratique :

   • Reconnaissant que les algorithmes d'optimisation locale peuvent ne pas converger vers le minimum global requis pour un ordonnancement strict des variances, les auteurs proposent un algorithme itératif pratique (Algorithme 1). Cette méthode permute les variables d'état d'une solution optimisée localement pour satisfaire la condition d'ordonnancement de la variance, en ré-optimisant si nécessaire, jusqu'à l'obtention d'une solution à variance ordonnée.

Contributions Théoriques
L'article fournit des garanties théoriques formelles concernant le cadre proposé :

• Existence d'une Variance Ordonnée : En utilisant l'inégalité de réarrangement, les auteurs prouvent que le minimiseur global de la fonction de perte proposée satisfait intrinsèquement la condition d'ordonnancement de la variance ($V_{x_1} \ge \dots \ge V_{x_d}$).
• Borne d'Erreur : Les auteurs établissent une borne supérieure sur l'erreur de prédiction de sortie du SSNNO par rapport à un SSNN standard. Ils démontrent que la dégradation de la précision de prédiction due à la régularisation de la variance peut être bornée par une tolérance spécifiée par l'utilisateur, contrôlée par les hyperparamètres $\alpha$ et $\beta$.

Résultats de Simulation
L'efficacité du SSNNO a été validée sur un processus de réacteur à mélange continu (CSTR) non linéaire, qui présente une forte non-linéarité de gain.

• Identification de l'Ordre du Modèle : Dans des simulations avec un ordre réel du système de 2, le SSNNO (entraîné avec une dimension initiale de 3) a réussi à identifier le troisième état comme ayant une variance négligeable. Cela a permis de dériver un modèle R-SSNNO d'ordre réduit (ordre 2).
• Performance : Les modèles R-SSNNO (réduits à l'ordre 2 et 1) ont maintenu une précision de prédiction comparable au SSNNO d'ordre 3 complet et au SSNN standard, comme en témoignent les métriques d'erreur quadratique moyenne (MSE) sur les données d'entraînement et de test.
• Robustesse : Des simulations de Monte Carlo à travers différents niveaux de bruit ont confirmé que l'ordonnancement de la variance est systématiquement atteint sans compromettre l'erreur de prédiction quadratique (SPE).
• Application au Contrôle : Le modèle R-SSNNO identifié a été intégré avec succès dans un schéma de commande prédictive (MPC) basé sur un filtre de Kalman étendu (EKF). Le contrôleur a efficacement suivi les trajectoires de température de référence, corrigeant les écarts entre le modèle et l'usine.

Signification et Revendications
L'article affirme que le SSNNO est le premier travail à incorporer l'ordonnancement de la variance des variables d'état directement dans un cadre SSNN pour résoudre le problème de détermination de l'ordre du modèle. Sa principale importance réside dans :

1. Identification Simultanée : Il permet l'identification simultanée du modèle d'espace d'états non linéaire et la détermination d'un ordre de modèle adéquat à partir des seules données.
2. Réduction Systématique : Il fournit une procédure systématique, non heuristique, pour dériver des modèles d'ordre réduit qui conservent la dynamique essentielle tout en minimisant la complexité.
3. Rigueur Théorique : Il offre des preuves formelles pour l'existence de tels modèles ordonnés et des bornes sur l'erreur de prédiction, répondant au manque de garanties théoriques dans de nombreuses méthodes d'identification basées sur les données.

Les auteurs concluent que bien que la méthode soit efficace pour l'identification et le contrôle, des travaux futurs sont nécessaires pour étendre le cadre afin de fournir des garanties théoriques sur la contrôlabilité et la stabilité.