⚡ electrical engineering

Local Observability and Moving Horizon Estimation-based Training of Feedforward Neural Networks

Cet article propose une méthode d'entraînement basée sur l'estimation à horizon glissant pour les réseaux de neurones à propagation avant avec des activations ReLU, en les reformulant comme des systèmes dynamiques, en analysant leur observabilité locale pour en déduire des conditions suffisantes et des stratégies de conception d'entrée, et en établissant ainsi des garanties de convergence pour l'estimation des poids d'un point de vue théorique du contrôle.

Auteurs originaux : Yi Yang, Victor G. Lopez, Matthias A. Müller

Publié 2026-05-29

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yi Yang, Victor G. Lopez, Matthias A. Müller

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Vue d'Ensemble : Accorder une Radio avec une Carte

Imaginez que vous possédez une radio complexe (un Réseau de Neurones) qui doit être accordée pour capter parfaitement une station spécifique. Les « boutons » de cette radio sont ses poids (les nombres à l'intérieur du réseau qui déterminent comment il traite l'information).

Habituellement, les gens accordent ces radios par essais et erreurs, tournant légèrement un bouton, écoutant, puis tournant à nouveau. C'est comme la méthode standard de « Rétropropagation » mentionnée dans le papier. Cela fonctionne, mais personne ne peut prouver mathématiquement exactement quand ou pourquoi cela trouvera le réglage parfait, ou s'il pourrait rester coincé dans une impasse.

Ce papier propose une nouvelle façon d'accorder la radio. Au lieu de simplement deviner, il traite le processus d'accord comme un problème de navigation. Il demande : « Si je joue une chanson spécifique (entrée) et que j'entends le résultat (sortie), puis-je prouver mathématiquement exactement où se trouvent les boutons ? »

L'Idée Centrale : Transformer les Poids en Cible Mobile

Les auteurs prennent un raccourci astucieux. Ils font semblant que les poids du réseau de neurones ne sont pas de simples nombres statiques, mais sont en réalité la position d'une voiture sur une carte.

La Voiture : Les poids du réseau de neurones.
La Route : Le flux de données à travers le réseau.
L'Objectif : Déterminer exactement où la voiture est garée (les poids idéaux) simplement en écoutant le bruit du moteur (la sortie) tout en conduisant sur différents nids-de-poule (les entrées).

Ils utilisent une technique appelée Estimation à Horizon Glissant (Moving Horizon Estimation - MHE). Considérez la MHE comme un détective regardant un court extrait vidéo des mouvements récents de la voiture (une « fenêtre » de données) pour déduire où elle se trouve à l'instant présent.

Le Problème : Les Boutons « Fantômes »

Le papier identifie un gros obstacle. Dans de nombreux réseaux de neurones, différents réglages des boutons peuvent produire exactement le même son.

Analogie : Imaginez que vous avez trois boutons de volume. Si vous tournez le Bouton A vers le haut et le Bouton B vers le bas de la même quantité, le volume total pourrait rester identique. Si vous n'écoutez que le volume, vous ne pouvez pas dire quelle combinaison spécifique de boutons est utilisée. Le système est « non observable ». Vous ne pouvez pas distinguer le réglage réel de ses voisins.

Les auteurs ont découvert que pour les réseaux profonds et complexes (multi-couches), ce problème de « fantôme » est presque toujours vrai. Vous ne pouvez tout simplement pas prouver mathématiquement que vous avez trouvé le seul réglage parfait en regardant uniquement la sortie.

La Solution : La « Chambre Spéciale » et la « Chanson Magique »

Cependant, le papier montre que pour un type spécifique de réseau plus simple (un réseau à deux couches avec des réglages de sortie fixes), il existe une « Chambre Spéciale » (un voisinage localement observable) où les boutons sont distinguables.

Pour entrer dans cette chambre et y rester, vous avez besoin d'une Chanson Magique (une Entrée Persistamment Excitatrice).

La Chanson Magique : Ce n'est pas n'importe quel bruit aléatoire. C'est une séquence d'entrées très spécifique, soigneusement conçue.
L'Analogie : Si vous tapez simplement sur la radio au hasard, vous ne remarquerez peut-être pas la différence entre deux réglages similaires. Mais si vous jouez une progression d'accords spécifique et complexe (l'entrée PE), la radio réagira différemment pour chaque infime différence dans les boutons. Cela permet au « détective » (l'algorithme) de localiser exactement l'emplacement des boutons.

Les auteurs ont créé une recette pour écrire cette « Chanson Magique » afin que le système devienne mathématiquement soluble.

Comment l'Entraînement Fonctionne

Une fois qu'ils ont cette « Chanson Magique » et savent qu'ils sont dans la « Chambre Spéciale », ils exécutent leur entraînement MHE :

Regarder une petite fenêtre de données : Ils n'utilisent pas tout le jeu de données d'un coup (ce qui serait trop lourd). Ils regardent un petit lot (mini-lot).
Mettre à jour uniquement ce qu'ils peuvent voir : Si une partie spécifique des données n'aide pas à distinguer les boutons (la partie « non observable »), ils figent cette partie. Ils ne mettent à jour que les parties des poids que les données actuelles peuvent distinguer.
Répéter : Ils parcourent différents lots de données. Avec le temps, la « Chanson Magique » garantit que chaque partie de la radio a la chance d'être distinguée.

Les Résultats : Plus Rapide et Prouvé

Le papier a testé cela sur deux choses :

Données Fictives (Synthétiques) : Ils ont créé une radio « professeur » parfaite et ont essayé d'entraîner une radio « élève » à la copier. La nouvelle méthode a trouvé les réglages parfaits beaucoup plus vite que la méthode standard (atteignant la cible en 1 époque contre 3,3 secondes de temps, bien que le papier note que le calcul par étape est plus lourd, la convergence est plus rapide).
Données Réelles (Jeu de Données UCI Wine) : Ils ont essayé de prédire la qualité du vin. Même si le réseau qu'ils ont utilisé était du type « complexe » où les mathématiques ne garantissent pas strictement une solution, la nouvelle méthode a tout de même mieux performé (erreur plus faible) que les méthodes standard comme Adam ou d'autres techniques avancées.

Le Conclusion

Les auteurs n'ont pas simplement dit « essayez ce nouveau tour ». Ils ont construit une carte mathématique.

Ils ont prouvé que pour certains réseaux, si vous utilisez leur « Chanson Magique » spécifique (conception d'entrée), vous pouvez garantir mathématiquement que l'entraînement convergera vers la bonne réponse.
Ils ont montré que même si vous ne pouvez pas le garantir pour tous les réseaux, utiliser cette méthode fonctionne toujours très bien en pratique.

En bref, ils ont transformé l'art désordonné de l'entraînement de l'IA en une science rigoureuse de la navigation, prouvant qu'avec la bonne carte et la bonne chanson, vous pouvez toujours trouver votre chemin vers les réglages parfaits.

Résumé technique : Observabilité locale et entraînement de réseaux de neurones feedforward basé sur l'estimation à horizon glissant

Énoncé du problème
Les réseaux de neurones feedforward (FNN) sont largement utilisés comme approximateurs universels de fonctions, mais leur entraînement par rétropropagation standard et descente de gradient (GD) manque souvent de garanties théoriques rigoureuses concernant la convergence vers des poids optimaux. Bien que des méthodes basées sur l'estimation d'état, telles que le filtre de Kalman étendu et l'estimation à horizon glissant (MHE), aient été explorées pour traiter les poids du réseau comme des états de système, un écart théorique critique subsiste : l'hypothèse que ces poids sont observables. En général, les poids des FNN ne sont pas globalement observables en raison de la non-unicité (par exemple, les symétries dans les poids et les permutations de nœuds). De plus, pour les FNN multicouches généraux, la condition de rang d'observabilité échoue souvent à être satisfaite, laissant la convergence de l'entraînement basé sur MHE non prouvée. Cet article aborde le défi d'établir l'observabilité locale pour les FNN afin de fournir une fondation théorique pour l'entraînement basé sur MHE.

Méthodologie
Les auteurs reformulent le problème d'entraînement des FNN en traitant les poids du réseau comme les états statiques d'un système dynamique. La méthodologie centrale implique un processus en trois étapes :

Analyse d'observabilité locale : L'article examine l'observabilité locale des FNN avec des fonctions d'activation de type unité linéaire rectifiée (ReLU). En définissant l'application d'observabilité $k$ et en appliquant la condition de rang d'observabilité, les auteurs analysent si les poids peuvent être distingués de leurs voisins à l'aide de données entrée-sortie.
- FNN à deux couches : Pour une classe spécifique de FNN à deux couches avec des poids de sortie fixes, les auteurs dérivent une condition suffisante pour l'observabilité locale. Cette condition repose sur l'intersection de l'espace des lignes de la matrice des poids avec des orthants spécifiques dans l'espace d'état, assurant l'existence d'une séquence d'entrée persistamment excitante (PE) qui satisfait la condition de rang d'observabilité.
- FNN multicouches généraux : L'analyse démontre que les FNN multicouches généraux échouent généralement à satisfaire la condition de rang d'observabilité, impliquant que l'observabilité globale ou même locale ne peut être garantie pour des architectures profondes arbitraires.
Conception d'entrées persistamment excitantes (PE) : Sur la base de l'analyse d'observabilité, l'article développe une méthode systématique pour concevoir des séquences d'entrées PE. Pour un état localement observable, les auteurs construisent un « voisinage localement observable » où tous les états partagent la même structure jacobienne de l'application d'observabilité. Au sein de ce voisinage, une seule séquence d'entrée PE garantit que tous les états sont distinguables.
Algorithme d'entraînement basé sur MHE : Les auteurs proposent un schéma d'entraînement basé sur MHE où les poids sont mis à jour itérativement en utilisant une fenêtre de longueur fixe de données entrée-sortie (mini-lots).
- Gestion des contraintes : Pour gérer les cas où des mini-lots individuels peuvent ne pas être persistamment excitants, le problème d'optimisation inclut une contrainte qui fixe la projection de l'estimation d'état sur le sous-espace non observable. Seule la projection sur le sous-espace observable est mise à jour.
- Analyse de convergence : En utilisant la théorie de la projection alternée, l'article prouve que si les poids initiaux se situent dans un voisinage localement observable et que l'ensemble de données d'entraînement agrégé est persistamment excitant, l'erreur d'estimation d'état converge vers un voisinage de zéro. La taille de ce voisinage est bornée par l'erreur d'ajustement (bruit) dans les données.

Contributions clés

Reformulation et dérivation de conditions : L'article reformule les FNN comme des systèmes dynamiques et dérive une condition suffisante pour l'observabilité locale des FNN à deux couches avec des activations ReLU et des poids de sortie fixes. Cette condition est basée sur le rang d'une matrice indicatrice dérivée des vecteurs de signe des intersections de l'espace des lignes de la matrice des poids avec les orthants.
Conception d'entrées PE et construction de voisinage : Une approche systématique est développée pour concevoir des séquences d'entrées PE pour des états localement observables. Crucialement, les auteurs construisent un « voisinage localement observable », prouvant que si une séquence d'entrée rend un état spécifique observable, elle rend également tous les états de ce voisinage observables et distinguables.
Garanties de convergence : L'article établit des garanties théoriques de convergence pour la méthode d'entraînement basée sur MHE proposée. Il prouve que sous l'hypothèse d'observabilité locale et d'utilisation périodique de mini-lots, l'erreur d'estimation des poids converge vers une borne déterminée par le niveau de bruit des données.
Extension aux architectures générales : Bien que la preuve rigoureuse de convergence s'applique à des architectures spécifiques à deux couches, l'article reconnaît que les FNN multicouches généraux manquent souvent d'observabilité locale. Il propose une approche MHE modifiée (suppression des contraintes d'observabilité et ajout de régularisation) qui reste compétitive en pratique, bien que sans les mêmes garanties théoriques.

Résultats
L'efficacité de la méthode proposée est validée par des expériences numériques :

Données synthétiques : Dans une tâche de régression synthétique avec un FNN à deux couches, la méthode basée sur MHE a démontré une convergence plus rapide de l'erreur d'estimation d'état par rapport à une méthode GD standard par mini-lots. La méthode MHE a atteint un seuil d'erreur cible en une époque, tandis que GD a nécessité plus de temps, malgré un coût computationnel plus élevé par époque pour la méthode MHE.
Jeu de données UCI Wine : Sur un jeu de données de référence réel utilisant un FNN général à deux couches (où l'observabilité locale n'est pas théoriquement garantie), la méthode basée sur MHE a obtenu une erreur quadratique moyenne (RMSE) plus faible par rapport à l'optimisation Adam standard et à une méthode récente de descente de gradient naturel (NNG-MVG).

Signification et affirmations
L'article prétend fournir la première analyse théorique rigoureuse de l'entraînement de FNN basé sur MHE fondée sur les concepts de théorie du contrôle de l'observabilité locale. En identifiant des conditions spécifiques selon lesquelles les poids des FNN sont localement observables, les auteurs permettent l'application de MHE avec des garanties formelles de convergence. Le travail souligne que si l'observabilité globale est généralement inatteignable pour les FNN, l'observabilité locale est suffisante pour l'entraînement si les données d'entrée sont correctement conçues. Les auteurs notent modestement que leurs garanties de convergence sont conditionnelles au fait que les poids initiaux se trouvent dans un voisinage localement observable et que des travaux futurs sont nécessaires pour étendre ces garanties aux architectures multicouches générales où l'observabilité locale ne peut être assurée.