Deep Koopman Learning using Noisy Data

1. Problématique

L'article aborde le défi de l'apprentissage de la dynamique de systèmes non linéaires complexes à partir de données d'observation bruitées. Bien que la théorie de l'opérateur de Koopman permette de transformer un système non linéaire en un système linéaire dans un espace de dimension supérieure (espace relevé ou lifted space), la plupart des méthodes existantes (comme l'EDMD ou les méthodes de Koopman profond - DKO) supposent des mesures parfaites.

En pratique, les mesures de l'état du système ($y(t)$) sont corrompues par un bruit de mesure inconnu ($w(t)$). Ce bruit pose deux problèmes majeurs :

1. Biais d'estimation : Le bruit dans les états d'entrée entraîne des biais dans l'estimation des matrices du système linéaire relevé.
2. Distortion non linéaire : Les transformations non linéaires appliquées par les fonctions observables (généralement des réseaux de neurones profonds - DNN) pour « relever » l'espace d'état peuvent amplifier ou déformer les propriétés statistiques du bruit, créant des corrélations complexes entre l'état réel et les observables transformées.

L'objectif est de développer un cadre d'apprentissage de données capable de reconstruire la dynamique du système avec une précision suffisante pour le contrôle, même lorsque les données d'entraînement sont bruitées, sans nécessiter de connaître la distribution exacte du bruit, mais en supposant qu'il est borné.

2. Méthodologie

Les auteurs proposent un cadre appelé DKND (Deep Koopman Learning using Noisy Data). La méthode repose sur une reformulation du problème d'optimisation pour tenir compte du bruit.

A. Formulation du problème

Le système dynamique est modélisé comme suit :
$$x(t+1) = f(x(t), u(t))$$
$$y(t) = x(t) + w(t)$$
où $w(t)$ est un bruit de mesure borné ($\|w(t)\| \le w_{max}$). L'objectif est d'apprendre une représentation de Koopman profonde définie par des matrices $A, B, C$ et des paramètres de DNN $\theta$ tels que :
$$g(y_{t+1}, \theta) \approx A g(y_t, \theta) + B u_t$$
$$x_t \approx C g(y_t, \theta)$$

B. Approche d'optimisation

Au lieu de minimiser directement l'erreur de prédiction sur les états réels (inconnus), les auteurs minimisent une borne supérieure de l'erreur d'estimation. Ils décomposent la fonction de perte en deux composantes :

1. Erreur de reconstruction : Minimiser l'erreur entre les mesures bruitées et le modèle relevé (équivalent à l'approche DKO standard sur données bruitées).
2. Discrétisation du bruit : Minimiser la différence entre le modèle appris sur des données bruitées et un modèle théorique sur des données sans bruit.

La fonction de perte proposée ($\hat{L}_f$) intègre une pénalité théorique (Théorème 1) qui quantifie l'impact du bruit borné sur les matrices de Koopman. Cette pénalité dépend de la norme de Frobenius des matrices de données et de la constante de Lipschitz de la fonction d'observable $g$.

C. Algorithme (DKND)

L'algorithme suit une procédure itérative :

1. Initialisation : Construction d'un DNN $g(\cdot, \theta)$ et initialisation des paramètres.
2. Estimation des matrices : Pour un $\theta_k$ donné, les matrices $A, B, C$ sont calculées analytiquement via la pseudo-inverse de Moore-Penrose (méthode des moindres carrés) sur les données bruitées.
3. Mise à jour des paramètres : Les paramètres $\theta$ du DNN sont mis à jour par descente de gradient pour minimiser la fonction de perte totale $\hat{L}_f$, qui inclut la pénalité de robustesse au bruit.
4. Convergence : Le processus se répète jusqu'à convergence.

3. Contributions Clés

• Cadre robuste au bruit borné : La méthode ne nécessite pas que le bruit soit gaussien ou non corrélé ; elle exige uniquement que le bruit soit borné, ce qui est une hypothèse plus réaliste pour de nombreuses applications physiques.
• Correction théorique du bruit : Contrairement aux méthodes précédentes qui ignorent l'effet du bruit sur les fonctions d'observation non linéaires, cette approche caractérise explicitement la distorsion du bruit induite par le DNN et la compense en ajustant les paramètres $\theta$.
• Simplicité d'implémentation : La méthode modifie les formulations existantes de Koopman profond en ajoutant une pénalité calculable, rendant l'approche facile à intégrer dans des pipelines d'apprentissage existants.
• Preuve de convergence locale : L'article fournit des garanties théoriques (via le Théorème 1) montrant que la minimisation de la fonction de perte proposée conduit à une approximation raisonnable de la dynamique sous bruit borné.

4. Résultats Expérimentaux

Les auteurs ont évalué DKND sur quatre benchmarks :

1. Un système linéaire 2D discret.
2. Le pendule inversé (Cartpole) de l'environnement OpenAI Gym.
3. L'atterrisseur lunaire (Lunar Lander).
4. Un véhicule de surface autonome (données réelles).

Conditions de test :

• Trois types de bruit de mesure ont été simulés : Gaussien, Poisson et Uniforme.
• Comparaison avec trois méthodes de référence : DKO standard (DK), DMD avec moindres carrés totaux (DMDTLS), et un Perceptron Multicouche (MLP) standard.

Performances :

• Précision supérieure : DKND a obtenu les erreurs quadratiques moyennes (RMSD) les plus faibles sur les données de test pour tous les scénarios de bruit, en particulier pour les distributions uniformes et les niveaux de bruit élevés.
• Robustesse : Alors que les méthodes DMDTLS et MLP voyaient leurs performances se dégrader drastiquement avec l'augmentation du bruit (surtout pour le bruit uniforme), DKND a maintenu une stabilité remarquable.
• Comparaison avec DKO : DKND surpasse systématiquement le DKO standard, démontrant que la prise en compte explicite du bruit dans la fonction de perte est cruciale pour la précision.

5. Signification et Limites

Signification :
Ce travail comble une lacune importante dans l'apprentissage de la dynamique pour le contrôle. En permettant l'apprentissage robuste de modèles linéaires relevés à partir de données bruitées, il ouvre la voie à l'application de la théorie de Koopman (et des techniques de contrôle linéaire associées) sur des systèmes réels où les capteurs sont imparfaits. La méthode offre un compromis efficace entre la complexité computationnelle et la robustesse.

Limites :

• Hypothèse de borne : La méthode repose sur l'hypothèse que le bruit est borné. L'impact de la valeur exacte de cette borne sur la performance n'est pas formellement investigué.
• Optimisation non convexe : Comme toutes les méthodes basées sur des DNN, l'algorithme peut converger vers des minima locaux plutôt que globaux.
• Contrôle : L'article se concentre sur l'apprentissage de la dynamique. La conception de lois de commande optimales basées sur ces modèles bruités reste une question ouverte pour la recherche future.

En conclusion, DKND représente une avancée significative pour rendre les méthodes d'apprentissage de Koopman applicables dans des environnements industriels et robotiques réels, où le bruit de mesure est inévitable.