📊 statistics

Identification of Gaussian Process State-Space Models with Particle Stochastic Approximation EM

Cet article présente une méthode d'identification par maximum de vraisemblance pour les modèles d'espace d'états à processus gaussiens qui combine un algorithme EM d'approximation stochastique avec des techniques de Monte Carlo par chaînes de Markov à particules afin d'estimer efficacement les paramètres tout en préservant la description non paramétrique complète de la dynamique du système.

Auteurs originaux : Roger Frigola, Fredrik Lindsten, Thomas B. Schön, Carl E. Rasmussen

Publié 2026-06-04

📖 6 min de lecture🧠 Analyse approfondie

CC BY 3.0

Auteurs originaux : Roger Frigola, Fredrik Lindsten, Thomas B. Schön, Carl E. Rasmussen

Article original sous licence CC BY 3.0 (http://creativecommons.org/licenses/by/3.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot comment marcher, mais que vous n'avez pas de manuel et que vous ne connaissez pas les lois de la physique qui régissent ses jambes. Vous n'avez qu'une vidéo du robot qui trébuche. Votre objectif est de construire un modèle mathématique capable de prédire où il posera le pied ensuite, mais avec une touche très spéciale : le modèle doit également vous dire à quel point il est incertain de sa prédiction.

Cet article présente une nouvelle façon de construire ce modèle en utilisant ce qu'on appelle des Modèles d'Espace d'États à Processus Gaussiens (GP-SSM). Voici une décomposition simple de ce que les auteurs ont fait et pourquoi cela importe.

Le Problème : La « Boîte Noire » du mouvement

Habituellement, lorsque des scientifiques modélisent un système en mouvement (comme un robot ou une voiture), ils essaient de deviner la formule exacte qui décrit son mouvement. Ils pourraient dire : « Il se déplace comme un ressort », ou « Il se déplace comme un pendule ».

Le Risque : Si vous devinez la mauvaise formule, votre modèle échoue.
L'Alternative : Vous pourriez utiliser un outil « générique », comme un réseau de neurones, pour apprendre la forme du mouvement. Mais ces outils sont comme des moules rigides ; vous devez décider exactement combien de couches et de curseurs ils possèdent avant de commencer. Si vous vous trompez sur la taille, le modèle sera soit trop simple pour apprendre, soit trop complexe et commencera à « halluciner » (surapprentissage/overfitting).

La Solution : L'Argile « Métamorphe »

Les auteurs proposent d'utiliser des Processus Gaussiens (GP). Considérez un GP non pas comme une formule fixe, mais comme un bloc d'argile métamorphe infinie.

Au lieu de forcer les données dans un moule préfabriqué, vous laissez l'argile prendre naturellement la forme des données.
La Magie : Cette argile possède une propriété spéciale : elle sait si le mouvement doit être « lisse » ou « saccadé » en fonction de quelques paramètres simples (appelés hyperparamètres).
Le Résultat : Vous obtenez un modèle suffisamment flexible pour capturer des mouvements complexes et étranges, mais qui n'a pas besoin que vous deviniez la structure mathématique exacte au préalable.

Le Défi : Trouver les réglages

Bien que l'argile soit excellente, vous devez toujours ajuster les réglages (les hyperparamètres) pour que le modèle s'adapte parfaitement à vos données.

La Difficulté : Les mathématiques pour trouver les réglages parfaits sont incroyablement complexes car l'argile possède des possibilités infinies. C'est comme essayer de trouver la température parfaite pour un gâteau quand le four possède des réglages de température infinis et que vous ne pouvez pas ouvrir la porte pour vérifier.
L'Astuce des Auteurs : Les auteurs utilisent une méthode appelée Estimation d'Esperance Stochastique par Particules (PSAEM).
- Imaginez que vous essayez de trouver le meilleur chemin à travers une forêt embrumée. Vous ne voyez pas tout le chemin.
- Au lieu d'essayer de cartographier toute la forêt d'un coup, vous envoyez une équipe d'explorateurs (appelés particules).
- Ces explorateurs errent, testent différents chemins.
- L'algorithme écoute les explorateurs, apprend de leurs erreurs et ajuste lentement les réglages de la carte jusqu'à ce que le chemin devienne clair.
- Crucialement, cette méthode est très efficace. Elle n'a pas besoin de vérifier toutes les possibilités ; elle a juste besoin d'assez d'explorateurs pour obtenir une bonne estimation.

Ce qu'ils ont testé

Les auteurs ont testé cette méthode sur deux types de systèmes :

Un Système Linéaire Simple (La Ligne Droite) :
- Ils ont injecté dans le modèle des données provenant d'un système qui se déplaçait selon une ligne parfaitement droite et prévisible.
- Le Résultat : Même si le modèle était conçu pour gérer des courbes complexes, il a réussi à comprendre que le mouvement était en réalité une ligne droite. Il a trouvé les bons réglages et a prédit les étapes futures avec précision.
- Le Test de Confiance : Lorsqu'il prédisait un point éloigné des données qu'il avait vues, il dessinait une barre d'erreur large (une grande zone de « je ne suis pas sûr »). Lorsqu'il prédisait un point proche des données, la barre d'erreur était étroite (un « je sais ceci » confiant). C'est exactement ce que l'on attend d'un modèle intelligent.
Un Système Non Linéaire Complexe (La Courbe Oscillante) :
- Ils ont injecté des données d'un système qui se déplaçait de manière très complexe, avec des oscillations et des virages brusques.
- Le Résultat : Le modèle a réussi à apprendre la forme complexe du mouvement sans qu'on lui indique quelle était cette forme.
- Le Test de Confiance : Dans les zones où les données étaient rares ou le mouvement chaotique, le modèle montrait correctement une incertitude élevée (barres d'erreur larges). Dans les zones où il avait déjà observé un mouvement similaire, il était confiant.

La Grande Conclusion

La principale réussite de cet article est une méthode qui permet aux ordinateurs d'apprendre comment les systèmes se déplacent sans avoir besoin qu'un humain écrive d'abord les équations de la physique.

C'est Flexible : Il peut apprendre aussi bien des lignes droites simples que des courbes sinueuses et folles.
C'est Honnête : Il ne se contente pas de vous donner une réponse ; il vous dit à quel point il est confiant dans cette réponse.
C'est Sûr : En faisant la moyenne de toutes les formes possibles que le mouvement pourrait prendre, il évite le piège du « surapprentissage » (mémoriser le bruit au lieu d'apprendre le motif).

En résumé, les auteurs ont construit un outil qui permet à un ordinateur de « tâtonner » à travers la physique d'un système, apprenant les règles au fur et à mesure, tout en tenant un compte précis de son degré de certitude concernant ces règles. C'est particulièrement utile pour la robotique et les systèmes de contrôle où savoir ce que l'on ne sait pas est tout aussi important que de connaître la réponse.

Résumé Technique : Identification de modèles d'espace d'états à processus gaussiens par l'algorithme d'approximation stochastique EM à particules

Énoncé du problème
L'article traite du défi de l'identification de systèmes dynamiques non linéaires dont la dynamique de transition d'état sous-jacente est inconnue et complexe. L'identification de systèmes traditionnelle repose souvent sur des modèles paramétriques (par exemple, des équations spécifiques du mouvement ou des réseaux de neurones à structure fixe). Cependant, la sélection d'une structure paramétrique appropriée est difficile sans connaissances préalables détaillées, et fixer le nombre de paramètres limite intrinsèquement la complexité des fonctions qui peuvent être ajustées, ce qui peut conduire à un sous-apprentissage ou à un surapprentissage.

Les auteurs proposent d'utiliser des modèles d'espace d'états à processus gausiens (GP-SSM) pour surmonter ces limitations. Un GP-SSM traite la fonction de transition d'état comme une variable aléatoire tirée d'un processus gaussien (GP) a priori, fournissant une représentation bayésienne non paramétrique. Cela permet de capturer une large gamme de dynamiques non linéaires tout en quantifiant l'incertitude. Le problème spécifique abordé est l'identification par maximum de vraisemblance (ML) des hyperparamètres régissant ces processus gausiens et les caractéristiques du bruit, tout en conservant la description non paramétrique complète de la dynamique.

Méthodologie
La difficulté principale de l'estimation par ML pour les GP-SSM réside dans le fait que la fonction de vraisemblance nécessite de marginaliser (intégrer) les trajectoires d'états latents ( $x_{0:T}$ ) et les fonctions de transition inconnues ( $f_{1:T}$ ). Bien que les fonctions inconnues puissent être marginalisées analytiquement pour produire une distribution a priori sur les trajectoires d'états, l'intégrale résultante sur l'espace des états est analytiquement insoluble.

Pour résoudre cela, les auteurs emploient l'algorithme PSAEM (Particle Stochastic Approximation EM). Cette approche combine deux composantes clés :

L'algorithme SAEM (Stochastic Approximation EM) : Au lieu de calculer l'espérance exacte de la log-vraisemblance des données complètes (qui est insoluble), le SAEM maintient une approximation stochastique de la fonction $Q$ auxiliaire. Celle-ci est mise à jour de manière itérative à l'aide d'échantillons provenant de la distribution de lissage.
Le MCMC à particules (Particle Markov Chain Monte Carlo - PMCMC) : Puisqu'il est impossible d'échantillonner directement la distribution de lissage $p(x_{0:T} | y_{0:T}, \theta)$ , les auteurs utilisent le Gibbs à particules avec échantillonnage d'ancêtres (PGAS). Le PGAS construit un noyau de Markov qui laisse invariante la distribution de lissage, permettant ainsi la génération de trajectoires d'états échantillonnées $x_{0:T}^{[k]}$ pour mettre à jour l'approximation de la fonction $Q$ .

L'algorithme procède de manière itérative :

Étape E (Simulation) : Une nouvelle trajectoire d'état est échantillonnée via PGAS étant donné les estimations de paramètres actuelles.
Mise à jour : L'approximation stochastique de la fonction $Q$ est mise à jour en utilisant la log-vraisemblance de la nouvelle trajectoire.
Étape M (Optimisation) : Les paramètres $\theta$ (hyperparamètres de la moyenne/covariance du GP et des variances du bruit) sont mis à jour en maximisant la fonction $Q$ approximée à l'aide d'une méthode quasi-Newton (BFGS).

Principales contributions

Cadre algorithmique : L'article présente une méthode d'identification par maximum de vraisemblance des GP-SSM qui évite le besoin de jeux de données de pseudo-données ou de labels faibles pour les états non observés, qui étaient des limitations dans les approches précédentes.
Intégration de PGAS et SAEM : Il démontre l'application du Gibbs à particules avec échantillonnage d'ancêtres au sein d'un cadre d'approximation stochastique EM pour gérer l'intégration insoluble requise pour l'identification des GP-SSM.
Richesse non paramétrique : La méthode conserve la nature non paramétrique complète du modèle de système. En marginalisant analytiquement la partie non paramétrique du modèle, l'approche effectue efficacement une moyenne sur toutes les dynamiques possibles cohérentes avec le processus gaussien a priori, agissant comme un garde-fou contre le surapprentissage (similaire à l'approche empirique de Bayes).

Résultats expérimentaux
Les auteurs valident la méthode sur deux types de systèmes :

Système linéaire : Un système dynamique linéaire a été identifié en utilisant des fonctions de covariance linéaire et exponentielle carrée.
- En utilisant une fonction de covariance linéaire, le modèle a convergé avec succès vers des paramètres équivalents à un modèle d'espace d'états linéaire avec des priors gausiens.
- En utilisant une covariance exponentielle carrée (non linéaire) sur des données linéaires, le modèle a correctement identifié le système mais a présenté une incertitude élevée (barres d'erreur larges) dans les régions où les données étaient rares ou le modèle moins confiant, démontant la capacité du modèle à quantifier l'incertitude même lorsque le système réel est plus simple que la classe de modèle.
Système non linéaire : Un système non linéaire complexe avec un gradient abrupt dans la fonction de transition d'état et une fonction de mesure quadratique (induisant une bimodalité) a été identifié.
- L'utilisation d'une fonction de covariance de Matérn (qui permet moins de lissé que l'exponentielle carrée) dans la direction de l'état a permis au modèle de capturer avec succès les transitions abruptes et la dynamique sous-jacente.
- Le modèle identifié a fourni des prédictions probabilistes avec des barres d'erreur qui reflétaient l'incertitude, particulièrement dans les régions éloignées des données d'entraînement.

Signification et affirmations
L'article affirme que les GP-SSM offrent un cadre flexible pour l'identification de systèmes non linéaires qui incorpore des hypothèses de haut niveau (comme la lissé) sans restreindre le modèle à une forme paramétrique spécifique. L'approche PSAEM proposée permet l'estimation des hyperparamètres du modèle par maximum de vraisemblance tout en préservant la richesse non paramétrique de la dynamique.

Les auteurs soulignent que cette approche fournit des prédictions probabilistes avec une incertitude quantifiée, ce qui est crucial pour des applications telles que le contrôle adaptatif et la robotique, où les stratégies de contrôle peuvent dépendre de la confiance dans la dynamique du système. La méthode est présentée comme une alternative robuste aux solutions entièrement bayésiennes (qui nécessitent des priors sur les paramètres) et à l'identification paramétrique standard, offrant un équilibre entre flexibilité et faisabilité computationnelle grâce à l'utilisation de l'inférence par particules.

Le Problème : La « Boîte Noire » du mouvement

La Solution : L'Argile « Métamorphe »

Le Défi : Trouver les réglages

Ce qu'ils ont testé

La Grande Conclusion

Articles similaires