Bayesian Inference and Learning in Gaussian Process State-Space Models with Particle MCMC

Résumé Technique : Inférence Bayésienne et Apprentissage dans les Modèles d'Espace d'États à Processus Gaussiens avec MCMC Particulaire

Énoncé du Problème

Les modèles d'espace d'états (SSM - State-Space Models) sont largement utilisés pour modéliser des séries temporelles et des systèmes dynamiques, généralement définis par une trajectoire d'état latente $x_{0:T}$ et une fonction de transition $f$. Un défi important surgit lorsque la dynamique $f$ est inconnue et hautement non linéaire. Les approches traditionnelles ont souvent recours à des représentations paramétriques de $f$ ou utilisent des algorithmes d'Espérance-Maximisation (EM) qui peuvent conduire au surapprentissage, particulièrement dans les espaces d'états de grande dimension ou lorsque la distribution de lissage est incertaine.

Bien que les Processus Gaussiens (GP) offrent une priorité non paramétrique flexible pour $f$, l'application des GP aux SSM est difficile car les états latents $x_{0:T}$ ne sont pas observés. Les méthodes existantes approximent souvent le GP à l'aide d'un ensemble fini de points cibles, ce qui rend le modèle essentiellement paramétrique, ou reposent sur des modèles fixes de dynamique de transition pour le lissage. Le problème central abordé par cet article est la manière de réaliser une inférence et un apprentissage entièrement bayésiens dans des SSM non linéaires et non paramétriques sans sacrifier l'expressivité du modèle ni engendrer des coûts de calcul prohibitifs.

Méthodologie

Les auteurs proposent un cadre entièrement bayésien où une priorité de Processus Gaussien est placée directement sur la fonction de transition inconnue $f$. Le modèle d'observation $g$ est supposé connu (potentiellement paramétré), tandis que la dynamique $f$ est traitée comme une fonction aléatoire.

1. Marginalisation de la Fonction de Transition
Au lieu d'inférer simultanément la distribution jointe a posteriori sur les états, les hyperparamètres et la fonction $f$, les auteurs marginalisent la fonction de transition $f$. Cette approche de « réduction » (collapsing) permet à la méthode de respecter la nature non paramétrique du modèle. En conditionnant sur la trajectoire d'état $x_{0:T}$, la priorité marginale $p(x_{0:T} | \theta)$ peut être exprimée comme un produit de Gaussiennes. Bien que cette distribution ne soit pas elle-même gaussienne (en raison de la dépendance non linéaire de la moyenne et de la covariance vis-à-vis des états), elle conserve une structure propice à l'inférence séquentielle.

2. Monte Carlo par Chaînes de Markov Particulaires (PMCMC)
Pour échantillonner la distribution de lissage jointe résultante $p(x_{0:T}, \theta | y_{0:T})$, les auteurs emploient un échantillonneur de Monte Carlo par chaînes de Markov particulaires (PMCMC), plus précisément le Gibbs Particulaire avec Échantillonnage d'Ancêtres (PGAS - Particle Gibbs with Ancestor Sampling).

• Échantillonnage de Monte Carlo Séquentiel (SMC) : L'algorithme utilise le SMC pour approximer la distribution de lissage. Cependant, le SMC standard souffre de dégénérescence de trajectoire (path degeneracy), où la diversité des particules est perdue pour les pas de temps éloignés de l'observation finale.
• PGAS : Pour atténuer la dégénérescence de trajectoire et permettre l'inférence sur les hyperparamètres $\theta$, le PGAS est utilisé. Il combine des étapes de l'échantillonneur de Gibbs pour la trajectoire d'état et les hyperparamètres. Crucialement, il utilise un Filtre Particulaire Conditionnel avec Échantillonnage d'Ancêtres (CPF-AS - Conditional Particle Filter with Ancestor Sampling) pour échantillonner la trajectoire d'état. Dans le CPF-AS, une trajectoire de particule est fixée (conditionnée) à chaque étape, tandis que les autres sont échantillonnées. L'étape d'« échantillonnage d'ancêtres » permet à la trajectoire fixée de rééchantillonner ses ancêtres, garantissant que le noyau de Markov laisse la distribution de lissage exacte invariante et améliorant les taux de mélange.

3. Construction de GP Creux (Sparse GP)
Pour traiter la complexité computationnelle, qui passe naïvement à $O(T^4)$ ou $O(T^3)$, les auteurs introduisent une construction de GP creux utilisant la priorité Entièrement Indépendante Conditionnelle (FIC - Fully Independent Conditional). En introduisant un ensemble de variables induites, la complexité computationnelle est réduite à $O(M^2T)$, où $M \ll T$ est le nombre de points induits. Les détails de mise en œuvre impliquent des mises à jour efficaces des factorisations de Cholesky pour maintenir cette complexité lors de la récursion directe du filtre particulaire.

4. Apprentissage de la Dynamique
Une fois les échantillons de la distribution de lissage $p(x_{0:T}, \theta | y_{0:T})$ obtenus, la distribution a posteriori sur la fonction de transition $f$ est disponible sous forme fermée. La distribution prédictive pour un nouveau point de test est formulée comme un mélange de Gaussiennes, où chaque composante correspond à un échantillon de la distribution de lissage. Ce mélange capture correctement la multimodalité découlant de l'ambiguïté des mesures.

Principales Contributions

• Inférence Entièrement Non Paramétrique : L'article présente une méthode qui conserve la pleine expressivité non paramétrique des Processus Gaussiens dans les SSM, évitant ainsi la nécessité de discrétiser l'espace des fonctions ou de supposer une forme paramétrique spécifique pour la dynamique.
• Stratégie de Marginalisation : En marginalisant la fonction de transition $f$, les auteurs découplent l'apprentissage de la dynamique de l'estimation d'état, permettant une inférence exacte de la distribution de lissage étant donné la trajectoire d'état.
• PGAS pour les SSM : L'application du Gibbs Particulier avec Échantillonnage d'Ancêtres aux GP-SSM permet un échantillonnage efficace de la distribution de lissage jointe et de l'a posteriori des hyperparamètres, surmontant les problèmes de dégénérescence de trajectoire des filtres particulaires standards.
• Efficacité Computationnelle : L'intégration des méthodes de GP creux (priorité FIC) réduit la charge de calcul, rendant l'approche scalable à des séries temporelles plus longues.

Résultats Expérimentaux

Les auteurs évaluent leur approche sur deux bancs d'essai :

1. Benchmark de Système Non Linéaire : Un système présentant des densités de lissage bimodales (du fait d'une ambiguïté de signe dans les observations). Le GP-SSM a réussi à capturer la nature bimodale de la trajectoire d'état et à apprendre la dynamique avec précision, même lorsqu'il était initialisé avec une fonction de moyenne paramétrique médiocre. L'erreur quadratique moyenne (RMSE) pour la dynamique apprise était significativement plus faible que les bases paramétriques et comparable au modèle de référence avec paramètres connus.
2. Système Chariot et Pendule (Cart and Pole) : Un benchmark d'apprentissage par renforcement avec un espace d'états à 4 dimensions. En utilisant seulement 100 observations bruitées, le modèle a appris une représentation de la dynamique capable de prédictions à un pas de temps. La distribution prédictive résultante (un mélange de Gaussiennes) reflétait correctement une incertitude plus élevée dans les régions de l'espace d'états éloignées des données d'entraînement et une incertitude plus faible près des données d'entraînement.

Signification et Revendications

L'article affirme que sa principale importance réside dans la fourniture d'un composant vital pour l'inférence dans les GP-SSM : la capacité d'apprendre le modèle GP lui-même de manière entièrement bayésienne. Contra�à les travaux précédents qui supposaient que les dynamiques GP étaient déjà apprises ou utilisaient des approximations paramétriques, cette approche permet une complexité de modèle adaptative.

Les auteurs soulignent que leur méthode préserve l'expressivité non paramétrique du modèle, permettant de capturer des phénomènes dynamiques complexes que les modèles paramétriques pourraient manquer. Ils notent que l'approche est particulièrement robuste dans les scénarios présentant une grande incertitude dans la distribution de lissage, là où les approches traditionnelles basées sur le MAP ou l'EM risquent de faire du surapprentissage. L'utilisation du PGAS garantit que l'inférence n'est pas limitée par les hypothèses de modèle fixes des techniques de lissage conventionnelles, offrant un cadre flexible pour l'identification de systèmes dans des contextes non linéaires et non paramétriques.