On the Generalization Properties of Selective State-Space Models for Filtering Tasks for Unknown Systems

Résumé Technique : Propriétés de Généralisation des Modèles d'Espace d'États Sélectifs pour les Tâches de Filtrage de Systèmes Inconnus

1. Problématique

Le défi central est la prédiction de trajectoires futures à partir d'observations bruitées de systèmes dynamiques dont le modèle est inconnu. Traditionnellement, des méthodes comme le filtre de Kalman (KF) ou le filtre particulaire sont utilisées, mais elles nécessitent une connaissance explicite de la dynamique du système.

Bien que les architectures Transformers aient montré des capacités d'apprentissage en contexte (in-context learning) pour l'inférence de structures dynamiques, elles souffrent de deux limites majeures :

• Complexité computationnelle : Une complexité quadratique par rapport à la longueur de la séquence.
• Fenêtre de contexte finie : Une limite théorique et pratique sur la longueur des séquences traitées, ce qui pose des problèmes de sécurité et de précision pour les applications de contrôle à long terme.

L'article explore si les Modèles d'Espace d'États Sélectifs (SSM), tels que Mamba, peuvent servir d'alternative efficace pour le filtrage en ligne.

2. Méthodologie

Les auteurs proposent un cadre où un SSM est entraîné via une minimisation du risque empirique sur un ensemble de trajectoires provenant d'une distribution de systèmes $\mathcal{D}_{sys}$.

• Architecture SSM : Le modèle utilise un modèle d'espace d'états linéaire variant dans le temps (LTV) discrétisé par un échantillonnage non uniforme (via une fonction softplus apprenable). Contrairement aux Transformers, le SSM n'a pas de fenêtre de contexte fixe car il applique une carte récurrente à chaque étape.
• Configuration du problème : On considère des systèmes dynamiques soumis à un bruit de processus et de mesure. L'objectif est que, lors de l'exécution, le SSM reçoive les sorties d'un système inconnu et prédise la sortie suivante en utilisant uniquement l'historique (apprentissage en contexte).
• Hypothèses théoriques : Pour établir des garanties, les auteurs supposent que le système a une condition initiale nulle, que la sortie est Lipschitz continue et que la dynamique est stable (stabilité input-to-state exponentielle incrémentale).

3. Contributions Clés

L'apport majeur de ce travail est double : théorique et empirique.

• Analyse Théorique (Garanties de Généralisation) :
  • L'article introduit les premières bornes de généralisation pour les SSM appliqués au filtrage.
  • Théorème 1 (Robustesse) : Les auteurs prouvent que les SSM sont robustes aux perturbations des données d'entrée. Ils démontrent que l'erreur de prédiction décroît de manière exponentielle par rapport au temps écoulé depuis la perturbation, avec un taux lié à la stabilité du modèle ($\alpha$ et $\rho$).
  • Théorème 2 (Borne d'erreur excédentaire) : Ils établissent une borne sur l'erreur de généralisation. Ils démontrent que la borne de convergence des SSM est significativement plus forte que celle des Transformers, car le taux de décroissance de l'erreur est exponentiel ($\rho^T$) plutôt que polynomial.
• Validation Empirique : Une série d'expériences comparant le SSM, un Transformer (GPT-2) et un filtre de Kalman (KF).

4. Résultats Expérimentaux

Les tests ont été menés sur quatre scénarios :

1. Configuration Linéaire-Gaussienne : Le KF est optimal, mais le SSM et le Transformer atteignent des performances stables. Le SSM est notablement plus efficace en termes de nombre de paramètres (662k contre 3,3M pour GPT-2).
2. Changement de Dynamique (Switch) : Lors d'un changement brusque de la matrice de transition à $T/2$, le KF échoue car il est mal adapté. Le SSM s'adapte plus rapidement que le Transformer, montrant une meilleure résilience.
3. Bruit Coloré : Lorsque le bruit n'est pas blanc (corrélé temporellement), le KF classique est sous-optimal. Le SSM parvient à capturer la corrélation temporelle du bruit pour réduire l'erreur.
4. Généralisation de Longueur : Entraînés sur des séquences courtes ($T=30$) et testés sur des séquences longues ($T=50$), les Transformers voient leur erreur augmenter, tandis que le SSM reste stable, prouvant sa capacité d'extrapolation.

5. Signification et Conclusion

Ce travail démontre que les SSM sélectifs sont non seulement des alternatives viables aux Transformers pour le filtrage, mais qu'ils sont théoriquement et pratiquement supérieurs pour les systèmes dynamiques. Leur capacité à traiter des horizons de prédiction arbitrairement longs sans fenêtre de contexte, combinée à une convergence de généralisation plus rapide, en fait des candidats idéaux pour les applications de contrôle et de surveillance de systèmes réels où la sécurité et la robustesse aux changements de dynamique sont critiques.