🤖 machine learning

Regularity and Stability Properties of Selective SSMs with Discontinuous Gating

Cet article établit des garanties rigoureuses de stabilité et de régularité pour les modèles d'espace d'état (SSM) sélectifs comme Mamba en utilisant des outils de la théorie de la commande tels que la passivité et la stabilité de l'entrée vers l'état, et traduit ces conclusions en un régularisateur différentiable lors de l'entraînement qui réduit considérablement les violations de stabilité avec un impact négligeable sur la précision de la prédiction.

Auteurs originaux : Nikola Zubić, Davide Scaramuzza

Publié 2026-07-08

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Nikola Zubić, Davide Scaramuzza

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Le problème de la « mémoire intelligente »

Imaginez un robot essayant de se souvenir d'une longue histoire en écoutant un narrateur. Les modèles d'IA modernes comme Mamba sont comme ces robots. Ils possèdent une « mémoire » (un état caché) qui se met à jour à chaque nouveau mot entendu.

La partie délicate est que ces modèles sont sélectifs. Ils ne stockent pas tout de la même manière. Ils possèdent un « gardien » qui décide, mot après mot, ce qu'il faut retenir et ce qu'il faut oublier. Si le gardien est trop chaotique, le robot pourrait être confus, oublier le début de l'histoire ou devenir fou quand le narrateur parle trop fort.

Cet article pose la question suivante : Comment s'assurer que ce gardien est stable ? Comment garantir que la mémoire du robot n'explose pas ou ne s'évanouisse pas, même lorsque les règles de ce qu'il faut retenir changent instantanément ?

L'idée centrale : Énergie et stabilité

Les auteurs utilisent des outils issus de la théorie du contrôle (les mathématiques utilisées pour maintenir la stabilité des avions et l'équilibre des robots) pour analyser ces modèles d'IA.

Ils traitent la mémoire de l'IA comme une batterie ou un réservoir d'eau :

Entrée (Input) : Les nouveaux mots qui arrivent.
Sortie (Output) : La compréhension du robot.
Stockage : La mémoire à l'intérieur du robot.

L'article soutient que pour que le système soit stable, la « batterie » ne doit pas créer de l'énergie à partir de rien. Elle doit seulement stocker ce qu'elle reçoit de l'entrée, et elle doit naturellement perdre un peu d'énergie au fil du temps (comme une batterie qui se décharge lentement) afin que les souvenirs anciens et non pertinents s'estompent. Ce concept est appelé Passivité et Dissipativité.

Les deux signaux : L'« Interrupteur » vs le « Conducteur »

Une intuition clé de l'article est de séparer deux éléments qui sont habituellement confondus :

Le Conducteur (Input) : Les données réelles (les mots) qui poussent le système vers l'avant.
L'Interrupteur (Sélection) : La prise de décision interne qui change la manière dont le système réagit aux données.

Analogie : Imaginez une voiture.

Le Conducteur, c'est vous qui appuyez sur la pédale d'accélérateur (l'entrée).
L'Interrupteur, c'est la transmission qui change de vitesse (la sélection).
L'article dit : « Analysons la stabilité de la voiture en regardant comment la transmission change de vitesse indépendamment de la force avec laquelle vous appuyez sur l'accélérateur. » Cela rend les mathématiques beaucoup plus claires et révèle des règles cachées sur la façon dont la transmission doit se comporter pour éviter que la voiture ne s'écrase.

Les principales conclusions

1. La règle de l'« Oubli »

Si le système est conçu correctement (plus précisément, s'il possède une propriété de « dissipativité stricte »), il va naturellement oublier les informations anciennes de manière exponentiellement rapide lorsqu'il n'y a plus de nouvelle entrée.

Analogie : Pensez à un seau percé. Si vous arrêtez de verser de l'eau, le seau ne reste pas plein indéfiniment ; il se vide. C'est une bonne chose ! Cela signifie que l'IA ne restera pas bloquée sur le premier mot d'une phrase pendant qu'elle essaie de traiter le dernier mot. L'article prouve mathématiquement que cette « fuite » se produit automatiquement si le système est bien construit.

2. Le test du « Gel »

Les auteurs ont observé ce qui se passe si l'on « gèle » l'interrupteur de sélection (on arrête de changer les règles) et que l'on laisse simplement l'entrée circuler. Ils ont découvert que même avec ce réglage figé, le système possède une « structure d'énergie » naturelle intégrée (une forme mathématique appelée fonction de stockage quadratique).

Analogie : Même si vous retirez les vitesses d'une voiture et que vous les verrouillez en place, le moteur et les roues conservent une relation physique spécifique. L'article montre que Mamba possède une « forme naturelle » similaire pour sa mémoire, ce qui explique pourquoi certaines méthodes d'initialisation du modèle (comme HiPPO) fonctionnent si bien — elles respectent cette forme naturelle.

3. La règle de l'« Oubli irréversible »

C'est une découverte structurelle fascinante. L'article suggère qu'une fois que le système a décidé qu'une information est « inutile » (elle tombe dans un « noyau » ou une zone d'énergie nulle), aucun changement des interrupteurs ne peut la faire revenir.

Analogie : Imaginez une déchiqueteuse. Une fois qu'un document est entré dans la déchiqueteuse et découpé, vous ne pouvez pas simplement actionner un interrupteur pour que le papier redevienne entier. Le système possède un « point de non-retour » pour certains types d'informations. Cela empêche l'IA de s'embrouiller en essayant de ressusciter de vieux souvenirs non pertinents.

De la théorie à la pratique : Le « Régularisateur »

Le Problème : Dans la réalité, nous ne pouvons pas vérifier les mathématiques infinies du monde continu. Nous devons vérifier les étapes discrètes que l'ordinateur effectue réellement.
La Solution : Ils ont créé un « ralentisseur » pour le processus d'entraînement. Pendant l'entraînement, le modèle calcule un nombre spécifique (une valeur propre) qui lui indique s'il viole les règles de stabilité. Si c'est le cas, le processus d'entraînement ajoute une petite pénalité pour le ramener vers la stabilité.
Le Résultat : Ils ont testé cet outil sur sept jeux de données réels différents (comme la météo, le trafic et la consommation d'électricité).
- Succès : L'outil a réduit le nombre de « violations de stabilité » de 92 %.
- Coût : La précision des prédictions a très peu changé (moins de 0,02 % de différence).
- Robustesse : Lorsqu'ils ont ajouté du bruit ou des « pics » aux données (comme un bug soudain), le modèle doté de cet outil est resté plus calme à l'intérieur, bien qu'il ne soit pas devenu magiquement parfait pour prédire l'avenir en situation de chaos.

Ce que l'article ne prétend PAS

Les auteurs sont très honnêtes sur les limites de leur travail :

Ce n'est pas une solution miracle pour toutes les erreurs : L'outil rend la partie mémoire interne de la partie Mamba de l'IA plus stable, mais il ne corrige pas l'ensemble du réseau d'IA (qui possède d'autres parties comme la normalisation et le routage).
Il ne garantit pas des prédictions parfaites en cas de chaos : Bien que la mémoire interne soit devenue plus stable face aux données bruyantes, la précision finale des prédictions n'a pas significativement augmenté. L'outil fait tourner le moteur plus de manière fluide, mais il ne fait pas nécessairement conduire la voiture plus vite dans une tempête.
C'est une règle « douce » : L'outil encourage la stabilité, mais il ne force pas le modèle à être parfaitement stable au sens d'un certificat mathématique. Il le rend simplement beaucoup moins susceptible de défaillir.

Résumé

Cet article prend une architecture d'IA moderne et complexe (Mamba) et l'analyse en utilisant la physique de l'énergie et de la stabilité. Ils ont prouvé que ces modèles possèdent une « fuite » naturelle qui les aide à oublier, et un « destructeur » qui empêche la résurrection de souvenirs inutiles. Ils ont ensuite construit un outil simple et peu coûteux qui aide à entraîner ces modèles pour qu'ils respectent ces règles, les rendant plus stables et fiables sans nuire à leur capacité de prédire l'avenir.

Résumé Technique : Propriétés de Régularité et de Stabilité des SSM Sélectifs à Gating Discontinu

Énoncé du Problème

Les modèles d'espace d'état sélectifs (SSM), tels que Mamba, sont devenus centraux pour la modélisation de séquences longues. Cependant, leurs propriétés de stabilité restent mal comprises. Contrairement aux systèmes classiques invariants dans le temps et linéaires (LTI) ou aux systèmes non linéaires lisses, les SSM sélectifs présentent des coefficients d'espace d'état ( $A, B, C$ ) qui sont modulés en ligne par un signal de gating dépendant du jet (token). Cela crée un système qui n'est ni LTI, ni classiquement non linéaire, mais plutôt un système hybride avec des paramètres dépendants des données et discontinus. Les analyses existantes se concentrent souvent sur l'expressivité ou traitent la récurrence comme un système dynamique fixe par entrée, manquant d'un compte énergétique unifié sur la manière dont ces modèles oublient les conditions initiales, stockent l'énergie ou maintiennent la stabilité sous des perturbations.

Méthodologie

Les auteurs abordent le problème sous l'angle de la théorie du contrôle classique, plus précisément la passivité, la dissipativité et la stabilité d'entrée à l'état (ISS). Une innovation conceptuelle clé est la séparation explicite de deux signaux :

Signal de Sélection ( $x(\cdot)$ ) : Planifie la dynamique en déterminant les matrices variables dans le temps $A, B, C$ .
Entrée Motrice ( $u(\cdot)$ ) : L'entrée de port qui pilote la dynamique et apparaît dans le taux de fourniture (supply rate).

Bien que les architectures à gating par jet fixent souvent $x \equiv u$ , les auteurs maintiennent cette séparation pour clarifier les quantificateurs dans les analyses de passivité et d'ISS.

Cadre Théorique

Le papier analyse les SSM sélectifs en temps continu définis par :
$\dot{h}(t) = A(\Delta(t), x(t))h(t) + B(\Delta(t), x(t))u(t)$
$y(t) = C(\Delta(t), x(t))h(t)$
où $\Delta(t)$ est un signal de gating auxiliaire (typiquement par morceaux constant). L'analyse suppose une régularité $L^p_{loc}$ modérée, accommodant les discontinuités introduites par le gating.

Étapes théoriques clés :

Dissipativité Stricte : Établir les conditions sous lesquelles le système présente un oubli exponentiel des conditions initiales.
Analyse de Sélection Gelée : Geler le signal de sélection ( $x(t) \equiv 0$ ) pour révéler un sous-système LTV (linéaire variant dans le temps) passif. En s'appuyant sur les résultats récents de Morandin & Hinsen (2024), les auteurs prouvent que ce sous-système admet une fonction de stockage quadratique minimale avec une régularité Localement Absolument Semi-Continue (AUC $_{loc}$ ), même sous un gating discontinu.
Stockage Quadratique Universel : Étudier les contraintes structurelles imposées si une seule fonction de stockage quadratique doit certifier la passivité à travers tous les schémas de sélection admissibles. Cela conduit à une Inégalité Matricielle Linéaire (LMI) paramétrique et au concept d'« oubli irréversible » (une fois qu'une direction de l'état entre dans le noyau de la matrice de stockage, elle ne peut plus être rendue observable).
ISS Globale : Dériver des conditions suffisantes pour une stabilité d'entrée à l'état (ISS) globale par rapport à l'entrée motrice $u(\cdot)$ , uniformément sur les schémas de sélection.

Pont Discret et Régularisation

Pour rendre la théorie exploitable pour les architectures modernes, les auteurs traduisent l'LMI paramétrique en temps continu en une LMI par bloc échantillonnée pour la récurrence de scan sélectif de Mamba.

Ils dérivent une inégalité de dissipativité discrète en un pas.
Ils définissent un régularisateur différentiable, $R_{LMI}$ , qui pénalise la plus grande valeur propre positive de la matrice par bloc échantillonnée $L_k(P, \beta)$ à chaque étape de jet.
Ce régulariseur est intégré dans la boucle d'entraînement d'une architecture réelle basée sur Mamba (SST) en tant que contrainte souple.

Contributions Clés

Modèle à Deux Signaux : Une formulation claire des SSM sélectifs séparant le signal de sélection de l'entrée de port, permettant une analyse rigoureuse de la passivité et de l'ISS.
Oubli Exponentiel : Une preuve formelle que la dissipativité stricte ( $\beta > 0$ ) combinée à des bornes quadratiques implique une décroissance exponentielle des trajectoires homogènes, uniformément sur les schémas de sélection admissibles.
Structure Énergétique Canonique : Démonstration que le sous-système de sélection gelée possède une fonction de stockage quadratique minimale avec une régularité AUC $_{loc}$ . Cela fournit une justification énergétique pour des initialisations principled comme HiPPO.
Contraintes Structurelles et Oubli Irréversible : Sous l'hypothèse d'un stockage quadratique universel, les auteurs dérivent une LMI paramétrique et prouvent que le rang de la matrice de stockage est non croissant. Cela formalise l'« oubli irréversible » : les directions d'état écartées par la structure d'énergie ne peuvent être récupérées par le mécanisme de gating.
Conditions d'ISS Globale : Conditions suffisantes pour la stabilité globale par rapport aux entrées motrices, uniformément sur les schémas de sélection.
Régularisateur LMI Discret : Un régularisateur pratique et différentiable dérivé de la théorie continue, applicable au cœur de scan sélectif de Mamba.
Validation Empirique : Évaluation étendue sur sept jeux de données de séries temporelles et quatre horizons de prédiction, démontrant la capacité du régularisateur à réduire les violations de LMI sans dégrader la précision sur les données propres.

Résultats

L'évaluation empirique a été menée sur l'architecture SST (un mélange routé de Mamba et d'attention à courte portée) sur 28 paires jeu de données-horizon (ETTh1/2, ETTm1/2, weather, electricity, traffic).

Réduction des Violations de LMI : Le régularisateur LMI discret a réduit la violation moyenne de la LMI du cœur Mamba échantillonné d'environ 92 % (de 0,0358 à 0,0029) sur l'ensemble des 28 paires.
Précision sur Données Propres : La réduction des violations de LMI s'est faite à un coût négligeable de l'erreur quadratique moyenne (MSE) sur les données propres, avec une différence de moins de 0,018 % par rapport à la référence non régularisée.
Ablation de la Conservatisme : Remplacer la matrice de stockage identité fixe ( $P=I$ ) par une matrice diagonale apprenable ( $P=\text{diag}(q)$ ) a produit une amélioration Pareto stricte (violations plus faibles, même précision) dans les 28 paires, confirmant la flexibilité du cadre.
Robustesse aux Perturbations : Sous des perturbations injectées (bruit gaussien, pics, masques, etc.), le régularificateur a amélioré les diagnostics internes du cœur Mamba (réduction des violations de LMI d'environ 60 % et des normes d'état d'environ 3,4 %). Cependant, il n'a pas produit d'amélioration mesurable de la MSE de prévision robuste. Les auteurs notent explicitement cela comme un « négatif honnête », l'attribuant au fait que le régularisateur ne contraint que le cœur Mamba, tandis que le réseau environnant (normalisation, résidus, routage) absorbe les effets de la perturbation sur la sortie finale.
Stabilité du Routeur : Une ablation tentant d'apprendre un schéma de routage conscient de l'énergie (pénalisant l'usage de Mamba lorsque les violations de LMI locales sont élevées) a donné un résultat neutre. Bien que les poids de Mamba aient été légèrement poussés vers le bas, la corrélation entre le poids de Mamba et la violation de LMI était essentiellement nulle, suggérant que l'entraînement sur des données propres n'induit pas un routage conscient de l'énergie.

Signification et Revendications

Le papier se positionne comme un pont entre la théorie du contrôle classique et les architectures modernes d'apprentissage profond. Sa signification réside dans :

Clarté Théorique : Fournir un compte énergétique unifié pour les SSM sélectifs, allant au-delà des diagnostics d'exposants de Lyapunov vers des propriétés structurelles comme la passivité et l'ISS.
Justification des Initialisations : Offrir une explication théorique de pourquoi les initialisations comme HiPPO sont efficaces (elles fournissent un paysage d'énergie quadratique bien conditionné).
Outils Pratiques : Introduire un régularisateur à faible coût et différentiable qui peut être intégré dans les pipelines d'entraînement existants pour imposer une stabilité structurelle sur le cœur SSM.
Délimitation Honnête : Les auteurs sont explicites quant aux limites de leurs revendications. Ils ne prétendent pas que le régularificateur certifie la passivité de l'ensemble du réseau profond, ni qu'il garantit la robustesse de la MSE en soi. Ils présentent les résultats comme une « réduction substantielle de la violation » plutôt qu'une « passivité certifiée », et reconnaissent que l'écart entre la stabilité du cœur et la robustesse de bout en bout reste une direction de recherche ouverte.

En résumé, le papier traduit avec succès des garanties de contrôle en temps continu en un critère d'entraînement vérifiable et différentiable pour les SSM sélectifs, démontrant que de telles contraintes structurelles peuvent être imposées avec un coût de précision négligeable tout en améliant considérablement les diagnostics de stabilité interne.