🤖 machine learning

An Exact Instrument for State Usage in Selective State-Space Models, and the Input-Driven Migration It Reveals

Cet article introduit un instrument exact pour mesurer l'utilisation des modes dans les modèles d'espace d'état sélectifs, révélant que la réallocation d'état dépendante de l'entrée pilotée par la carte d'écriture $B_t$ permet à l'élagage des modes programmé par l'entrée de surpasser significativement les méthodes statiques et d'égaler la performance non élaguée avec la moitié du budget d'état.

Auteurs originaux : Raktim Bhattacharya

Publié 2026-07-14

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Raktim Bhattacharya

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un modèle Mamba comme un orchestre géant et super intelligent. À l'intérieur de chaque couche de cet orchestre, il y a une banque de 16 petits instruments à une seule note (appelés « modes »). Dans l'ancienne façon de penser, nous supposions que le chef d'orchestre (le modèle) choisirait un ensemble fixe de, disons, les 8 meilleurs instruments pour jouer toute la chanson, peu importe ce que la musique faisait.

Mais ce papier tire le rideau et révèle un secret choquant : Le chef d'orchestre ne choisit pas un ensemble fixe du tout.

Au lieu de cela, le chef d'orchestre est un maître de l'improvisation. Pour chaque mot (ou « token ») que le modèle lit, il décide instantanément quels 8 instruments sont réellement nécessaires pour porter la mélodie. Parfois, ce sont les flûtes ; parfois, ce sont les violons ; parfois, ce sont les tambours. Les instruments « importants » migrent selon l'entrée. Si vous forcez l'orchestre à s'en tenir à un ensemble fixe de 8 instruments (un choix « statique »), vous leur demandez de jouer un solo de jazz avec la partition d'une fanfare de marche. Cela fonctionne, mais le son est bien moins bon que la réalité.

L'outil magique : L'« instrument exact »

Comment les auteurs ont-ils su cela ? Ils ont construit un « instrument exact » mathématique.

Parce que la structure interne de l'orchestre est un type spécial de configuration « diagonale » (où les instruments ne se perturbent pas entre eux), les auteurs ont pu décomposer la sortie en une somme parfaite de la contribution de chaque instrument. Ils ont créé un « tenseur de Gram » (pensez-y comme à une fiche de score super précise) qui leur dit, exactement, quelle erreur vous commettriez si vous abandonniez n'importe quel groupe spécifique d'instruments.

Ils ont testé cet outil contre le vrai modèle et ont constaté qu'il était précis avec une erreur relative de 2,3 × 10⁻⁷. C'est comme mesurer la distance entre la Terre et la Lune avec une erreur inférieure à la largeur d'un cheveu humain. Ce n'est pas une estimation ; c'est une mesure précise.

La grande découverte : Le « fossé de migration »

En utilisant cet outil, ils ont observé des modèles allant de très petits (130M de paramètres) à de très massifs (7B paramètres, comme le Falcon-Mamba déployé).

Ils ont découvert qu'aux couches les plus actives, un ensemble fixe d'instruments génère deux fois plus d'erreur qu'un ensemble qui change avec l'entrée.

La statistique : Aux couches les plus affectées, le « fossé de migration » (le ratio d'erreur entre un ensemble fixe et un ensemble changeant) se situait entre 0,44 et 0,57.
La signification : Si vous laissez le modèle choisir les meilleurs instruments pour chaque moment spécifique (un oracle programmé par l'entrée), vous réduisez l'erreur de moitié par rapport au simple fait de choisir une liste statique une fois et de s'y tenir.

Cela se produit dans chaque modèle qu'ils ont testé : la famille Mamba-1, le Falcon-Mamba de 7B, et même Mamba-2.

Qu'est-ce qui cause la migration ? (Le « Pourquoi »)

Les auteurs se sont demandé : Quelle partie du modèle est responsable de tout ce changement ?
Il y a trois signaux principaux dans une couche Mamba :

La carte d'écriture ( $B_t$ ) : Décide quels instruments reçoivent le signal d'entrée.
La lecture ( $C_t$ ) : Décide quels instruments sont entendus.
Le pas de temps ( $\Delta$ ) : Souvent considéré comme le bouton de « sélectivité ».

Ils ont mené une expérience de « signal gelé ». Ils ont gelé chaque signal à sa valeur moyenne, un par un, pour voir si la migration s'arrêtait.

Le résultat : Lorsqu'ils ont gelé la Carte d'écriture ( $B_t$ ), la migration a disparu. Le modèle a cessé de changer d'instruments.
La surprise : Lorsqu'ils ont gelé le Pas de temps ( $\Delta$ ), la migration est restée exactement la même.

Le verdict : Le signal du « pas de temps », que beaucoup pensaient être la clé de la sélectivité, ne porte presque aucun signal de migration. Le véritable héros est la Carte d'écriture ( $B_t$ ). C'est elle qui joue le rôle de gardien décidant, jeton par jeton, quels instruments ont le droit de jouer.

La conséquence : Pouvons-nous utiliser cela ?

Les auteurs ont tenté d'utiliser cette connaissance pour élaguer (réduire) le modèle afin d'économiser de l'espace.

Élagage statique : Choisir le meilleur ensemble de 8 instruments basé sur une moyenne de tests et les garder pour toujours.
Élagage programmé par l'entrée : Regarder la phrase actuelle, mesurer quels 8 instruments sont actifs en ce moment même, et ne garder que ceux-là.

Le résultat :
À moitié du budget d'état (en ne gardant que 8 instruments sur 16), la méthode programmé par l'entrée a été aussi performante (et dans certains cas légèrement meilleure) que le modèle complet, non élagué, en termes de précision brute.

Sur le modèle de 130M, la méthode programmée a eu une perplexité de 11,84, tandis que le modèle non élagué était de 12,38.
Sur le Falcon-Mamba de 7B, la méthode programmée a atteint 4,44, battant le 4,48 du modèle non élagué.

Cependant, il y a un piège crucial : Le papier précise explicitement que cette méthode « programmée » est un oracle à deux passes. Il lit toute la fenêtre une première fois pour décider quels instruments garder, puis effectue une seconde passe pour générer la sortie. Cela signifie qu'elle ne permet pas d'économiser du calcul ou de la mémoire dans un déploiement réel (vous devez lire les données deux fois).

Les auteurs clarifient que ce résultat démontre une marge de progression réalisable, et non un gain d'efficacité déployable. Cela prouve que le potentiel existe pour qu'un modèle minuscule et super efficace égale le géant, mais seulement si nous pouvons construire un prédicteur rapide et peu coûteux capable de deviner les bons instruments sans avoir besoin de cette première passe coûteuse. La méthode actuelle ne fait que nous montrer le plafond de ce qui est possible.

Ce qu'ils ont écarté

Le papier est très clair sur ce qui ne fonctionne pas :

Classements statiques : Les méthodes qui choisissent un ensemble fixe de modes basés sur l'activité moyenne ou l'énergie de Hankel (comme GHOST ou LAST) sont nettement moins bonnes. Elles ne peuvent pas suivre la cible mouvante.
Activité du pas de temps : L'élagage basé sur l'activité du signal du pas de temps est une voie sans issue car le pas de temps ne pilote pas la migration.
Prédicteurs simples : Ils ont tenté de prédire le masque en utilisant simplement la première moitié d'une phrase ou le « domaine » (code vs prose). Ces astuces peu coûteuses n'ont récupéré que 2 à 6 % du gain potentiel. L'ensemble des instruments « importants » change si vite (en quelques centaines de jetons) qu'il faut réellement mesurer les jetons spécifiques que vous évaluez pour obtenir tout le bénéfice.

L'essentiel

Le papier prouve que les modèles d'espace d'état sélectifs entraînés sont des entités dynamiques et vivantes qui réallouent constamment leurs ressources internes en fonction de l'entrée. La « Carte d'écriture » est le chef d'orchestre de cette migration. Bien que nous ne puissions pas encore déployer un modèle qui change ses propres instruments en temps réel sans le coût d'une « double passe », cette recherche nous donne une carte exacte du territoire. Elle montre que les méthodes actuelles d'élagage « statique » laissent passer une énorme quantité de performance, et que la voie à suivre consiste à construire des programmeurs capables de prédire ces migrations à la volée.

Résumé Technique : Un instrument exact pour l'usage de l'état dans les modèles d'espace d'états sélectifs

Énoncé du problème
Les modèles d'espace d'états (SSM) sélectifs, tels que Mamba, utilisent une banque de modes de premier ordre fixes où le couplage avec le signal est programmé dynamiquement par des matrices dépendantes de l'entrée. Bien que la matrice d'état soit diagonale (découplant les modes), l'usage spécifique de ces modes par un modèle entraîné reste opaque. Les méthodes existantes pour l'élagage ou la réduction de l'espace d'état reposent sur des critères statiques et approximatifs (par exemple, des scores sensibles à la sortie basés sur des statistiques de calibration ou des classements d'activité). Ces méthodes supposent un ensemble fixe de modes importants, ne tenant pas compte de la possibilité que l'ensemble « important » puisse varier selon le contexte de l'entrée. Sans une mesure exacte de l'usage de l'état, il est impossible de déterminer si l'élagage statique entraîne une erreur inutile ou si les degrés de liberté internes du modèle sont utilisés de manière dynamique.

Méthodologie : L'instrument exact
Le papier introduit un instrument exact pour mesurer l'usage de l'état, en exploitant la structure diagonale de la matrice d'état du SSM.

Décomposition exacte : Puisque la matrice d'état est diagonale, la sortie d'un canal est une somme exacte de contributions par mode. Les auteurs définissent une contribution par mode $m_{h,t,i}$ pour chaque mode $i$ dans le canal $h$ à l'instant $t$ .
Construction du tenseur de Gram : En accumulant les produits extérieurs de ces contributions sur une fenêtre, la méthode construit un petit tenseur de Gram ( $G_h$ ) pour chaque (couche, canal, fenêtre).
Calcul de l'erreur en forme fermée : L'erreur de sortie au carré de l'élagage de n'importe quel sous-ensemble de modes $S$ est donnée exactement par une forme quadratique des modes supprimés dans la matrice de Gram. Cela permet le calcul hors ligne de l'erreur d'élagage exacte pour tout budget sans réexécuter le modèle.
Validation : L'instrument a été validé par rapport à des implémentations de référence avec une erreur relative de $\approx 2,3 \times 10^{-7}$ sur Mamba-1. De plus, il a prédit l'erreur d'élagage réelle déployée d'une couche élaguée avec un écart relatif médian de $10^{-6}$ à travers 4 464 configurations.

Résultats clés : Migration de mode pilotée par l'entrée
En utilisant cet instrument, les auteurs ont découvert un phénomène nommé migration de mode pilotée par l'entrée :

Allocation dynamique : L'ensemble des modes portant la sortie d'une couche n'est pas fixe ; il migre à travers différents contextes d'entrée. Aux couches les plus affectées, un oracle programmé par l'entrée (qui sélectionne les meilleurs modes pour chaque fenêtre spécifique) réduit l'erreur de sortie de moitié par rapport à un ensemble top- $r$ statique.
Mécanisme : À travers des contre-factuels de signaux gelés, le papier attribue cette migration principalement à la carte d'écriture dépendante de l'entrée ( $B_t$ ). Le gel de $B_t$ à sa moyenne sur le corpus élimine la majeure partie de l'écart de migration. La carte de lecture ( $C_t$ ) contribue partiellement, tandis que le pas de temps ( $\Delta$ ), souvent associé à la sélectivité, ne porte presque aucun signal de migration.
Modes lents : Les modes migrant sont principalement les « modes lents » (ceux ayant de longues constantes de temps), qui intègrent des écritures déclenchées par l'entrée sur de longs horizons.
Universalité : Ce comportement est observé dans toute la famille Mamba-1 (130M–2.8B), le modèle Falcon-Mamba 7B déployé, et Mamba-2.

Résultats expérimentaux
Les auteurs ont évalué l'élagage de mode programmé par l'entrée par rapport à des bases statiques (classement d'énergie statique, classement de la valeur singulière de Hankel modale, et LAST adaptatif par couche) à travers plusieurs échelles :

Performance : La sélection programmée par l'entrée (un oracle en deux passes qui mesure les énergies de mode lors d'une première passe et élague lors d'une seconde) a surpassé toutes les règles statiques à chaque échelle et budget.
Efficacité du budget : À la moitié du budget d'état ( $r=8$ pour $N=16$ ), le modèle programmé par l'entrée a égalé ou légèrement dépassé la perplexité du modèle non élagué à travers toutes les échelles testées (130M à 7B).
Échec des bases statiques : L'élagage statique a engendré une erreur nettement plus élevée. Par exemple, à l'échelle 130M avec $r=4$ , l'élagage statique a atteint une perplexité de 19,8, tandis que l'approche programmée a atteint 14,2 (contre 12,4 pour le non-élagué).
Tâches en aval : Sur LAMBADA, l'élagage statique a provoqué l'effondrement de la précision, tandis que l'oracle en deux passes a récupéré 86 % de la performance perdue.
Réserve vs Déploiement : Les auteurs soulignent que l'approche programmée nécessite une « première passe » pour lire les énergies de mode, ce qui signifie qu'elle démontre une réserve réalisable (le potentiel d'amélioration) mais ne constitue pas une économie de calcul ou de mémoire déployée dans sa forme actuelle. Des programmeurs peu coûteux (par exemple, utilisant un préfixe ou un régime de domaine) n'ont capturé qu'une fraction (2 à 26 %) du gain de l'oracle.

Signification et revendications
Le papier revendique trois contributions principales :

Un instrument exact : Il fournit la première mesure exacte et hors ligne de l'usage de l'état et de l'erreur d'élagage pour les SSM diagonaux, remplaçant les hypothèses heuristiques par une mesure directe.
Découverte de la migration : Il établit que les SSM sélectifs entraînés réallouent dynamiquement leur espace d'état en fonction de l'entrée, sous l'influence de la carte d'écriture $B_t$ . Cela remet en question l'hypothèse qu'un ensemble fixe de modes est optimal pour tous les contextes.
Preuve de la réserve : Il démontre que l'écart entre l'élagage programmé par l'entrée et l'élagage statique est important et constant à travers les échelles. Bien que le papier ne revendique pas une économie déployée (car le programmeur nécessite une première passe), il prouve qu'une récupération significative de la performance est possible si la sélection de mode peut être adaptée à l'entrée.

Les auteurs concluent que l'instrument exact remplace les choix heuristiques par une mesure directe qui varie avec l'entrée, et que les prochaines étapes consistent à comprendre les raisons de la théorie de la réalisation de cette migration et à développer des programmeurs appris capables de l'exploiter à moindre coût.