⚡ electrical engineering

GHOST: Unmasking Phantom States in Mamba2 via Grouped Hidden-state Output-aware Selection & Truncation

Le papier présente GHOST, un cadre d'élagage structuré qui réduit de moitié la dimension d'état des modèles Mamba2 en approximant la troncature équilibrée via des statistiques de passage avant, permettant ainsi d'alléger l'inférence avec une perte de performance négligeable.

Auteurs originaux : Michael Menezes, Anastasios Kyrillidis

Publié 2026-02-13

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Michael Menezes, Anastasios Kyrillidis

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🎭 GHOST : Le Détective qui chasse les "Fantômes" dans l'intelligence artificielle

Imaginez que vous avez un super-ordinateur (appelé Mamba2) capable de lire des livres entiers, d'écrire des histoires et de comprendre le monde. C'est un génie, mais il a un gros problème : il est gourmand.

Pour fonctionner, ce génie garde une énorme "mémoire de travail" en permanence. C'est comme si, pour lire une phrase, il devait garder en tête non seulement les mots, mais aussi des milliers de détails inutiles, comme la couleur des murs de la pièce où il a lu le mot précédent. Cette mémoire est si lourde qu'elle ralentit tout, comme un camion chargé de pierres qui essaie de faire la course.

Les chercheurs ont voulu alléger ce camion en jetant les choses inutiles. Mais les méthodes habituelles pour trier étaient soit trop bêtes, soit trop chères. C'est là qu'intervient GHOST.

1. Le Problème : Les "Fantômes" et les "Corps Inertes"

Pour comprendre la solution, il faut d'abord comprendre pourquoi les méthodes actuelles échouent. Les chercheurs ont découvert deux types d'éléments dans la mémoire du modèle :

Les Corps Inertes (Corporeal States) : Imaginez un gros coffre-fort très lourd et impressionnant. Il a l'air important (il pèse lourd), mais à l'intérieur, il est vide. Il ne sert à rien. Les méthodes classiques regardent juste le poids du coffre et disent : "Oh, c'est lourd, on le garde !" Erreur. On garde du vide.
Les Fantômes (Phantom States) : À l'inverse, imaginez un petit oiseau très léger. Il ne pèse presque rien, mais il vole partout, chante et influence tout ce qui l'entoure. C'est un élément vital. Les méthodes classiques disent : "Oh, c'est léger, on le jette !" Erreur. On jette l'essentiel.

Le résultat ? On garde les lourds inutiles et on perd les légers essentiels. Le modèle devient bête ou s'effondre.

2. La Solution : GHOST (Le Détective Dynamique)

L'équipe a créé GHOST (Grouped Hidden-state Output-aware Selection and Truncation). Pour faire simple, c'est un détective qui ne regarde pas à quoi les choses ressemblent (leur poids), mais ce qu'elles font (leur action).

GHOST utilise une idée venue de la physique (la théorie du contrôle) pour poser deux questions simples à chaque élément de la mémoire du modèle :

Est-ce qu'il est "atteignable" ? (Controllabilité) : Est-ce que les informations qui entrent dans le modèle arrivent bien jusqu'à cet élément ? Si personne ne lui parle, il est inutile.
Est-ce qu'il est "écouté" ? (Observabilité) : Est-ce que cet élément influence la réponse finale du modèle ? Si personne ne l'écoute, il est inutile.

L'analogie du Concert :
Imaginez un orchestre.

Le coffre-fort est un musicien qui joue très fort (il a un gros instrument), mais il joue faux et personne ne l'écoute. C'est un "Corps Inerte".
L'oiseau est un petit violoniste qui joue doucement, mais sa mélodie guide toute l'orchestre. C'est un "Fantôme".

GHOST ne regarde pas le volume du son (le poids), il regarde qui fait bouger la musique. Il garde le violoniste et renvoie le musicien bruyant mais inutile.

3. Pourquoi c'est génial ?

Pas de calculs compliqués : Les méthodes précédentes pour trouver ces "fantômes" demandaient de faire des calculs mathématiques énormes (comme rembobiner tout le film pour voir chaque détail), ce qui prenait des heures et nécessitait des ordinateurs géants. GHOST, lui, regarde juste le film en temps réel (une seule fois). C'est rapide et peu coûteux.
Résultats incroyables : En utilisant GHOST, les chercheurs ont pu réduire la taille de la mémoire du modèle de 50 % (la moitié !) sans presque perdre en intelligence.
- Avant : Le modèle avait 100 MB de mémoire, mais il était lent.
- Après GHOST : Il n'a plus que 50 MB, il est deux fois plus rapide, et il comprend toujours aussi bien.

4. En résumé

L'article nous dit que pour rendre les intelligences artificielles plus rapides et moins gourmandes, il ne faut pas les "éplucher" au hasard ou en regardant juste leur apparence. Il faut comprendre comment elles pensent.

GHOST est comme un chef d'orchestre intelligent qui sait exactement quels musiciens sont essentiels à la symphonie et lesquels ne font que du bruit. Il permet de faire tenir ces super-intelligences sur des appareils plus petits et plus rapides, rendant l'IA plus accessible à tout le monde.

Le mot de la fin : On ne jette pas ce qui est lourd, on garde ce qui est vivant.

1. Problématique : Le goulot d'étranglement de l'inférence Mamba2

L'architecture Mamba2 a considérablement amélioré la modélisation temporelle par rapport à Mamba1 en augmentant la dimension de l'état de l'espace d'état (SSM), notée $N$ , passant de 16 à 128. Bien que cela améliore les performances, cela crée un goulot d'étranglement majeur pour l'inférence :

Surcharge mémoire : Pour un modèle de 1,3 milliard de paramètres, l'état récurrent passe d'environ 12 Mo à 100 Mo, saturant la bande passante mémoire et dégradant la localité du cache.
Limites des méthodes de compression existantes :
- Méthodes non structurées : Elles créent des poids clairsemés mais laissent les activations denses, ne réduisant pas la consommation de bande passante.
- Élagage par magnitude statique : Cette approche ignore la dynamique du système. Elle échoue à distinguer les états corporels (poids importants mais inactifs dynamiquement) des états fantômes (faibles poids normés mais haute activité dynamique). Elle tend à supprimer ces derniers, essentiels au fonctionnement du modèle.
- Méthodes basées sur le gradient (ex: Taylor) : Bien que précises, elles nécessitent le calcul et le stockage de gradients pour l'ensemble du graphe, ce qui consomme une mémoire VRAM prohibitive (ex: >45 Go pour un modèle de 1,3B) et souffre de décalages de distribution lors de l'élagage séquentiel.

2. Méthodologie : GHOST (Grouped Hidden-state Output-aware Selection and Truncation)

Les auteurs proposent GHOST, un cadre d'élagage structuré qui approxime la truncation équilibrée (un concept de la théorie du contrôle) en utilisant uniquement des statistiques de passage avant (forward-pass), sans rétropropagation.

Principes Fondamentaux

GHOST identifie et conserve les états « vivants » en mesurant conjointement deux propriétés dynamiques :

Contrôlabilité : Dans quelle mesure les entrées passées influencent l'état actuel.
Observabilité : Dans quelle mesure l'état actuel influence les sorties futures.

Implémentation Technique

Estimation Empirique : Au lieu de résoudre des équations d'Lyapunov (impossible pour Mamba2 non linéaire et variant dans le temps), GHOST utilise des Grammiens empiriques instantanés calculés sur des données de calibration.
- Contrôlabilité : Estimée par la covariance des états cachés ( $H_t$ ).
- Observabilité : Estimée par la Hessienne de l'énergie de sortie par rapport à l'état caché, approximée par le terme $(C'_t)^\top C'_t$ .
Score de Saillance : Pour chaque canal d'état $i$ , un score de saillance $S_i$ est calculé comme le produit de la contrôlabilité et de l'observabilité (similaire aux valeurs singulières de Hankel) :
$S_i \approx \sqrt{P \cdot Q}$
où $P$ est la variance de l'état et $Q$ l'influence sur la sortie.
Élagage Inter-Groupe : GHOST opère dans la structure Grouped Query Attention (GQA) de Mamba2. Il regroupe les scores de tous les groupes d'une couche, les trie et applique un seuil global. Cela permet une allocation adaptative de la capacité : les groupes modélisant des dynamiques complexes conservent plus d'états, tandis que les groupes redondants sont fortement élagués.
Processus : L'algorithme nécessite deux passages avant sur les données de calibration par couche. Il met à jour séquentiellement les activations pour minimiser le décalage de distribution, sans aucun calcul de gradient ni Hessienne complète.

3. Contributions Clés

Cadre d'élagage structuré : Introduction de GHOST pour réduire la dimension de l'état $N$ de Mamba2 en se basant sur l'énergie dynamique transférée plutôt que sur la magnitude statique des poids.
Résolution du « Proxy Failure » : Démonstration que GHOST corrige les erreurs des méthodes par magnitude en préservant les « états fantômes » (actifs mais à faible poids) et en éliminant les « états corporels » (inactifs mais à fort poids).
Efficacité et Performance : Preuve empirique que GHOST rivalise avec les méthodes d'ordre supérieur (Taylor) en termes de précision, tout en évitant le calcul de gradients et en réduisant drastiquement les besoins en mémoire VRAM.

4. Résultats Expérimentaux

Les expériences ont été menées sur des modèles allant de 130M à 2,7B de paramètres, avec une réduction de 50% de la dimension de l'état.

Précision (Perplexité) : Sur WikiText-2, GHOST atteint une réduction de 50% de la dimension avec une augmentation de perplexité d'environ 1 point (ex: de 13,17 à 14,23 pour le modèle 1,3B à 50% d'élagage), surpassant les méthodes aléatoires et par magnitude.
Robustesse à l'Élagage Élevé : Contrairement à la méthode Taylor qui s'effondre catastrophiquement au-delà de 50-70% d'élagage (perplexité explosive), GHOST maintient une courbe de dégradation lisse, restant fonctionnel même à 70% d'élagage.
Généralisation à la Longueur de Séquence :
- GHOST généralise bien aux contextes longs (jusqu'à 2048 tokens) même calibré sur de courts contextes.
- La méthode Taylor montre une dégradation sévère sur les longues séquences, suggérant que ses scores basés sur le gradient ne capturent pas les dépendances à long terme.
Robustesse hors distribution (OOD) : Sur des tâches de génération de code (HumanEval) et de mathématiques (MMLU), GHOST surpasse les méthodes basées sur la courbure (Hessienne) qui ont tendance à surajuster au domaine de calibration (texte anglais).
Efficacité des Ressources :
- Mémoire : GHOST nécessite ~15 Go de VRAM pour un modèle 1,3B, contre >45 Go pour la méthode Taylor (incompatible avec les GPU A100 standards de 40 Go).
- Temps : Le coût de calcul est équivalent à deux passages avant, comparable à l'inférence standard.

5. Signification et Impact

Ce travail est significatif car il démocratise le déploiement de grands modèles Mamba2. En réduisant la bande passante mémoire requise pour l'état récurrent sans sacrifier la qualité du modèle, GHOST permet d'exécuter ces modèles sur du matériel moins puissant.

L'approche marque une avancée théorique en fusionnant l'apprentissage profond et la théorie du contrôle, prouvant que des métriques dynamiques (contrôlabilité/observabilité) sont supérieures aux métriques statiques pour la compression d'architectures d'état d'espace. Elle offre une alternative viable aux méthodes coûteuses basées sur le gradient, rendant possible l'élagage structuré à grande échelle avec une empreinte mémoire minimale.