🤖 AI

COREY: A Prototype Study of Entropy-Guided Operator Fusion with Hadamard Reparameterization for Selective State Space Models

Le papier présente COREY, un cadre prototype qui combine la fusion d'opérateurs guidée par l'entropie et la reparamétrisation de Hadamard pour optimiser l'efficacité mémoire et la latence des modèles d'espace d'états sélectifs (SSM) en réduisant le trafic DRAM et en atténuant les activations à queue lourde.

Auteurs originaux : Bo Ma, Jinsong Wu, Hongjiang Wei, Weiqi Yan

Publié 2026-04-14

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Bo Ma, Jinsong Wu, Hongjiang Wei, Weiqi Yan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de lire un livre de 100 000 pages d'un seul coup, sans jamais perdre le fil de l'histoire. C'est ce que font les intelligences artificielles modernes (les modèles de type "Mamba") lorsqu'elles traitent de très longs textes.

Le problème, c'est que pour lire ce livre, l'ordinateur doit constamment aller chercher des pages dans sa "bibliothèque" (la mémoire vive ou RAM), les apporter sur son "bureau" (le processeur), les lire, puis les remettre. Si le livre est très long, l'ordinateur passe plus de temps à courir vers la bibliothèque qu'à lire ! C'est ce qu'on appelle un goulot d'étranglement de la mémoire.

Voici comment l'article COREY propose de résoudre ce problème, expliqué simplement :

1. Le Problème : Le "Tapis-Roulement" Encombré

Actuellement, pour traiter ces longs textes, l'ordinateur décompose le travail en milliers de petites tâches. À chaque étape, il doit écrire des résultats intermédiaires sur le tapis roulant (la mémoire) avant de passer à la suite. C'est comme si vous deviez écrire chaque mot d'une phrase sur un post-it, le coller au mur, puis le décoller pour écrire le mot suivant. C'est lent et épuisant pour l'ordinateur.

2. La Solution : La Fusion d'Opérateurs (Le "Tapis-Roulement" Intelligent)

L'équipe COREY a une idée géniale : au lieu de faire mille petits allers-retours, pourquoi ne pas fusionner plusieurs tâches en une seule grosse tâche ?
Imaginez que vous puissiez écrire toute la phrase d'un coup sur un seul grand post-it, sans jamais le coller au mur avant la fin. C'est ce qu'on appelle la fusion d'opérateurs. Cela réduit drastiquement les allers-retours vers la mémoire.

Mais attention : Si on fusionne trop de choses d'un coup, le "bureau" de l'ordinateur devient trop petit pour tout contenir, et ça plante. Il faut donc trouver le juste milieu.

3. Le Chef d'Orchestre : L'Entropie (La "Boussole" du Chaos)

Comment savoir combien de tâches on peut fusionner sans faire exploser le bureau ? C'est là qu'intervient la grande innovation de COREY : l'Entropie.

L'analogie : Imaginez que les données que l'ordinateur traite sont comme une foule de gens.
- Parfois, la foule est très désordonnée et dispersée (c'est une haute entropie). Dans ce cas, on peut faire de grands groupes (fusionner beaucoup de tâches) car tout le monde a de la place pour bouger.
- Parfois, la foule est très concentrée, avec quelques personnes qui crient très fort (des "valeurs aberrantes" ou outliers). C'est une basse entropie. Si on essaie de faire un grand groupe ici, ça va créer une bousculade et l'ordinateur va faire des erreurs.

COREY utilise cette "mesure de désordre" (l'entropie) en temps réel. C'est comme un chef d'orchestre qui regarde la foule :

"Oh, la foule est calme et dispersée ? On peut fusionner 5 tâches en une seule !"
"Oh, il y a une personne qui crie très fort ? On ne fusionne que 2 tâches, pour être prudent."

4. L'Accessoire Magique : La Transformation de Hadamard (Le "Mélangeur" de Données)

Il y a un autre problème : parfois, les données sont si déséquilibrées (une seule valeur énorme domine tout) que l'ordinateur ne peut pas les traiter avec précision, surtout s'il essaie de les compresser pour aller plus vite (quantification).

COREY utilise une astuce mathématique appelée Hadamard.

L'analogie : Imaginez que vous avez un tas de sable où un seul grain est énorme et écrase tout le reste. C'est difficile à manipuler.
L'astuce de Hadamard, c'est comme prendre ce tas de sable et le secouer dans un mélangeur spécial. Le grain énorme se brise en mille petits morceaux qui se répartissent uniformément dans tout le tas.
Résultat : Plus de grain géant qui pose problème, et le tas de sable est plus "lisse" et plus facile à traiter. Cela permet à l'ordinateur de fusionner encore plus de tâches sans faire d'erreurs.

En Résumé

Le projet COREY est un prototype qui dit :

Regardez le chaos (l'entropie) des données en temps réel.
Mélangez les données (Hadamard) pour qu'elles soient plus régulières.
Fusionnez les tâches intelligemment en fonction de ce chaos : plus c'est calme, plus on fusionne gros.

Le résultat ? L'ordinateur court beaucoup moins vers sa bibliothèque (mémoire), il travaille plus vite, consomme moins d'énergie et peut lire des livres de 100 000 pages sans s'essouffler.

C'est comme passer d'un système où l'on doit courir chercher chaque mot individuellement, à un système où l'on peut lire des paragraphes entiers d'un seul coup, grâce à un chef d'orchestre très attentif qui sait exactement quand on peut aller vite et quand il faut ralentir.

1. Problématique

Les Modèles à Espace d'État Sélectifs (SSM), représentés par la famille Mamba, offrent une complexité linéaire $O(L)$ pour la modélisation de séquences, ce qui les rend attractifs pour les contextes longs par rapport aux Transformers ( $O(L^2)$ ). Cependant, leur déploiement pratique sur GPU se heurte à deux goulots d'étranglement majeurs :

Limitation par la bande passante mémoire : Les pipelines de balayage sélectif (selective scan) sont souvent décomposés en plusieurs noyaux (kernels) fragmentés, entraînant une matérialisation répétée de tenseurs intermédiaires et un trafic mémoire excessif.
Instabilité de la quantification et des fusions agressives : Les activations internes des SSM présentent souvent des statistiques à "queue lourde" (heavy-tailed), avec des valeurs aberrantes (outliers). Ces outliers déstabilisent la quantification à faible précision (ex: W4A8) et limitent la profondeur de fusion des opérateurs en raison d'une sensibilité numérique accrue.

Les approches existantes traitent souvent la fusion d'opérateurs et la gestion des outliers séparément, sans lien explicite entre la géométrie des activations et la faisabilité de la fusion.

2. Méthodologie : Le Framework COREY

COREY est un prototype de cadre unifiant la fusion d'opérateurs guidée par l'entropie et la reparamétrisation par transformée de Hadamard.

A. Fusion Guidée par l'Entropie

Au lieu d'utiliser des limites de profondeur de fusion fixes ou des graphes de noyaux statiques, COREY utilise l'entropie de Shannon des activations comme signal de planification dynamique.

Estimation : L'entropie est estimée via des histogrammes à largeur fixe (64 bins) avec une moyenne mobile exponentielle (EMA) pour réduire la variance.
Score de Fusion : Pour un groupe d'opérateurs candidats, un score $S(R)$ est calculé :
$S(R) = \alpha \hat{H}(R) + \beta \widehat{AI}(R) - \gamma \hat{M}(R)$
Où $\hat{H}$ est l'entropie normalisée, $\widehat{AI}$ l'intensité arithmétique, et $\hat{M}$ le trafic mémoire estimé.
Décision : Si $S(R) > \tau$ (seuil dynamique) et que les contraintes matérielles (registres, mémoire partagée) sont respectées, les opérateurs sont fusionnés. Une entropie élevée permet des tuiles (tiles) plus grandes et une fusion plus profonde, tandis qu'une faible entropie impose des tuiles plus petites pour éviter l'instabilité.

B. Reparamétrisation Hadamard Fusionnée

Pour régulariser les activations à queue lourde, le papier propose d'absorber une transformée de Hadamard normalisée ( $H$ ) dans les projections linéaires.

Principe : Pour une projection $y = Wx$, on insère $y = WH^\top Hx = W' \hat{x}$ , où $\hat{x} = Hx$ et $W' = WH^\top$ .
Avantages :
1. Équivalence fonctionnelle exacte : Le modèle mathématique reste inchangé.
2. Lissage des distributions : La rotation Hadamard redistribue l'énergie des valeurs aberrantes sur tous les canaux, augmentant l'entropie empirique et réduisant la concentration des coordonnées de pic (peak-coordinate concentration).
3. Fusion : La transformation $Hx$, la projection et les opérateurs élémentaires adjacents sont fusionnés en un seul noyau pour éviter des passages mémoire supplémentaires.

C. Analyse Théorique

Le papier établit trois propriétés clés :

Croissance de l'entropie : Sous certaines conditions (matrice doublement stochastique), la rotation Hadamard augmente strictement l'entropie de l'histogramme des activations.
Limite de profondeur de fusion : La profondeur maximale de fusion est bornée par la mémoire partagée disponible divisée par la empreinte mémoire par opérateur.
Stabilité sous quantification : La transformation Hadamard préserve la norme $L_2$ mais réduit la borne de la coordonnée de pic ( $L_\infty$ ) d'un facteur $\sqrt{d}$ , ce qui permet une quantification plus agressive sans dépassement (clipping).

3. Contributions Clés

Critère d'entropie dynamique : Introduction d'un critère basé sur l'entropie pour sélectionner dynamiquement les frontières de fusion dans les noyaux SSM.
Couche Hadamard fusionnée : Conception d'une couche qui intègre les transformées forward/inverse dans les blocs de projection tout en préservant l'équivalence fonctionnelle.
Lien Entropie-Outliers : Démonstration théorique et empirique que le lissage par Hadamard augmente l'entropie, élargissant ainsi la zone de fonctionnement sûre pour la fusion agressive et l'exécution en faible précision.
Validation par prototype : Une étude contrôlée validant le mécanisme via des métriques de latence, de débit et de trafic DRAM, avec des vérifications de cohérence sur des checkpoints réels (Mamba-370M, 1.4B).

4. Résultats Expérimentaux

L'évaluation a été réalisée sur un prototype (Python/PyTorch) simulant le planificateur, avec des vérifications sur des environnements GPU réels (RTX 3070/3090) pour les checkpoints.

Performance (FP16) : COREY améliore systématiquement le débit et réduit la latence par rapport aux bases "No Fusion" et "Static Fusion".
- Pour les contextes ultra-longs (64k), le débit passe de 627 k tok/s (No Fusion) à **840 k tok/s** (COREY), soit une accélération d'environ 1,34x.
- Le trafic DRAM par token est réduit de manière significative (ex: de 123 à 90,6 bytes/token en ultra-long), confirmant que l'optimisation est bien limitée par la mémoire.
Stabilité en faible précision (W4A8/W8A8) : L'utilisation de la reparamétrisation Hadamard réduit le "proxy de dégradation" (une métrique diagnostique interne) par rapport à la fusion statique, indiquant une meilleure stabilité face aux outliers.
Validation des Checkpoints : Des tests sur Mamba-370M et Mamba-1.4B sur LongBench et WikiText-103 montrent que la qualité des réponses (scores de tâches, perplexité) est préservée par rapport aux implémentations natives, confirmant que la fusion n'altère pas la précision du modèle.
Évolutivité Multi-GPU : Une stratégie de partitionnement de données sur 4 GPU RTX 3090 a montré une accélération quasi-linéaire (2x pour 2 GPU) sans perte de précision par échantillon.

5. Signification et Limites

Signification :
Ce travail propose un pont théorique et pratique entre la géométrie des activations (statistiques d'entropie) et l'optimisation système (fusion de noyaux). Il démontre que la régularisation des distributions d'activation via Hadamard n'est pas seulement une astuce de quantification, mais un signal système permettant d'optimiser l'architecture des noyaux pour les SSM. Cela ouvre la voie à des implémentations matérielles plus efficaces pour l'inférence de modèles à contexte long.

Limites :

Nature du prototype : Les résultats principaux proviennent d'un simulateur Python et non de noyaux Triton finaux déployés en production. Les gains de performance sont des proxies.
Métriques de qualité : Les résultats en faible précision sont basés sur un "proxy de stabilité" et non sur une perplexité ou une précision de tâche complète pour les configurations quantifiées.
Couverture des checkpoints : Bien que des tests aient été effectués sur Mamba-370M, 1.4B et 2.8B, la couverture des tâches (LongBench) reste limitée et les comparaisons directes "méthode vs base" sur des checkpoints réels avec fusion complète sont encore en cours.
Dépendance aux outliers : L'efficacité de lissage Hadamard est maximale pour les activations à queue lourde ; les modèles sans outliers prononcés pourraient voir des gains moindres.

En conclusion, COREY établit une fondation solide pour des systèmes d'inférence SSM plus efficaces, où la planification des ressources est pilotée par les propriétés statistiques dynamiques des données, tout en atténuant les problèmes de stabilité numérique inhérents aux modèles à contexte long.