🤖 machine learning

Structured Recurrent Mixers for Massively Parallelized Sequence Generation

Cet article présente le Structured Recurrent Mixer (SRM), une architecture novatrice qui permet une conversion algébrique entre l'entraînement parallèle et l'inférence récurrente pour atteindre une efficacité d'entraînement, une capacité d'information et un débit d'inférence supérieurs aux modèles existants à complexité linéaire, tout en démontrant des gains de performance significatifs tant sur les benchmarks standards que sur des tâches d'apprentissage par renforcement.

Auteurs originaux : Benjamin L. Badger

Publié 2026-05-12

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Benjamin L. Badger

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : La « Chaîne de Montage » vs La « Bibliothèque »

Imaginez que vous essayez d'écrire une histoire, mot par mot.

Ancienne École (Modèles Récurrents) : Imaginez cela comme un seul écrivain assis à un bureau. Il écrit un mot, s'en souvient, écrit le suivant, et ainsi de suite. Il est très efficace pour se souvenir de l'histoire au fur et à mesure (faible utilisation de la mémoire), mais il ne peut écrire qu'un mot à la fois. Si vous voulez 100 histoires écrites, vous devez attendre que l'écrivain termine l'une avant de commencer la suivante.
Standard Moderne (Transformers) : Imaginez cela comme une immense bibliothèque où vous pouvez consulter tous les mots d'une histoire en même temps. C'est excellent pour l'entraînement car vous pouvez lire le livre entier en parallèle. Cependant, quand il est temps d'écrire l'histoire (inférence), la bibliothèque se congestionne. Pour écrire le mot suivant, la bibliothèque doit re-balayer tout le livre que vous avez écrit jusqu'ici pour trouver le contexte. À mesure que l'histoire s'allonge, la bibliothèque devient de plus en plus lente et a besoin d'une énorme quantité d'espace (mémoire) pour contenir tous ces livres.

Le Dilemme : Nous voulons la vitesse de la bibliothèque pour l'entraînement, mais l'efficacité du seul écrivain pour générer du texte.

La Solution : Le « Mélangeur Récurrent Structuré » (SRM)

L'auteur présente une nouvelle architecture appelée le Mélangeur Récurrent Structuré (SRM). Vous pouvez considérer le SRM comme un caméléon ou un transformer (au sens super-héros, pas au sens IA) capable de changer de forme selon ce qu'il fait.

Pendant l'Entraînement (Mode Bibliothèque) : Lorsque le modèle apprend, il agit comme l'immense bibliothèque. Il examine toute la séquence de mots d'un coup. Cela rend l'apprentissage rapide et stable.
Pendant l'Inférence (Mode Écrivain) : Lorsque le modèle génère réellement du texte, il bascule instantanément pour devenir le seul écrivain. Il n'a pas besoin de re-balayer tout le livre ; il garde simplement un tout petit « carnet de notes » (cache) de taille constante de ce qu'il vient d'écrire. Cela le rend incroyablement rapide et lui permet de gérer de nombreuses histoires en même temps.

Le tour de magie est que les mathématiques derrière le SRM lui permettent de basculer entre ces deux modes algébriquement. C'est comme avoir un plan qui dit : « Si nous construisons, nous utilisons ces briques ; si nous y habitons, nous utilisons ces murs », sans avoir à démolir le bâtiment pour le reconstruire.

Pourquoi Cela Compte : Le « Lot » vs La « Longueur »

Le document fait une observation cruciale sur la façon dont nous devrions mettre à l'échelle l'IA :

Mise à l'échelle de la Longueur (L'Histoire) : Le document soutient que tenter de faire lire à ces modèles « écrivains uniques » des livres infiniment longs est une mauvaise idée. Finalement, la mémoire de l'écrivain (le carnet de notes) devient trop pleine, et il commence à oublier les détails. C'est comme essayer de se souvenir d'un roman de 1 000 pages dans un carnet d'une page ; vous perdrez des informations.
Mise à l'échelle du Lot (La Foule) : Cependant, ces modèles sont incroyables pour gérer de nombreuses histoires différentes en même temps. Parce qu'ils n'ont pas besoin d'une immense bibliothèque pour chaque histoire, vous pouvez avoir 100 écrivains travaillant en parallèle sur 100 histoires différentes sans qu'ils se marchent dessus.

L'Analogie : Imaginez un café.

Les Transformers sont comme un café avec une seule machine à espresso géante qui met 10 minutes à préparer un seul latte, mais qui peut préparer 100 tasses à la fois si vous avez un immense comptoir. À mesure que la commande devient plus complexe, la machine ralentit.
Les SRM sont comme un café avec 100 brasseurs manuels simples et rapides. Chaque brasseur prépare une tasse rapidement et se souvient de la recette dans sa tête. Vous ne pouvez pas préparer une commande de 100 tasses avec un seul brasseur (trop de mémoire), mais vous pouvez servir 1 000 clients simultanément en utilisant 1 000 brasseurs différents.

Les Résultats : Vitesse et Volume

Le document a testé cette nouvelle architecture et a trouvé des chiffres impressionnants :

Vitesse : Sur du matériel standard, le SRM était 12 fois plus rapide pour générer du texte qu'un Transformer standard.
Concurrence : Il pouvait gérer 170 fois plus de requêtes simultanées (utilisateurs) qu'un Transformer.
Précision : Même s'il était si rapide et gérait autant de requêtes, il ne perdait pas son intelligence. Dans des tests de mathématiques (GSM8k), il résolvait en fait environ 30 % de problèmes en plus qu'un Transformer lorsqu'on lui donnait la même quantité de puissance informatique.

La Touche « Apprentissage par Renforcement »

Le document a également examiné comment cela aide l'Apprentissage par Renforcement (enseigner à l'IA par essais et erreurs).

Imaginez que vous enseignez à un chien à rapporter une balle.

Approche Standard : Vous envoyez le chien une fois. S'il échoue, vous réessayez.
Approche SRM : Parce que le SRM est si rapide, vous pouvez envoyer 50 chiens en même temps. Vous vérifiez lesquels ont attrapé la balle, et vous ne récompensez que les gagnants.

Le document a constaté que, en générant de nombreux échantillons à la fois et en utilisant un astuce spéciale de « rééchantillonnage » (s'assurer d'avoir suffisamment d'exemples « bons » pour apprendre), le SRM apprenait beaucoup mieux que les modèles qui n'essayaient que quelques fois.

Résumé

Le Mélangeur Récurrent Structuré est une nouvelle conception d'IA qui offre le meilleur des deux mondes :

Il apprend efficacement comme un ordinateur parallèle moderne.
Il génère du texte efficacement comme un écrivain simple et léger en mémoire.
Il est conçu pour gérer des foules massives d'utilisateurs simultanément, ce qui devient de plus en plus important alors que l'IA passe d'« une grande réponse » à « beaucoup de réponses rapides ».

Le document conclut que, alors que nous essayons souvent de rendre l'IA plus intelligente en lui faisant lire des livres plus longs, nous devrions plutôt nous concentrer sur la rendre plus rapide pour gérer de nombreuses tâches différentes à la fois, et le SRM est l'outil parfait pour ce travail.

Résumé technique : Mélangeurs récurrents structurés pour la génération de séquences massivement parallélisée

Énoncé du problème

Le domaine de la modélisation du langage a évolué des architectures récurrentes (RNN, LSTM) vers des modèles non récurrents et parallèles en séquence (Transformers) afin d'atteindre une efficacité et une stabilité d'entraînement accrues. Cependant, ce changement entraîne un coût significatif lors de l'inférence : les Transformers nécessitent une mémoire de $O(n)$ et une génération de tokens séquentielle, ce qui se traduit par un débit d'inférence et une concurrence inférieurs par rapport aux modèles récurrents. À l'inverse, bien que les modèles récurrents offrent une mémoire de $O(1)$ par échantillon et une génération séquentielle efficace, ils ont historiquement du mal avec l'efficacité et la stabilité de l'entraînement, et échouent souvent à s'étendre efficacement à de longues longueurs de contexte en raison des limites de compression de l'information.

Les approches hybrides (par exemple, Mamba, Gated Delta Nets) tentent de combler ce fossé mais reposent souvent sur des noyaux spécialisés pour périphériques et continuent de faire face à des problèmes de mise à l'échelle du cache. De plus, pour les tâches où les sorties peuvent être rapidement vérifiées (par exemple, la génération de code, les preuves mathématiques), le paradigme de « précision par calcul » suggère que la génération de nombreux échantillons à partir de modèles plus petits et plus rapides peut être plus efficace que la génération de moins d'échantillons à partir de modèles plus grands et plus précis. L'article postule que les modèles récurrents sont mal adaptés à la mise à l'échelle de la longueur de séquence pour les entrées riches en informations, mais sont idéalement adaptés à la mise à l'échelle dans la dimension du lot (échantillon) en raison de leur empreinte mémoire constante par échantillon.

Méthodologie : Mélangeurs récurrents structurés (SRM)

Les auteurs introduisent le Mélangeur récurrent structuré (SRM), une architecture conçue pour convertir algébriquement entre une représentation parallèle en séquence (pour l'entraînement) et une représentation récurrente (pour l'inférence) sans nécessiter de noyaux spécialisés ni de gestion de mémoire spécifique au périphérique.

Architecture de base

Les SRM sont basés sur le Mélangeur masqué, une architecture de type Transformer où l'attention est remplacée par des Perceptrons multicouches (MLP) masqués. L'innovation clé réside dans la paramétrisation des matrices de mélange de tokens :

Cartographie des caractéristiques qualitatives : L'analyse des Mélangeurs masqués entraînés a révélé que les matrices de mélange de tokens efficaces présentent des caractéristiques qualitatives spécifiques : des colonnes avec des valeurs presque identiques, des lignes avec des valeurs presque identiques, et un déclin des poids augmentant avec la distance par rapport à la diagonale principale.
Contraintes structurelles : Pour permettre la conversion algébrique vers une forme récurrente, les SRM restreignent les matrices de mélange de tokens à des structures de répétition de ligne ou de répétition de colonne.
- Répétition de ligne : Les lignes contiennent des éléments identiques.
- Répétition de colonne : Les colonnes contiennent des éléments identiques.
- Déclin : Une constante de déclin $\lambda$ entraînable est appliquée aux éléments diagonaux ou hors diagonale pour gérer la rétention d'information.
Conversion algébrique : Ces contraintes permettent de réécrire la multiplication matricielle $Y = XM + B$ comme une opération récurrente à mémoire fixe (Équation 2 et 3 dans l'article). L'état caché récurrent (cache) devient un simple terme de somme, ne nécessitant qu'une mémoire constante ( $O(d)$ ) indépendamment de la longueur de séquence.
Têtes hybrides : L'architecture emploie des têtes « mixtes », où la moitié des têtes utilisent des matrices de répétition de ligne et l'autre moitié des matrices de répétition de colonne, combinées via des projections linéaires. Cette configuration s'est révélée offrir le meilleur équilibre entre efficacité d'entraînement et rétention d'information.

Entraînement et inférence

Entraînement : Les SRM sont entraînés en utilisant le parallélisme de séquence (décalage des tokens) similaire aux Transformers. La complexité quadratique au moment de l'entraînement est efficacement masquée par les frais de transfert de mémoire, ce qui les rend comparables en débit aux Transformers pour des longueurs de contexte standard.
Inférence : Le modèle passe à une représentation récurrente où les tokens sont générés un par un, mettant à jour un cache de taille constante. Cela élimine le besoin de grands caches KV, réduisant considérablement les exigences de bande passante mémoire.

Contributions clés

Cartographie des caractéristiques qualitatives : Une méthode pour mapper les opérations de mélange de tokens des modèles à complexité quadratique vers des modèles récurrents à complexité linéaire en imposant des structures de répétition de ligne/colonne et un déclin.
Conception d'architecture duale : Une architecture qui prend en charge le parallélisme en séquence pendant l'entraînement et le parallélisme par lot pendant l'inférence, permettant une conversion algébrique entre les deux sans modifier les paramètres du modèle ni les structures de cache.
Moteur d'inférence optimisé : Implémentation des SRM en utilisant le framework Mojo/MAX, démontrant des gains de performance significatifs par rapport aux implémentations PyTorch standard.
Rééchantillonnage équilibré pour l'RL : Une méthode de rééchantillonnage pour l'optimisation de la politique relative de groupe (GRPO) qui maintient l'exploration dans l'apprentissage par renforcement à gros lots en assurant un mélange d'échantillons « bons » et « mauvais » dans le lot d'entraînement.

Résultats expérimentaux

Efficacité de l'entraînement

Les SRM sont légèrement moins efficaces à entraîner que les Transformers $O(n^2)$ et les Mélangeurs masqués par paramètre, mais sont plus efficaces que les modèles Mamba sur divers jeux de données (FineWeb-edu, FineMath).
Contrairement aux modèles Mamba, qui subissent des baisses de débit importantes sur du matériel plus ancien (par exemple, V100), les SRM fonctionnent de manière cohérente sur différentes architectures de GPU.

Performance des benchmarks

Précision : Sur des benchmarks équivalents en calcul (IFEval, SQuAD, GSM8k, etc.), les Transformers dominent généralement les benchmarks. Les SRM surpassent les modèles Mamba sur la plupart des tâches mais restent généralement en retrait par rapport aux Transformers en termes de précision sur un seul échantillon.
Rétention d'information : Les SRM présentent une rétention d'information et une capacité supérieures à celles des modèles Mamba, comparables aux modèles à complexité quadratique. Cependant, comme tous les modèles récurrents, ils subissent une perte d'information lorsque les longueurs de contexte dépassent leurs limites de compression.

Débit et concurrence d'inférence

Débit : Les SRM démontrent des améliorations massives de débit par rapport aux Transformers en raison de la réduction du transfert de mémoire.
- Sur PyTorch (V100) : Les SRM atteignent un débit 9,66 à 43,29 fois supérieur à celui des Transformers selon la longueur de contexte.
- Sur Mojo/MAX (H100) : Les SRM atteignent 12 fois le débit des Transformers inférés via vLLM.
Concurrence : Les SRM prennent en charge des tailles de lot considérablement plus grandes.
- Sur Mojo/MAX (H100) : Les SRM atteignent 170 fois la concurrence des Transformers.
- Comparé à Mamba : Les SRM montrent une concurrence >500 fois plus élevée et un débit ~7 fois plus élevé que des modèles Mamba équivalents en puissance.

Apprentissage par renforcement et sorties vérifiables

Échelle Pass@k : Pour GSM8k, les SRM suivent une loi de puissance Pass@k similaire à celle des Transformers.
Efficacité du calcul : Grâce à l'augmentation du débit de 10 à 30 fois, les SRM peuvent générer beaucoup plus d'échantillons pour le même budget de calcul. L'article rapporte une augmentation de 30 % du Pass@k sur GSM8k pour les SRM par rapport aux Transformers lorsque le calcul est maintenu constant.
Entraînement RL : En utilisant un rééchantillonnage équilibré, les SRM entraînés avec GRPO sur de gros lots (50 échantillons) atteignent une précision sur un seul échantillon plus élevée et une meilleure exploration que les Transformers entraînés sur de petits lots (5 échantillons).

Importance et affirmations

L'article conclut que, bien que les modèles récurrents soient mal adaptés à la mise à l'échelle de la longueur de séquence pour les entrées denses en informations, ils sont exceptionnellement bien adaptés à la mise à l'échelle dans la dimension du lot. L'architecture SRM comble avec succès le fossé entre l'efficacité d'entraînement des modèles quadratiques et l'efficacité d'inférence des modèles récurrents.

Les auteurs affirment que les SRM offrent une voie viable pour les paradigmes de « précision par calcul », en particulier pour les tâches à vérification rapide. En tirant parti de l'empreinte mémoire constante des modèles récurrents, les SRM peuvent exploiter plus efficacement les limitations du « mur de mémoire » du matériel moderne que les Transformers, réalisant des améliorations d'un ordre de grandeur en débit et en concurrence sans avoir besoin de noyaux spécialisés. Le travail suggère que pour les tendances futures du matériel multithread, des architectures comme les SRM qui maximisent les opérations arithmétiques par rapport aux accès mémoire deviendront de plus en plus dominantes.