🤖 machine learning

Toeplitz MLP Mixers are Low Complexity, Information-Rich Sequence Models

L'article présente le Toeplitz MLP Mixer (TMM), une architecture de type transformateur qui remplace l'attention par une multiplication matricielle de Toeplitz à masque triangulaire pour atteindre une complexité sous-quadratique tout en démontrant une efficacité d'entraînement, une rétention d'information et des performances d'apprentissage en contexte supérieures à celles des autres modèles sous-quadratiques.

Auteurs originaux : Benjamin L. Badger, Ethan Roland

Publié 2026-05-11

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Benjamin L. Badger, Ethan Roland

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : Le Goulot d'Étranglement de la « Bibliothèque de Babel »

Imaginez que vous essayez d'écrire une histoire, mais que vous devez relire votre histoire entière depuis le tout premier mot à chaque fois que vous voulez ajouter une nouvelle phrase. Si votre histoire est courte, c'est facile. Mais si votre histoire est un roman entier, relire tout à nouveau pour chaque nouveau mot prend une éternité.

C'est exactement le problème des modèles d'IA de pointe actuels (appelés Transformers). Ils utilisent un mécanisme appelé « attention » qui leur permet de regarder chaque mot précédent pour décider du suivant. Bien que puissants, cela devient incroyablement lent et gourmand en mémoire à mesure que le texte s'allonge. C'est comme essayer de trouver un livre spécifique dans une bibliothèque où vous devez vérifier chaque livre sur chaque étagère avant de pouvoir en prendre un.

La Nouvelle Solution : Le « Mixer Toeplitz »

Les auteurs introduisent un nouveau modèle appelé le Toeplitz MLP Mixer (TMM). Imaginez cela comme une nouvelle façon d'organiser cette bibliothèque.

Au lieu de vérifier chaque livre individuellement, le TMM utilise un motif spécial et répétitif (mathématiquement appelé une matrice de Toeplitz) pour organiser l'information.

L'Analogie : Imaginez un convoyeur dans une usine. Dans un modèle standard, un travailleur doit parcourir toute la ligne pour saisir une pièce spécifique. Dans le TMM, les pièces sont disposées selon un motif répétitif et prévisible. Le travailleur peut utiliser un raccourci (un tour de magie mathématique appelé la Transformée de Fourier Rapide) pour saisir exactement ce dont il a besoin instantanément, quelle que soit la longueur de la ligne.
Le Résultat : Cela rend le modèle beaucoup plus rapide et utilise moins de mémoire, surtout lorsqu'il lit un long prompt pour la première fois (comme lors du pré-remplissage d'un document).

La Surprise : La Vitesse Ne Signifie Pas « Bêtise »

Habituellement, lorsque vous rendez un modèle informatique plus rapide en simplifiant la façon dont il examine les données, il devient « plus bête ». Il commence à oublier des choses.

Les Modèles « Espace d'État » : D'autres modèles rapides (comme Mamba) tentent d'être efficaces en conservant un seul « résumé » de tout ce qu'ils ont lu jusqu'à présent. C'est comme essayer de se souvenir d'un livre de 500 pages en ne se souvenant que de la dernière phrase. C'est rapide, mais le modèle oublie souvent les détails.
L'Avantage du TMM : Le TMM ne repose pas sur un seul résumé. Il maintient le « motif » de tout le texte accessible.
- Le Test de Copie : Les auteurs ont testé cela en demandant aux modèles de copier une longue liste de nombres ou de mots.
- Le Résultat : Alors que les modèles « résumé » (Mamba) avaient du mal à se souvenir de la liste, le TMM pouvait la copier presque parfaitement, tout comme les Transformers lents et lourds. Il a conservé l'information beaucoup mieux que les autres modèles rapides.

Pourquoi Cela Fonctionne-t-il ? (La Théorie « Sans Biais »)

Le papier suggère que d'autres modèles rapides ont des « biais » ou des habitudes intégrés. Par exemple, ils pourraient être programmés pour prêter une attention particulière aux mots les plus récents et ignorer les plus anciens.

L'Analogie : Imaginez un étudiant qui n'étudie que le dernier chapitre d'un manuel scolaire parce qu'il pense que c'est le plus important. Il pourrait réussir un quiz sur le dernier chapitre mais échouer si on lui pose des questions sur le début.
Le TMM : Le TMM n'a pas ce biais. Il traite le motif du texte de manière égale. Parce qu'il ne se force pas à oublier les anciennes informations, il conserve naturellement plus de détails, ce qui conduit à de meilleures performances sur des tâches comme trouver des faits spécifiques dans un long document ou suivre des instructions complexes.

La « Magie » de l'Inversibilité

Les auteurs ont effectué une analyse mathématique approfondie (en utilisant quelque chose appelé la « théorie de l'indice des opérateurs ») et ont découvert un fait contre-intuitif :

Bien que le TMM soit conçu pour traiter l'information d'une manière qui devrait perdre certains détails (car c'est un modèle « causal » qui ne regarde que vers l'avant), les mathématiques montrent que ses couches internes sont en fait très proches d'être réversibles.
L'Analogie : Imaginez une machine qui déchiquette du papier. Habituellement, vous ne pouvez pas récupérer le papier. Mais le TMM est comme une déchiqueteuse qui coupe le papier en bandes qui restent parfaitement alignées. Si vous avez le bon outil, vous pouvez les recoller ensemble presque parfaitement. Cela suggère que le modèle conserve très bien la « forme » de l'information originale, même pendant qu'il la traite.

Le Problème (Limites)

Le papier est honnête sur ce que le TMM ne peut pas encore faire :

Évolutivité : Ils ont testé des modèles relativement petits (de 20 à 300 millions de paramètres). Nous ne savons pas encore si cela fonctionne pour les modèles massifs utilisés par les grandes entreprises technologiques aujourd'hui.
Génération Mot par Mot : Bien que le TMM soit super rapide pour lire un long prompt (la phase de « pré-remplissage »), une fois qu'il commence à générer du texte mot par mot, il ralentit jusqu'à la même vitesse que les anciens Transformers. Il est rapide au départ, mais pas nécessairement rapide à la ligne d'arrivée.

Résumé

Le Toeplitz MLP Mixer est un nouveau type d'architecture d'IA qui utilise un raccourci mathématique astucieux pour lire rapidement de longs textes sans oublier les détails. Il prouve que vous n'avez pas besoin de sacrifier la « mémoire » pour obtenir de la « vitesse ». Il agit comme un bibliothécaire qui utilise un système de classement intelligent pour trouver des livres instantanément, plutôt qu'un bibliothécaire qui tente de mémoriser toute la bibliothèque dans sa tête.

Résumé technique : Mélangeurs MLP de Toeplitz comme modèles de séquence à faible complexité et riches en informations

1. Énoncé du problème

Les grands modèles de langage (LLM) basés sur les Transformers sont fondamentalement limités par la complexité temporelle ( $O(n^2)$ ) et spatiale quadratique des mécanismes d'attention. Bien que diverses tentatives aient été faites pour réduire cette complexité à des niveaux sous-quadratiques ou linéaires (par exemple, linéarisation de l'attention, modèles d'espace d'état comme Mamba), ces approches introduisent souvent des compromis significatifs. Plus précisément, les modèles à complexité linéaire souffrent fréquemment d'une efficacité d'entraînement réduite, d'une instabilité numérique et d'une incapacité marquée à retenir les informations d'entrée. Ce déficit de rétention d'information se manifeste par de mauvaises performances dans des tâches nécessitant une copie précise, un apprentissage en contexte et une récupération de contexte long, qui sont des caractéristiques des capacités modernes des LLM. Le défi central consiste à réduire la complexité computationnelle sans imposer de restrictions sévères à l'accès aux informations des tokens qui dégradent ces capacités émergentes.

2. Méthodologie : Le Mélangeur MLP de Toeplitz (TMM)

Les auteurs introduisent le Mélangeur MLP de Toeplitz (TMM), une architecture de type Transformer qui remplace l'attention par une multiplication matricielle de matrices de Toeplitz masquées triangulairement sur la dimension de la séquence.

Architecture de base

Paramétrisation de Toeplitz : Contrairement aux mélangeurs MLP standards où les poids de mélange des tokens sont des matrices arbitraires, les TMM paramètrent ces poids sous forme de matrices de Toeplitz. Dans une matrice de Toeplitz, toutes les valeurs d'une diagonale donnée sont identiques, permettant de représenter l'ensemble de la matrice par un seul vecteur (la première ligne et la première colonne).
Masquage causal : Pour imposer la causalité pour la prédiction du token suivant, la matrice de poids matérialisée est masquée triangulairement. Dans l'implémentation, les activations sont multipliées à gauche par cette matrice de Toeplitz masquée ( $T'$ ), qui est triangulaire supérieure.
Calcul via FFT : En incorporant la matrice de Toeplitz dans une matrice circulante, les auteurs exploitent la transformée de Fourier rapide (FFT) pour calculer le produit matrice-vecteur. Cela réduit la complexité computationnelle de $O(n^2)$ à $O(dn \log n)$ pendant l'entraînement et le préremplissage de l'inférence, avec une complexité spatiale de $O(dn)$.
Variantes multi-têtes et multi-noyaux : L'architecture prend en charge des configurations multi-têtes où des matrices de Toeplitz indépendantes sont appliquées aux dimensions de têtes projetées. De plus, des variantes de « noyaux » permettent le mélange le long d'un nombre limité d'éléments de dimension cachée, analogue aux convolutions 1D.

Fondements théoriques

L'article analyse les TMM à travers le prisme de la théorie de l'indice des opérateurs. Plus précisément, il examine l'indice de Fredholm des couches de Toeplitz entraînées. Les auteurs notent que, bien que les TMM ne soient pas strictement inversibles sur tous les entrées possibles, les couches causales de TMM entraînées exhibent souvent des indices (spécifiquement -1) qui ressemblent à des opérateurs de décalage, suggérant un mécanisme de décalage d'information séquentielle qui diffère des biais trouvés dans d'autres architectures.

3. Contributions et affirmations clés

L'article formule trois affirmations principales concernant l'efficacité des TMM par rapport à d'autres architectures sous-quadratiques (telles que Hyena, Mamba et les Transformers à attention fenêtrée) :

Efficacité de l'entraînement : Dans des conditions de calcul constantes, les TMM atteignent des pertes d'évaluation similaires ou inférieures à celles d'autres modèles sous-quadratiques. Ils démontrent des taux de convergence supérieurs par rapport aux bases à complexité linéaire comme Hyena et Mamba.
Préservation de l'information : Les TMM retiennent significativement plus d'informations d'entrée que les modèles sous-quadratiques comparables. Cela est démontré par :
- Extraction d'information : Une fidélité plus élevée dans la régénération des séquences d'entrée à partir de l'état caché final.
- Capacité de copie : Les TMM approchent ou dépassent l'efficacité d'entraînement des tâches de copie des Transformers à complexité quadratique, une tâche où les modèles Mamba et Hyena luttent généralement.
- Capacité informationnelle : Lorsqu'ils sont explicitement entraînés pour maximiser la rétention d'information, les TMM exhibent une capacité informationnelle supérieure à celle des modèles Hyena ou Mamba, même lorsqu'ils nécessitent un calcul significativement moindre (1/2 à 1/8) pour l'entraînement.
Performance sur les benchmarks : Grâce à une rétention d'information supérieure, les TMM surpassent les autres modèles à faible complexité sur des benchmarks nécessitant une représentation précise de l'entrée, tels que la récupération d'information (IR) et l'apprentissage en contexte (ICL), tout en maintenant une parité sur les tâches générales de compréhension du langage.

4. Résultats expérimentaux

Les auteurs ont entraîné des modèles sur un sous-ensemble de 10 milliards de tokens de FineWeb-edu et les ont évalués par rapport aux Transformers, Mamba 2 et Hyena.

Efficacité de l'entraînement : Les TMM ont convergé plus rapidement que les modèles Hyena et Mamba lorsque le calcul et la mémoire étaient équivalents. Les auteurs notent que les implémentations d'attention linéaire ont souffert d'instabilité numérique et d'une convergence lente, les amenant à se concentrer sur les TMM.
Tâche de copie : Dans une tâche exigeant que les modèles copient 512 tokens de l'entrée vers la sortie, les TMM ont atteint une efficacité d'entraînement comparable à celle des Transformers. Notamment, un TMM avec une dimension de modèle ( $d_m$ ) égale à 1/32 de celle d'un modèle Hyena a atteint une efficacité de copie presque identique. L'étude a révélé que les paramètres de Toeplitz entraînables étaient critiques ; le gel de ces matrices a entraîné un échec total de la copie, tandis que des projections de têtes entraînables seules étaient insuffisantes.
Benchmarks :
- IR/ICL : Les TMM ont surpassé Hyena sur SQuAD, SQuAD v2, LongBench et IFEval.
- Tâches générales : Les TMM ont performé à égalité avec Hyena et les Transformers sur des tâches comme ARC-Easy, GLUE et HellaSwag.
Études d'ablation : Les auteurs ont constaté que l'utilisation de deux couches de Toeplitz séquentielles séparées par une non-linéarité (style mélangeur MLP standard) était moins efficace qu'une seule couche. De plus, augmenter le nombre de têtes améliorait la convergence asymptotique, tandis qu'augmenter la taille du noyau au-delà d'un certain point réduisait l'efficacité.

5. Importance et limites

Importance

L'article soutient que le TMM offre une « voie simple, sans attention » vers une efficacité d'entraînement compétitive et un décodage rapide. Son importance principale réside dans la démonstration que les modèles à faible complexité n'exigent pas intrinsèquement de biais architecturaux sévères (comme un biais de récence ou une sélectivité d'espace d'état) qui dégradent la rétention d'information. En utilisant une paramétrisation explicite de Toeplitz, le modèle évite le « fossé de copie » observé dans Mamba et Hyena, suggérant que des motifs d'accès structurés (Toeplitz) peuvent préserver les capacités riches en information des Transformers sans le coût quadratique pendant la phase de préremplissage.

Les auteurs soulignent également une découverte théorique contre-intuitive : les couches causales de TMM entraînées, qui sont non inversibles sur leur espace d'entrée complet, possèdent souvent des indices de Fredholm plus proches de zéro (ou spécifiquement -1, agissant comme opérateurs de décalage) que les modèles explicitement entraînés pour l'inversibilité (comme les autoencodeurs). Cela suggère que l'« inversibilité » d'une couche dans un modèle causal concerne moins la réversibilité mathématique que la préservation du flux d'information par décalage.

Limites

Les auteurs reconnaissent explicitement plusieurs limites :

Échelle : Les expériences ont été menées sur des modèles allant de 20M à 300M de paramètres entraînés sur ~13-26 milliards de tokens. Il n'y a aucune garantie que ces résultats s'étendent à des modèles entraînés sur des ordres de grandeur de calcul supplémentaires.
Inférence autoregressive : Bien que les TMM soient à $O(dn \log n)$ pendant le préremplissage, ils reviennent à une complexité de $O(n^2)$ pour la génération autoregressive une fois le premier token calculé (car les lignes de la matrice d'entrée doivent être mises en cache et traitées séquentiellement). Ainsi, les TMM offrent un temps jusqu'au premier token plus rapide pour les longs prompts, mais n'accélèrent pas la génération des tokens subséquents par rapport aux Transformers.
Espace de configuration : L'étude a testé un nombre limité de configurations architecturales en raison du nombre exponentiel de combinaisons d'hyperparamètres possibles.

En conclusion, le TMM représente une direction prometteuse pour la modélisation de séquences qui équilibre l'efficacité computationnelle avec la haute rétention d'information nécessaire aux tâches de raisonnement et de récupération complexes, à condition que le goulot d'étranglement de l'inférence de la génération autoregressive soit géré.