🤖 machine learning

Dynamic Short Convolutions Improve Transformers

Cet article introduit les convolutions courtes dynamiques, une primitive neuronale dépendante de l'entrée qui améliore la performance et l'efficacité de mise à l'échelle des Transformers en surpassant les variantes convolutionnelles standards et statiques à travers diverses architectures et tâches, tout en maintenant l'efficacité matérielle grâce à des noyaux Triton personnalisés.

Auteurs originaux : Oliver Sieberling, Bharat Runwal, Rameswar Panda, Yoon Kim

Publié 2026-06-03

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Oliver Sieberling, Bharat Runwal, Rameswar Panda, Yoon Kim

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de comprendre une longue histoire, comme un roman ou un scénario de film. Pour ce faire, vous devez vous souvenir de ce qui s'est passé plus tôt et de la façon dont cela se connecte à ce qui se passe en ce moment.

Pendant quelques années, la meilleure façon pour les ordinateurs (plus précisément les modèles d'IA appelés « Transformers ») de faire cela a été d'utiliser un mécanisme appelé Attention. Considérez l'Attention comme un projecteur surpuissant. Lorsque l'ordinateur lit un mot, le projecteur scanne l'histoire entière pour trouver tous les autres mots qui pourraient être pertinents, peu importe leur éloignement. C'est incroyablement flexible, mais cela peut être lent et gourmand en énergie parce que l'ordinateur doit tout regarder en même temps.

Il y a quelques années, des chercheurs ont tenté d'ajouter des Convolutions au mélange. Considérez une convolution comme une petite « loupe » locale qui ne regarde que les 3 ou 4 mots immédiatement entourant le mot actuel. C'est rapide et efficace, mais c'est « statique ». C'est comme une loupe avec une lentille fixe ; elle zoome de la même manière sur chaque mot, qu'il s'agisse d'un nom, d'un verbe ou d'une expression déroutante.

La nouvelle idée : La loupe intelligente et changeante de forme

Cette publication introduit un nouvel outil appelé Convolutions Courtes Dynamiques (Dynamic Short Convolutions).

Si une convolution statique est une loupe fixe, une convolution dynamique est une loupe intelligente et changeante de forme.

Voici comment cela fonctionne en termes simples :

Cela regarde localement : Comme l'ancienne loupe, elle ne regarde que les quelques mots juste à côté du mot actuel. Cela permet de rester rapide et efficace.
Cela change d'avis : Contrairement à l'ancienne version, ce nouvel outil examine le mot actuel et demande : « De quel type de lentille ai-je besoin en ce moment ? »
- Si le mot est « can » (comme un contenant métallique), l'outil peut décider de regarder le mot précédent « old » pour comprendre « old can ».
- Si le mot est « can » (comme dans « être capable de »), l'outil peut décider de regarder le mot suivant « swim » pour comprendre « can swim ».

L'ordinateur génère un filtre unique (une lentille) pour chaque mot en fonction de ce que ce mot est. Cela permet à l'IA de bien mieux comprendre le contexte local qu'auparavant, sans perdre les avantages de vitesse liés à l'utilisation d'une petite fenêtre.

Ce que les chercheurs ont découvert

Les auteurs ont testé ce nouvel outil « changeant de forme » sur divers modèles d'IA, allant de petits modèles (150 millions de paramètres) à de grands modèles (2 milliards de paramètres). Voici ce qu'ils ont découvert :

C'est plus intelligent : Lors de tests conçus pour voir si l'IA pouvait se souvenir de détails spécifiques (comme une tâche de « aiguille dans une botte de foin »), les modèles utilisant ce nouvel outil étaient nettement meilleurs pour trouver l'information pertinente que les modèles utilisant les anciens outils statiques.
C'est plus efficace : Ils ont constaté que pour atteindre le même niveau d'intelligence, un modèle doté de ce nouvel outil nécessitait moins de puissance de calcul. Ils ont calculé qu'il offre un avantage de 1,33x à 1,60x.
- Analogie : Imaginez deux voitures essayant de parcourir la même distance. La voiture dotée du nouvel outil parcourt le trajet en utilisant 30 % de carburant en moins que la voiture standard, ou elle y parvient plus rapidement avec la même quantité de carburant.
Cela fonctionne partout : Ils n'ont pas seulement testé cet outil sur des modèles d'IA standards. Ils l'ont également essayé sur de nouveaux types d'IA (comme « Mamba » et « DeltaNet ») et ont constaté qu'il améliorait aussi ces modèles.
C'est assez rapide : Généralement, lorsque l'on rend un outil « plus intelligent », il devient plus lent. Les auteurs ont construit un logiciel spécial (appelé « noyaux Triton ») pour s'assurer que ce nouvel outil s'exécute efficacement sur les puces informatiques modernes. Ils ont constaté que la pénalité de vitesse était très faible (seulement environ 8 % plus lent pour la version la plus courante), ce qui est un petit prix à payer pour le grand gain d'intelligence.

L'essentiel à retenir

L'article soutient que les Convolutions Courtes Dynamiques sont un nouveau bloc de construction essentiel pour la prochaine génération d'IA. Elles combinent le meilleur de deux mondों : la vitesse de ne regarder que quelques mots à la fois, et la flexibilité de changer la façon dont vous regardez ces mots en fonction du contexte.

Les chercheurs concluent que c'est une façon pratique et évolutive de rendre les modèles d'IA plus intelligents et plus efficaces sans avoir besoin d'inventer des architectures entièrement nouvelles à partir de zéro. C'est comme améliorer un moteur de voiture standard avec un turbo intelligent qui s'ajuste aux conditions de la route, vous donnant plus de puissance sans avoir besoin d'un moteur plus gros.

Résumé technique : Les convolutions courtes dynamiques améliorent les Transformers

Énoncé du problème

Bien que les Transformers soient devenus l'architecture dominante pour les grands modèles de langage (LLM) en raison de la scalabilité des mécanismes d'attention, ils manquent d'un biais inductif inhérent envers la structure séquentielle locale. Bien que les convolutions courtes statiques (convolutions séparables en profondeur avec de petites largeurs de noyau) aient été explorées pour introduire une localité, elles appliquent des filtres fixes à toutes les positions, ce qui limite leur capacité à modéliser des compositions locales dépendantes du contexte. L'article pose l'hypothèse qu'une primitive plus expressive est nécessaire — une primitive qui conserve l'efficacité et le biais de localité des convolutions, tout en permettant au mécanisme de filtrage de s'adapter dynamiquement à l'entrée, améliorant ainsi les performances sur les tâches nécessitant une agrégation locale dynamique sans sacrifier la scalabilité.

Méthodologie

Convolutions courtes dynamiques

Les auteurs introduisent les convolutions courtes dynamiques comme une primitive de réseau de neurones. Contrairement aux convolutions statiques où les poids $w$ sont fixes, les convolutions dynamiques génèrent des filtres dépendants de l'entrée $w(t)$ à chaque pas de temps $t$ .

Mécanisme : Pour une séquence d'activations $x_t$ , la sortie est calculée comme $y_t := \sum_{k=0}^{W-1} w(t)_k \odot x_{t-k}$ .
Paramétrage : Le filtre $w(t)$ $w (t)$ est généré par une transformation linéaire apprise de l'état caché actuel. Pour maintenir l'efficacité des paramètres, les auteurs proposent deux paramétrages spécifiques :
1. Factorisation de rang faible : La projection est factorisée par une transformation de rang faible $R$ .
2. Partage par tête (Head-wise tying) : Les dimensions sont divisées en têtes, où un filtre de poids unique est partagé entre $H$ canaux consécutifs.
Placement : Dans les expériences principales, les convolutions dynamiques sont appliquées aux projections Query (Q), Key (K) et Value (V) avant les plongements de position rotatifs (RoPE), avec une connexion résiduelle ( $X = X + \text{dynamicShortConv}(X)$ ). Les auteurs expérimentent également l'application de ces convolutions après chaque couche linéaire du Transformer.

Implémentation d'entraînement efficace

Les convolutions dynamiques sont limitées par la mémoire en raison de leur faible intensité arithmétique. Les implémentations naïves souffrent d'un trafic excessif de la mémoire haute bande passante (HBM). Pour y remédier, les auteurs ont développé des noyaux Triton personnalisés :

Calcul sur puce (On-chip) : Les noyaux lisent les activations et les poids dynamiques, effectuent la convolution complète sur la puce, et n'écrivent que le résultat final dans la HBM.
Noyau de rang faible fusionné : Pour la variante de rang faible, le noyau fusionne la seconde projection de la factorisation directement dans la convolution. Il lit les entrées de rang faible ( $z$ ) et la matrice de projection ( $U$ ), génère les poids ($zU$) sur la puce, et applique la convolution immédiatement, évitant ainsi la matérialisation du tenseur de poids dynamique complet dans la HBM.
Performance : Ces noyaux atteignent une latence compétitive ou supérieure aux noyaux de convolution statiques optimisés (ex: causal_conv1d), avec des ralentissements de débit d'entraînement de bout en bout d'environ 8 % pour la variante QKV et de 22 % pour la variante toutes-couches-linéaires à l'échelle de 2 milliards de paramètres.

Contributions clés

Nouvelle primitive : La proposition des convolutions courtes dynamiques comme une primitive dépendante de l'entrée et dotée d'un biais de localité, qui généralise les convolutions courtes statiques.
Analyse des lois d'échelle (Scaling Laws) : Preuve empirique démontrant que les convolutions dynamiques offrent un avantage de calcul par rapport aux Transformers standards.
- Avantage de 1,33× lorsqu'elles sont appliquées aux vecteurs Q, K et V.
- Avantage de 1,60× lorsqu'elles sont appliquées après chaque couche linéaire.
Efficacité matérielle : Le développement de noyaux Triton personnalisés qui rendent les convolutions dynamiques praticables pour l'entraînement sur des GPU modernes (H100) avec un surcoût gérable.
Large applicabilité : Validation de l'approche à travers diverses architectures, incluant les Transformers denses, les modèles Mixture-of-Experts (MoE) et les RNN linéaires (Mamba-2 et Gated DeltaNet).

Résultats expérimentaux

Benchmarks synthétiques

MQAR à clé variable : Sur une tâche de rappel associatif multi-requête (Multi-Query Associative Recall) modifiée où les clés ont des longueurs variables et partagent des jetons, les convolutions dynamiques ont nettement surpassé les Transformers classiques et ceux avec des convolutions statiques. Cela souligne la capacité du modèle à résoudre dynamiquement des structures locales de longueur variable.
Benchmark MAD : Les convolutions dynamiques ont montré de fortes performances sur le benchmark de conception d'architecture mécaniste (Mechanistic Architecture Design), particulièrement sur le "Fuzzy Recall", où les clés et les valeurs consistent en des nombres de jetons variables.

Modélisation du langage

Les expériences ont été menées sur le corpus Nemotron-CC avec des tailles de modèles allant de 150M à 2B paramètres, et un modèle MoE de 7B paramètres.

Perplexité et précision : Les convolutions dynamiques ont systématiquement réduit la perplexité et amélioré la précision zero-shot sur les tâches de raisonnement de bon sens (lm-eval-harness) par rapport aux :
- Transformers standards.
- Transformers avec des convolutions courtes statiques.
- Transformers avec un nombre de paramètres accru (FFN plus larges) pour correspondre au budget de paramètres des variantes dynamiques.
RNN Linéaires : Remplacer les convolutions statiques par des convolutions dynamiques dans Mamba-2 et Gated DeltaNet a considérablement amélioré la perplexité, suggérant que les convolutions dynamiques offrent un mécanisme de mélange de séquences plus efficace que le redessin du mélangeur de séquences lui-même.
Benchmark RULER : Les convolutions dynamiques ont montré des gains particuliers dans les sous-tâches multi-clé, multi-requête et multi-valeur, s'alignant sur leur capacité d'agrégation locale dépendante de l'entrée.

Études d'ablation

Largeur de noyau (Kernel Width) : Une largeur de $W=3$ ou $4$ a été identifiée comme le point optimal.
Placement : Appliquer les convolutions dynamiques aux trois projections (Q, K, V) a donné les meilleurs résultats, la projection Value fournissant le gain individuel le plus significatif.
QK-Norm : Les bénéfices des convolutions dynamiques ont persisté même lorsqu'elles étaient combinées avec la QK-norm, alors que les convolutions statiques offraient peu de bénéfices dans ce cadre.

Signification et affirmations

L'article affirme que les convolutions courtes dynamiques représentent une primitive scalable, efficace sur le plan matériel et expressive pour faire progresser les modèles de langage basés sur les Transformers. Les auteurs soutiennent que :

Ils ont réussi à combler le fossé entre le biais de localité des convolutions et l'expressivité des mécanismes de type attention.
Les avantages de calcul observés (1,33× à 1,60×) suggèrent que les convolutions dynamiques peuvent améliorer la frontière performance-efficacité des LLM.
Les noyaux Triton personnalisés démontrent que ces gains sont réalisables avec un ralentissement d'entraînement de bout en bout gérable (8–25 %), rendant l'approche pratique pour un déploiement réel.

Les auteurs restent modestes quant à la portée de leurs conclusions, notant que bien que les tendances soient cohérentes jusqu'à 2B de paramètres et un MoE de 7B, des recherches supplémentaires sont nécessaires pour confirmer ces avantages aux échelles de pointe, avec des horizons d'entraînement plus longs et différents mélanges de données. Ils reconnaissent également qu'une ingénierie supplémentaire est nécessaire pour optimiser pleinement l'inférence et supporter un éventail plus large de matériel.