🤖 machine learning

Nexusformer: Nonlinear Attention Expansion for Stable and Inheritable Transformer Scaling

Le papier présente Nexusformer, une architecture Transformer qui remplace les projections linéaires de l'attention par une couche non linéaire « Nexus-Rank » pour permettre une expansion progressive et stable des modèles sans réentraînement complet, réduisant ainsi considérablement les coûts de calcul tout en maintenant les performances.

Auteurs originaux : Weijie Zhao, Mingquan Liu, Bolun Wang, Simo Wu, Nuobei Xie, Rui-Jie Zhu, Peng Zhou

Publié 2026-04-22

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Weijie Zhao, Mingquan Liu, Bolun Wang, Simo Wu, Nuobei Xie, Rui-Jie Zhu, Peng Zhou

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🚀 Nexusformer : Comment faire grandir un cerveau d'IA sans tout recommencer à zéro

Imaginez que vous construisez un immense château de cartes (c'est votre modèle d'Intelligence Artificielle). Aujourd'hui, si vous voulez un château plus grand et plus impressionnant, la méthode habituelle est de tout détruire et de recommencer à zéro avec plus de cartes. C'est lent, coûteux et on perd tout ce qu'on avait appris avec le petit château.

Les chercheurs de ce papier ont trouvé une meilleure façon : Nexusformer. C'est une méthode qui permet d'agrandir le château pendant qu'il est debout, sans le faire tomber, en ajoutant des pièces intelligentes qui s'intègrent parfaitement.

Voici comment ça marche, étape par étape :

1. Le Problème : Le "Cou de Bouteille" Linéaire

Dans les modèles classiques (comme les Transformers actuels), il y a une pièce maîtresse appelée l'Attention. C'est comme un chef d'orchestre qui écoute tous les musiciens (les mots) pour décider qui joue quoi.

Le problème : Ce chef d'orchestre utilise une règle très rigide : il ne peut voir les musiciens que dans une pièce de taille fixe. Si vous voulez ajouter plus de musiciens (plus de données), vous ne pouvez pas simplement élargir la pièce, car les murs sont en béton armé (des mathématiques linéaires).
La conséquence : Pour avoir plus de capacité, il faut construire un tout nouveau chef d'orchestre et tout réapprendre. C'est comme si vous deviez réapprendre à parler français chaque fois que vous voulez enrichir votre vocabulaire.

2. La Solution : Le "Nexus-Rank" (Le Tunnel Magique)

Nexusformer remplace ce mur de béton par un tunnel magique en trois étapes (qu'ils appellent Nexus-Rank).

Imaginez que vous devez traverser une rivière pour aller d'un point A à un point B.

L'ancienne méthode : Vous sautez directement d'une rive à l'autre. Si la rivière est trop large, vous ne pouvez pas passer.
La méthode Nexusformer :
1. Étape 1 (Le Pont) : Vous passez d'abord sur un petit pont intermédiaire (une dimension moyenne).
2. Étape 2 (La Grande Salle) : Ensuite, vous entrez dans une immense salle de bal où vous pouvez danser librement et faire des mouvements complexes (une dimension très grande). C'est ici que la "magie" non-linéaire se produit : le modèle peut connecter des idées complexes qu'il ne pouvait pas voir avant.
3. Étape 3 (Le Retour) : Enfin, vous ressortez par la porte principale, exactement là où vous deviez être, mais avec une expérience enrichie.

L'analogie : C'est comme si, au lieu de simplement élargir une route (ce qui crée des embouteillages), vous construisiez un échangeur autoroutier complexe avec des rampes et des tunnels pour que la circulation (l'information) puisse se mélanger de manière beaucoup plus intelligente.

3. La Croissance "Innocente" : L'Expansion à Double Axe

C'est la partie la plus géniale. Comment on agrandit ce système sans casser ce qui est déjà appris ?

L'astuce des "Zéros" : Quand on ajoute de nouvelles pièces au modèle (pour le rendre plus grand), on les remplit de zéros au début.
Pourquoi c'est génial ? Imaginez que vous ajoutez une nouvelle aile à votre maison. Si vous peignez les murs en blanc (zéro) et que vous ne mettez pas de meubles dedans, personne ne remarque le changement immédiat. La maison fonctionne exactement comme avant.
L'entraînement : Ensuite, pendant que le modèle continue d'apprendre, ces nouvelles pièces "blanches" se remplissent doucement de connaissances. Comme elles commençaient à zéro, elles ne perturbent pas les connaissances déjà acquises dans l'ancienne partie de la maison.

C'est comme si vous ajoutiez un nouveau muscle à votre corps sans avoir besoin de réapprendre à marcher. Vous grandissez en douceur.

4. Les Résultats : Plus intelligent, moins cher

Les chercheurs ont testé cette méthode sur des tâches de raisonnement (comme résoudre des énigmes ou répondre à des questions).

Résultat : Nexusformer est aussi bon, voire meilleur, que les modèles classiques.
L'économie : Pour atteindre le même niveau de performance, Nexusformer a besoin de 41,5 % d'ordinateurs en moins (moins de temps de calcul) lors de l'agrandissement. C'est comme réussir à construire un gratte-ciel en utilisant la moitié des briques habituelles.

5. La "Loi de la Gravité" Mathématique

Le papier découvre aussi quelque chose de fascinant sur la façon dont le modèle grandit.

Quand on ajoute les nouvelles pièces (les zéros), le modèle commence par "s'éloigner" un peu de sa position stable (comme un ballon qu'on lâche), puis il revient doucement vers le centre (comme un aimant).
Les chercheurs ont trouvé une formule mathématique qui prédit exactement quand le modèle va être le plus performant, en regardant cette "distance" qu'il parcourt. C'est comme avoir un GPS qui vous dit exactement quand vous avez atteint le meilleur point de votre voyage.

En résumé

Nexusformer est une nouvelle architecture d'IA qui :

Remplace les règles rigides par des tunnels flexibles et intelligents.
Permet d'agrandir le modèle sans le casser, en utilisant des pièces "vides" au début.
Rend le processus beaucoup moins cher et plus rapide.

C'est un pas de géant vers des intelligences artificielles qui peuvent évoluer et apprendre toute leur vie, au lieu d'être figées une fois entraînées.

Titre : Nexusformer : Expansion Non-linéaire de l'Attention pour une Mise à Échelle Stable et Héritable des Transformers

1. Problématique

L'approche actuelle pour améliorer les modèles de langage repose principalement sur l'entraînement de modèles plus grands à partir de zéro (from scratch). Cette méthode présente deux défauts majeurs :

Gaspillage computationnel : Chaque nouveau modèle plus grand doit réapprendre les représentations acquises par les modèles plus petits, ce qui est extrêmement coûteux.
Limites architecturales des Transformers standards : L'architecture standard souffre d'une goulot d'étranglement de linéarité. Les projections linéaires (Query, Key, Value) dans le mécanisme d'attention contraignent l'extraction de caractéristiques à des sous-espaces vectoriels fixes de dimension $D$ $D$ .
- Cela limite l'expressivité du modèle (incapacité à modéliser des interactions sémantiques complexes sans dépendre de couches profondes).
- Cela rend l'expansion progressive difficile : augmenter la taille des matrices de projection linéaires provoque des décalages de distribution (distribution shifts) importants, dégradant les performances et nécessitant un réentraînement massif.

Les méthodes existantes d'expansion (comme Net2Net ou Tokenformer) ou d'adaptation efficace (LoRA) restent fondamentalement linéaires et ne résolvent pas ce problème de capacité rigide.

2. Méthodologie : Nexusformer

Pour surmonter ces limites, les auteurs proposent Nexusformer, une architecture qui remplace les projections linéaires classiques par une couche d'expansion non linéaire appelée Nexus-Rank.

A. La Couche Nexus-Rank (Expansion Non-linéaire)

Au lieu d'une projection directe $X \to Q/K/V$ via une matrice linéaire, Nexusformer utilise un mappage en trois étapes à travers des espaces de dimensions croissantes ( $D < M < A$ ) :

Étape 1 (Uplift) : Projection de l'entrée de dimension $D$ vers un espace intermédiaire de dimension $M$ ( $M > D$ ), suivie d'une activation non linéaire (GeLU).
Étape 2 (Expansion) : Projection de $M$ vers un espace de sur-capacité $A$ ( $A > M$ ), suivie d'une seconde activation non linéaire. C'est ici que le modèle capture les interactions d'ordre supérieur.
Étape 3 (Réduction) : Projection de $A$ retour à la dimension originale $D$ .

Cette structure $D \to M \to A \to D$ brise la contrainte de linéarité, permettant au modèle de découpler les caractéristiques complexes avant la composition finale, tout en restant compatible avec les architectures Transformer existantes.

B. Mécanisme de Croissance à Double Axe avec Initialisation Zéro

Nexusformer introduit un mécanisme de croissance structurelle permettant d'ajouter de la capacité sans détruire les connaissances pré-entraînées :

Croissance Double Axe : L'expansion se fait simultanément sur deux dimensions : l'axe intermédiaire $M$ et l'axe de sur-capacité $A$ .
Initialisation Zéro : Les nouveaux blocs de paramètres ajoutés lors de l'expansion sont initialisés à zéro.
- Avantage : Au moment de l'expansion, les nouveaux paramètres n'ajoutent aucune perturbation aux sorties du modèle. Le modèle conserve exactement ses performances initiales.
- Dynamique : Pendant l'entraînement continu, les nouveaux blocs apprennent progressivement à s'aligner avec les connaissances existantes, suivant une trajectoire de convergence stable.

3. Contributions Clés

Architecture Nexusformer : Remplacement structurel des projections d'attention linéaires par des couches Nexus-Rank profondes et non linéaires pour augmenter la capacité de représentation.
Mécanisme de Croissance Héritable : Introduction d'une stratégie de croissance à double axe avec initialisation zéro, permettant une expansion de paramètres "sans perte" (lossless) et un entraînement continu efficace.
Analyse Statistique de la Dynamique de Croissance :
- Identification d'une trajectoire d'évolution centrifuge-centripète : le modèle diverge initialement pour explorer l'espace des caractéristiques, puis converge vers un noyau stable.
- Dérivation d'une loi d'échelle géométrique reliant l'énergie radiale ( $R$ ) de la distribution des paramètres à la perplexité du modèle, permettant de prédire les performances lors de l'expansion.

4. Résultats Expérimentaux

Les expériences ont été menées sur des tâches de modélisation linguistique et de raisonnement (benchmarks PIQA, OBQA, HellaSwag, ARC-E, ARC-C) avec des modèles allant de 170M à 640M paramètres.

Efficacité Computationnelle : Lors d'une mise à l'échelle progressive (de 240M à 440M), Nexusformer atteint la même perplexité que le modèle de référence Tokenformer en utilisant 41,5 % de moins de puissance de calcul (temps GPU).
Performance :
- Nexusformer surpasse systématiquement les baselines (Qwen3, Tokenformer, Transformer++) sur tous les benchmarks de raisonnement.
- À l'échelle de 640M, Nexusformer obtient un score de 47,48 en moyenne, surpassant Tokenformer (43,97) et Qwen3 (37,73).
- Sur le benchmark difficile ARC-Challenge, Nexusformer obtient 30,72 contre 27,90 pour Tokenformer.
Analyse de la Croissance : L'analyse de la trajectoire de croissance révèle que l'initialisation zéro est cruciale. Toute perturbation (bruit gaussien) lors de l'initialisation brise la trajectoire centripète structurée et dégrade l'apprentissage, transformant la dynamique en une exploration désordonnée.
Loi d'Échelle : Une corrélation linéaire négative forte a été trouvée entre le logarithme de la perplexité et le logarithme de l'énergie radiale $| \ln(R) |$ , validant une loi d'échelle universelle pour prédire les performances lors de l'expansion.

5. Signification et Impact

Ce travail propose un changement de paradigme dans la mise à l'échelle des modèles de fondation :

Fin du "From Scratch" : Il démontre qu'il est possible d'augmenter la capacité des modèles de manière incrémentale et héritable, réduisant drastiquement le coût total d'entraînement.
Dépassement de la Linéarité : Il prouve que la linéarité des projections d'attention est un frein majeur à l'efficacité et à l'expressivité, et que l'introduction de non-linéarités structurées (Nexus-Rank) permet de mieux exploiter les données et les paramètres.
Prédictibilité : La découverte d'une loi d'échelle géométrique basée sur l'état d'initialisation offre un cadre théorique pour optimiser le moment et la méthode d'expansion des modèles, passant d'une approche empirique à une approche contrôlée et prédictive.

En résumé, Nexusformer offre une architecture robuste pour construire des modèles de langage évolutifs, économes en ressources et capables de conserver et d'étendre leurs connaissances de manière fluide.