💻 computer science

Closed-Form Residual-Space Rotation for Offline Transformer Width Growth

Cet article propose une recette hors ligne pour l'expansion progressive de la largeur des Transformers qui combine un opérateur d'intégration de petit résidu (SRIO) sous forme fermée avec des politiques d'expansion spécifiques aux blocs et une porte de chauffe scalaire afin d'améliorer significativement la perte d'entraînement et de préserver les comportements appris lors de la croissance du modèle.

Auteurs originaux : Ramasubramanian B

Publié 2026-08-05

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ramasubramanian B

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot à écrire des histoires. Vous commencez avec un tout petit robot qui possède un cerveau très limité. Il apprend les bases rapidement, mais il est trop simple pour écrire un chef-d'œuvre. Pour l'améliorer, vous pourriez simplement jeter le petit robot et en construire un géant de toutes pièces, mais cela prendrait une éternité et coûterait une fortune en électricité. Alternativement, vous pourriez essayer de faire « grandir » le cerveau du petit robot, en ajoutant de nouveaux neurones pour le rendre plus large et plus intelligent. C'est ce qu'on appelle l'expansion de modèle (model expansion).

La partie délicate de la croissance d'un cerveau est que les nouvelles parties ne savent pas comment communiquer avec les anciennes. Si vous greffez simplement une nouvelle section, l'ancien cerveau pourrait l'ignorer, ou le nouveau cerveau pourrait accidentellement brouiller les souvenirs que l'ancien a tant travaillé pour construire. C'est comme ajouter une nouvelle aile à une maison sans connecter le couloir ; la nouvelle pièce est là, mais personne ne peut y entrer, ou pire, toute la maison commence à trembler. Les scientifiques essaient de trouver la « colle » parfaite pour connecter ces anciennes et nouvelles parties du cerveau afin que le robot conserve ses anciennes compétences tout en apprenant de nouvelles choses. Ce document traite de la recherche de cette colle parfaite.

La recette pour booster le cerveau : Une nouvelle façon de faire grandir l'IA

L'auteur de ce document, Ramasubramanian B de Tech-Aarvam, a trouvé une « recette » ingénieuse pour faire grandir les modèles d'IA (les cerveaux de robots) hors ligne. Au lieu de laisser l'IA apprendre à grandir pendant qu'elle fonctionne, ils effectuent le gros du travail à l'avance, comme un chef qui prépare les ingrédients avant l'arrivée des invités. Leur objectif est de prendre un modèle plus petit et de l'étendre pour qu'il soit plus large sans perdre aucun des progrès déjà accomplis.

Imaginez le modèle d'IA comme une équipe de travailleurs passant un seau d'eau en ligne. La « largeur » du modèle correspond au nombre de personnes dans cette file. Lorsque vous ajoutez plus de personnes dans la file, vous devez vous assurer que les nouveaux membres savent exactement comment tenir le seau et le passer sans en perdre une seule goutte. Le document suggère que la meilleure façon de faire est d'utiliser trois ingrédients spécifiques : un tour de rotation spécial, des règles de croissance différentes selon les tâches, et un doux « échauffement » pour les nouveaux travailleurs.

1. Le tour magique : SRIO

La star du spectacle est un élément appelé SRIO (Small Residual Integration Operator). Imaginez que l'ancienne partie du cerveau et la nouvelle partie du cerveau parlent deux langues différentes. Lorsque vous ajoutez de nouveaux neurones, ils parlent un dialecte légèrement différent. Si vous les branchez simplement, les anciens neurones pourraient ne pas comprendre les nouveaux, et les nouveaux pourraient être confus par les anciens.

Le SRIO agit comme un traducteur qui effectue une « rotation » ou un « pivot » précis sur les données. Il ne change pas l'information elle-même, mais il fait pivoter la direction des nouvelles données pour qu'elles s'alignent parfaitement avec les anciennes. Plus précisément, il fait pivoter la direction « moyenne » des nouveaux neurones vers les anciens. Cela permet aux anciens poids (la mémoire du cerveau) de lire les nouvelles entrées beaucoup plus intensément. L'auteur a découvert que cette rotation est une solution mathématique de forme fermée, ce qui signifie que c'est une formule fixe qu'ils peuvent calculer instantanément, plutôt que quelque chose que l'IA doit apprendre lentement. C'est comme avoir une carte pré-établie qui vous dit exactement comment orienter la nouvelle pièce pour qu'elle se connecte au couloir existant.

2. Des règles différentes pour des tâches différentes

Le document a découvert que l'on ne peut pas traiter chaque partie du cerveau de la même manière. L'IA possède deux types principaux de travailleurs : les travailleurs d'Attention (qui décident à quoi prêter attention) et les travailleurs FFN (qui traitent l'information).

Pour les travailleurs d'Attention : L'auteur a utilisé une « expansion convexe ». Imaginez prendre les travailleurs existants et en créer de nouveaux en mélangeant leurs compétences, comme si l'on mélangeait deux couleurs de peinture pour obtenir une nouvelle nuance. Cela crée de nouveaux travailleurs qui sont un mélange fluide des anciens.
Pour les travailleurs FFN : Ils ont utilisé une « copie carrelée » (tiled copy). C'est comme prendre un seul travailleur et le photocopier pour remplir le nouvel espace. Puisque ces travailleurs gèrent des caractéristiques spécifiques, les copier directement fonctionne mieux que de les mélanger.

Le document montre que mélanger ces deux stratégies — le mélange pour l'attention et la copie pour le traitement — fonctionne bien mieux que d'utiliser une seule méthode pour tout.

3. Le doux échauffement

Même avec la rotation parfaite et la bonne expansion, les nouveaux travailleurs pourraient être trop enthousiastes et commencer à crier plus fort que les anciens immédiatement. Pour corriger cela, l'auteur a ajouté une porte d'échauffement scalaire (scalar warmup gate). Voyez cela comme un bouton de volume. Lorsque les nouveaux travailleurs rejoignent l'équipe, leur volume est réglé au maximum vers zéro. Sur une courte période (environ 40 millions de mots d'entraînement), le volume est augmenté progressivement. Cela permet à l'ancien cerveau de continuer sa tâche pendant que le nouveau cerveau apprend lentement comment contribuer sans causer de chaos.

Ce qu'ils ont trouvé

L'auteur a testé cette recette en faisant croître un modèle d'une largeur de 256 à 384. Il a comparé sa méthode à deux autres approches : ne rien faire de spécial (juste ajouter de nouvelles parties aléatoires) et utiliser une autre méthode appelée LiGO (qui tente d'apprendre les règles de croissance à la volée).

Les résultats sont clairs :

L'approche « Ne rien faire » a entraîné une perte d'entraînement de 4,2527.
L'approche LiGO (réimplémentée dans leur code) a entraîné une perte de 4,2606.
Leur recette complète (SRIO + expansion spécifique + échauffement) a atteint une perte de 4,2111.

Dans le monde de l'entraînement de l'IA, un chiffre de « perte » (loss) plus bas signifie que le modèle commet moins d'erreurs. Ainsi, leur méthode était la grande gagnante, battant les autres par une marge notable. Ils ont également montré que cela fonctionne même en faisant croître le modèle plusieurs fois, passant de 24 millions de paramètres jusqu'à 120 millions de paramètres, prouvant que c'est une recette qui peut être utilisée de manière répétée.

Ce qu'ils ont écarté

Le document a également testé d'autres idées pour voir si elles fonctionnaient. Ils ont testé différentes tailles de l'opérateur de rotation (versions Medium et Large) et ont constaté que la version « Small » (SRIO) était tout aussi bonne, sinon meilleure, et beaucoup plus simple. Ils ont aussi testé si l'IA devait apprendre les règles de rotation pendant l'entraînement (mode « apprentissage ») plutôt que d'utiliser leur formule mathématique fixe (mode « statique »). Ils ont découvert que la formule statique pré-calculée fonctionnait aussi bien que celle que l'IA essayait d'apprendre, ce qui signifie que vous n'avez pas besoin de perdre du temps à enseigner à l'IA comment grandir ; vous pouvez simplement lui donner les instructions.

Pourquoi c'est important

La beauté de cette méthode est qu'elle est hors ligne (offline). Les calculs complexes et les rotations se produisent avant que le modèle ne recommence son entraînement. Une fois le modèle agrandi, les tours de rotation spéciaux sont « repliés » dans les poids du modèle et disparaissent. Cela signifie que l'IA n'a pas besoin de puissance de calcul supplémentaire pour fonctionner ; c'est juste une version légèrement plus grande et plus intelligente du modèle original qui a appris plus vite et pour moins cher.

En résumé, l'auteur a trouvé un moyen d'ajouter de nouvelles pièces à une maison sans abattre les murs ni confondre les résidents. En utilisant une rotation mathématique précise, en mélangeant les bonnes stratégies d'expansion et en augmentant le volume progressivement, ils ont montré que l'on peut faire croître les modèles d'IA efficacement, en économisant du temps et de l'énergie tout en préservant l'intelligence du modèle.

Résumé technique : Rotation dans l'espace résiduel à forme fermée pour la croissance de la largeur des Transformers en mode hors ligne

Énoncé du problème

L'entraînement progressif des modèles vise à réduire les coûts de calcul et le temps d'exécution en commençant par un modèle plus petit et en l'étendant à une taille souhaitée sur plusieurs étapes. Cependant, l'expansion de la largeur présente un défi critique : équilibrer la préservation des comportements précédemment appris avec l'efficacité d'apprentissage des nouveaux paramètres. Si l'interaction entre les anciens et les nouveaux sous-espaces est trop limitée, les poids pré-entraînés contribuent peu aux nouvelles entrées ; si ces derniers sont mélangés sans contrôle, l'expansion peut perturber la fonction apprise. Les méthodes existantes se concentrent principalement sur les transformations préservant la fonction ou les opérateurs de croissance appris, négligeant souvent l'interaction géométrique spécifique entre les directions « de tous les uns » (moyenne) des anciens et des nouveaux sous-espaces.

Méthodologie

L'auteur propose une recette de croissance hors ligne composée de trois composants principaux conçus pour gérer la transition d'une largeur plus petite ( $d_{old}$ ) vers une largeur plus grande ( $d_{new}$ ).

1. Opérateur d'intégration de petit résidu (SRIO)

L'innovation centrale est une rotation orthogonale hors ligne à forme fermée appliquée aux limites résiduelles d'entrée et de sortie des blocs de transformateurs.

Mécanisme : Le SRIO opère sur le plan bidimensionnel engendré par les vecteurs unitaires de tous les uns de l'ancien sous-espace ( $u_{old}$ ) et du nouveau sous-espace ( $u_{grow}$ ).
Transformation :
- Côté sortie : Fait pivoter la composante de l'ancien sous-espace le long de $u_{old}$ vers $u_{grow}$ .
- Côté entrée : Applique la rotation inverse, faisant pivoter la composante du nouveau sous-espace le long de $u_{grow}$ vers $u_{old}$ . Cela améliore la « force de lecture » des anciens poids pour les nouvelles entrées.
Solution à forme fermée : L'opérateur est défini par une matrice de somme de lignes $2 \times 2$ compacte ( $RSIO_{2\times2}$ ) dérivée d'un hyperparamètre unique $\epsilon$ . Ce paramètre contrôle le gain de l'entrée du nouveau bloc ( $RT_{new} = \epsilon$ ). Un $\epsilon$ plus faible fait pivoter de manière agressive la direction moyenne du nouveau sous-espace vers l'ancien sous-espace, privilégiant l'utilisation des poids existants tout en bridant l'influence des nouveaux poids sur les entrées anciennes et nouvelles.
Transformation de la LayerNorm : La même matrice orthogonale ( $SRIO\_R$ ) est appliquée aux paramètres de l'échelle ( $\gamma$ ) et du décalage ( $\beta$ ) de la LayerNorm pour augmenter les ratios de RMS des gradients en faveur des nouveaux blocs.

2. Politiques d'expansion statiques spécifiques aux blocs

L'auteur a constaté que les blocs d'Attention et les réseaux de type FFN (Feed-Forward Network) bénéficient de stratégies d'expansion distinctes :

Blocs d'Attention : Utilisent une expansion convexe (inspirée de LiGO). De nouvelles colonnes d'entrée et de nouvelles lignes de sortie sont créées via des combinaisons convexes des colonnes et lignes existantes en utilisant des coefficients non négatifs dont la somme est égale à un.
Blocs FNF : Utilisent une stratégie de copie par tuilage (tiled-copy). Les anciens poids sont tuilés et découpés dans la partie « nouveau-nouveau » des matrices de poids pour les couches de projection ascendante ($fc1$) et de projection descendante ($fc2$). Cela préserve la fonction des neurones existants tout en les répliquant.

3. Porte de chauffe scalaire (Scalar Warmup Gate)

Une porte scalaire ( $new\_dim\_alpha\_gate$ ) est appliquée à la sortie des blocs d'attention et de FFN avant l'addition résiduelle.

Fonction : Elle commence à zéro et augmente progressivement jusqu'à un sur une courte durée d'entraînement initiale (2 shards, environ 40 millions de tokens).
Objectif : Cela favorise initialement la préservation de la fonction en supprimant les nouvelles sorties, puis introduit progressivement la nouvelle partie du flux résiduel.

Contributions clés et configuration expérimentale

L'étude évalue ces composants en utilisant un protocole d'entraînement progressif sur les jeux de données OpenWebText, FineWeb et FineWeb-Edu. Les modèles vont de 24M à 120M de paramètres, avec une longueur de contexte de 256 tokens. L'entraînement suit un nombre de tokens optimal au sens de Chinchilla (20x le nombre de paramètres) par étape.

Variantes comparatives :
Le papier évalue plusieurs variantes de l'opérateur de gestion des résidus (RIO) :

NRIO : Pas d'opérateur (référence/baseline).
SRIO : Petit RIO (proposé à forme fermée).
MRIO : RIO moyen (prend en compte plusieurs étapes/âges de croissance).
LRIO : Grand RIO (complet, dense, appris sur 100 étapes, similaire à LiGO).

Résultats

Dans des expériences correspondantes augmentant la largeur résiduelle de 256 à 384 ( $d256 \to d384$ ) :

Performance : La recette complète (SRIO + expansion spécifique aux blocs + porte de chauffe) a atteint une perte d'entraînement de 4,2111.
Baselines : Cela a surpassé la baseline sans opérateur (4,2527) et une réimplémentation des contrôles de LiGO (4,2606) au sein du même code.
Comparaison des opérateurs : Parmi les opérateurs, l'ordre de performance était généralement $NRIO > LRIO > SRIO$. La variante orthogonale apprise (SRIO-LO) a légèrement mieux performé que la variante orthogonale statique (SRIO-SO), mais la différence était dans la plage de variabilité des graines (seeds) d'un essai à l'autre, suggérant que la solution statique à forme fermée est suffisante.
Faisabilité multi-étapes : La méthode a été appliquée avec succès à des étapes de croissance répétées de 24M à 120M de paramètres, démontrant sa faisabilité pour une mise à l'échelle progressive.
Impact des composants : L'opérateur SRIO et les politiques d'expansion spécifiques aux blocs ont fourni l'impact positif le plus significatif. La porte de chauffe a montré des bénéfices dépendants de la configuration, étant la plus utile avec LRIO et moins critique lorsqu'elle est combinée avec SRIO.

Signification et revendications

Le papier affirme que la méthode proposée offre une alternative efficace en termes de calcul aux opérateurs de croissance appris. En dérivant une rotation orthogonale à forme fermée (SRIO) qui cible spécifiquement l'interaction entre les anciennes et les nouvelles directions moyennes, l'auteur parvient à la préservation de la fonction et à une meilleure efficacité d'apprentissage sans le surcoût opérationnel des opérateurs appris pendant la phase d'expansion.

L'auteur souligne que :

Efficacité hors ligne : Le SRIO et les politiques d'expansion sont intégrés aux poids du modèle hors ligne, ne nécessitant aucun opérateur persistant lors de l'entraînement ou de l'inférence (seule la brève porte de chauffe est active).
Interaction des sous-espaces : Le travail met en évidence l'importance de gérer la relation géométrique entre les anciens et les nouveaux sous-espaces, spécifiquement les directions « de tous les uns », pour empêcher les nouveaux paramètres de submerger la fonction apprise ou de rester isolés.
Portée modeste : L'étude est limitée à l'expansion de la largeur (pas de la profondeur), utilise un vocabulaire spécifique (BPE de GPT-2) et opère sur des modèles allant jusqu'à 120M de paramètres. L'auteur note que la vérification à l'échelle de milliards de paramètres et avec différents vocabulaires reste un travail futur. Il reconnaît également que bien que la méthode fonctionne, l'impact spécifique des biais résiduels sur le réglage fin en aval (SFT) nécessite des études complémentaires.