📊 statistics

Uniform Scaling Limits in AdamW-Trained Transformers

Ce papier établit que la dynamique conjointe des états cachés et des variables rétropropagées dans les transformateurs entraînés avec AdamW converge uniformément vers un système d'équations différentielles ordinaires (EDO) avant-arrière (spécifiquement une EDO de McKean-Vlasov en l'absence de masquage causal) à mesure que la profondeur et le nombre de têtes d'attention augmentent, fournissant des bornes d'erreur indépendantes de la dimension sans recourir à des arguments de recouvrement.

Auteurs originaux : William Gibson, Christoph Reisinger

Publié 2026-05-13

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : William Gibson, Christoph Reisinger

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Vue d'Ensemble : D'une Foule Chaotique à une Rivière Fluide

Imaginez un Transformer (le type d'IA derrière les chatbots modernes) comme un immense bâtiment à plusieurs étages.

Les Étages : Le bâtiment possède $L$ étages (couches).
Les Travailleurs : À chaque étage, il y a $H$ équipes de travailleurs (têtes d'attention) qui examinent les informations remontant d'en bas.
Les Données : L'information est un flux de « tokens » (mots ou patches d'image) remontant le bâtiment.
L'Entraînement : Le bâtiment est « entraîné » à l'aide d'un optimiseur appelé AdamW. Imaginez AdamW comme un contremaître très strict et intelligent qui ajuste les outils des travailleurs pour minimiser les erreurs, tout en réduisant doucement la taille de leurs outils pour les empêcher de devenir trop grands et instables (ceci est appelé décroissance des poids).

Le Problème :
Lorsque ce bâtiment est immense (des milliers d'étages et des millions de travailleurs), il devient impossible de suivre le mouvement de chaque travailleur individuel. C'est comme essayer de prédire le trajet exact de chaque grain de sable dans une tempête de sable massive. Habituellement, les mathématiciens disent : « Si nous voulons comprendre la tempête entière, nous devons compter chaque grain », ce qui fait dépendre les mathématiques du nombre de grains (tokens).

La Percée :
Ce papier prouve que vous n'avez pas besoin de compter chaque grain. Même si vous avez un milliard de tokens, le comportement de l'ensemble du système converge vers un flux fluide et prévisible qui ressemble au même, indépendamment du nombre de tokens que vous avez.

L'Analogie Centrale : Le « Système de Particules Interagissantes »

Les auteurs modélisent les états cachés (les données circulant dans le réseau) comme un Système de Particules Interagissantes (IPS).

L'Ancienne Façon : Imaginez une pièce remplie de personnes (tokens) essayant de se parler. Si vous voulez savoir ce que le groupe pense, vous devez écouter chaque conversation individuelle. Si la pièce s'agrandit, les mathématiques deviennent plus difficiles.
La Nouvelle Façon : Les auteurs montrent que si vous avez assez de personnes, vous pouvez arrêter d'écouter les individus et simplement écouter la « ambiance moyenne » de la pièce.
- Au lieu de suivre la personne A parlant à la personne B, vous suivez comment la « personne moyenne » interagit avec l'« ambiance moyenne ».
- Cela transforme un chaos discret et chaotique de mises à jour individuelles en une Rivière de Données fluide et continue.

La Magie de l'« Uniformité » : Pourquoi le Nombre de Tokens n'a pas d'Importance

La partie la plus surprenante du papier est le mot « Uniforme ».

En mathématiques, lorsque vous essayez de prouver que quelque chose fonctionne pour toutes les entrées possibles, vous devez généralement vous soucier du « pire scénario ». Si vous avez 100 tokens, les mathématiques sont d'une certaine manière. Si vous avez 1 000 000 de tokens, les mathématiques deviennent généralement beaucoup plus désordonnées, et les bornes d'erreur (à quel point votre prédiction pourrait être fausse) s'aggravent.

L'Affirmation du Papier : Les auteurs prouvent que l'erreur entre le Transformer réel et désordonné et leur modèle lisse et continu de « Rivière » ne s'aggrave pas à mesure que vous ajoutez plus de tokens.
La Métaphore : Imaginez essayer de prédire la météo. Habituellement, si vous ajoutez plus de stations météorologiques (tokens), votre modèle de prédiction devient plus complexe et plus difficile à résoudre. Ce papier dit : « Non. Une fois que vous avez assez de stations, le modèle météorologique devient une courbe lisse et prévisible qui est tout aussi facile à calculer que vous ayez 10 stations ou 10 millions. »

Ils y sont parvenus en évitant une astuce mathématique appelée « argument de recouvrement » (qui consiste à essayer de cartographier chaque rue d'une ville pour comprendre le trafic). Au lieu de cela, ils ont utilisé une technique appelée concentration de la mesure, qui revient à réaliser que dans une foule immense, le comportement moyen est si stable que les valeurs aberrantes ne comptent pas.

Le Rôle d'AdamW : Le Contremaître « Découplé »

Le papier examine spécifiquement AdamW, l'optimiseur standard pour l'entraînement de ces modèles.

Le Problème : Dans de nombreux modèles mathématiques, les « outils » (paramètres) utilisés par les travailleurs peuvent croître infiniment et devenir sauvages, faisant exploser les mathématiques.
La Solution : AdamW possède une fonctionnalité spéciale appelée décroissance des poids découplée. C'est comme un contremaître qui dit : « Vous pouvez ajuster vos outils pour corriger les erreurs, mais je vais aussi réduire doucement vos outils à une taille sûre chaque jour. »
Le Résultat : Cela maintient tous les outils des travailleurs dans une « boîte » fixe et sûre (un ensemble compact). Parce que les outils ne deviennent jamais trop sauvages, les mathématiques restent stables, et les auteurs peuvent prouver que le modèle de « Rivière » fonctionne parfaitement, même sur de longues sessions d'entraînement.

La « Carte de Flux » et la « Rivière en Retour »

Le papier ne regarde pas seulement les données se déplaçant vers l'avant (Entrée $\to$ Sortie). Il examine également la rétropropagation (la façon dont le modèle apprend de ses erreurs).

Rivière Vers l'Avant : Les données remontent le bâtiment.
Rivière Vers l'Arrière : Les gradients (les « leçons apprises ») descendent le bâtiment.
Le Système : Les auteurs montrent que les données vers l'avant et les leçons vers l'arrière convergent vers un système d'Équations Différentielles Ordinaires (EDO).
- Imaginez cela comme une paire de rivières synchronisées coulant dans des directions opposées.
- Ils ont prouvé que les étapes discrètes de l'ordinateur réel (sauter d'un étage à l'autre) sont presque identiques au flux fluide de ces rivières mathématiques.

Le Résultat Principal (Le « Théorème »)

Le papier fournit une formule spécifique pour indiquer à quel point le Transformer réel est proche de leur modèle mathématique lisse. L'erreur dépend de :

$L$ (Profondeur) : La hauteur du bâtiment.
$H$ (Têtes) : Le nombre d'équipes de travailleurs.

L'erreur diminue à mesure que le bâtiment devient plus haut et compte plus d'équipes. Crucialement, le nombre de tokens ( $N$ ) n'apparaît pas dans la formule d'erreur.

En langage courant :
Si vous construisez un Transformer avec une profondeur infinie et une largeur infinie, entraîné avec AdamW, son comportement devient parfaitement prévisible et lisse. Vous pouvez décrire l'ensemble du système avec un ensemble simple d'équations, et cela n'a pas d'importance si vous traitez 10 mots ou 10 milliards de mots ; les règles du jeu restent les mêmes.

Résumé des Contributions

Lissage : Ils ont transformé l'entraînement chaotique et étape par étape d'un Transformer en un flux fluide et continu (EDO).
Indépendance des Tokens : Ils ont prouvé que ce lissage reste vrai, peu importe le nombre de tokens que vous alimentez au modèle. C'est un résultat rare et puissant car il élimine la « malédiction de la dimensionnalité » concernant le nombre de tokens.
Stabilité d'AdamW : Ils ont montré que la manière spécifique dont AdamW réduit les poids maintient le système stable, leur permettant de prouver ces résultats sans que les mathématiques n'explosent.
Indépendance de la Dimension (Bonus) : S'ils utilisent une version spécifique d'AdamW (Blockwise), les mathématiques cessent également de se soucier de la taille des plongements de mots (la « taille du vocabulaire » des mathématiques), rendant le modèle encore plus évolutif.

L'Essentiel :
Ce papier nous offre une « lentille » mathématique qui nous permet de voir la forêt plutôt que les arbres. Il nous dit que lorsque ces modèles d'IA deviennent de plus en plus grands, ils ne deviennent pas simplement plus complexes ; ils deviennent en réalité plus simples et plus prévisibles, régis par des lois lisses qui sont indépendantes du volume massif de données qu'ils traitent.

Résumé technique : Limites de mise à l'échelle uniforme dans les Transformers entraînés avec AdamW

Énoncé du problème
L'article aborde le défi théorique consistant à comprendre la dynamique d'entraînement des grands modèles de langage (LLM), spécifiquement les Transformers, à mesure qu'ils augmentent en profondeur ( $L$ ) et en largeur (nombre de têtes d'attention, $H$ ). Bien que les lois empiriques de mise à l'échelle poussent l'industrie à augmenter la taille des modèles, une compréhension théorique rigoureuse de la manière dont les choix de conception affectent la généralisabilité et la robustesse dans la limite de profondeur infinie et de largeur infinie reste incomplète.

La littérature existante sur la convergence de la descente de gradient vers l'optimalité globale repose souvent sur des modèles limites (par exemple, les équations différentielles ordinaires neuronales ou les limites de champ moyen). Cependant, transférer les résultats de ces limites vers des modèles pratiques nécessite des bornes de convergence qui s'appliquent uniformément sur l'entrée du modèle. Un écart significatif existe dans la littérature concernant les Transformers entraînés avec l'optimiseur AdamW. Les travaux antérieurs supposent souvent une descente de gradient ou exigent que les paramètres soient partagés ou dépendants entre les couches, ce qui ne reflète pas la pratique standard d'une initialisation indépendante et identiquement distribuée (i.i.d.). De plus, la croissance cubique des gradients dans l'auto-attention à base de softmax (due aux produits de matrices $Q, K, O, V$ ) complique les garanties théoriques, conduisant souvent à des bornes qui croissent exponentiellement avec le nombre d'étapes d'entraînement. Enfin, les bornes de convergence standard dépendent souvent du nombre de tokens ( $N$ ) via des arguments de recouvrement (par exemple, le théorème de l'intégrale d'entropie de Dudley), ce qui limite leur applicabilité à la convergence uniforme sur des distributions d'entrées arbitraires.

Méthodologie
Les auteurs modélisent la dynamique des états cachés d'un Transformer sans masquage, uniquement basé sur l'attention et entraîné avec AdamW, comme un système de particules en interaction (IPS) couplé par le mécanisme d'attention. L'analyse procède selon les étapes suivantes :

Formulation de champ moyen : La dynamique discrète des $N$ tokens et des $H$ têtes est approximée par une limite en temps continu. Il est démontré que les états cachés et les variables rétropropagées (adjointes) convergent vers la solution d'un système d'équations différentielles ordinaires (EDO) direct-rétrograde.
EDO de McKean–Vlasov (MVODE) : En l'absence de masquage causal, le système limite est identifié comme une équation différentielle de McKean–Vlasov. Le champ de vitesse de cette EDO est défini par l'espérance sur la distribution des paramètres.
Gestion d'AdamW et de la non-linéarité : Un composant critique de la méthodologie est le traitement de l'optimiseur AdamW. Contrairement à la descente de gradient stochastique (SGD) standard, AdamW découple la décroissance des poids. Les auteurs exploitent cette propriété pour prouver que le support des mesures de paramètres reste dans un ensemble compact uniformément sur toutes les étapes d'entraînement. Cela permet d'obtenir des constantes de Lipschitz globales pour le mécanisme d'attention et ses dérivées, empêchant la croissance exponentielle des bornes généralement associée à la croissance cubique des gradients dans l'auto-attention.
Convergence uniforme sans recouvrement : Pour obtenir des bornes indépendantes du nombre de tokens ( $N$ $N$ ), les auteurs évitent les arguments de recouvrement traditionnels. À la place, ils utilisent :
- Concentration de la mesure : Application de techniques pour borner la norme $L^1$ des différences de martingale associées à l'initialisation des paramètres.
- Approximation de Taylor par blocs : Division des couches en blocs et approximation des applications de flot au sein de chaque bloc à l'aide de développements de Taylor.
- Structure tensorielle : Exploitation de la structure algébrique spécifique du mécanisme d'attention (exprimée comme des rapports de fonctions linéaires de mesures) pour montrer que le supremum sur les conditions initiales peut être réduit à un espace de dimension finie, éliminant ainsi la dépendance à $N$ .
AdamW par blocs : Les auteurs introduisent une variante d'AdamW (AdamW par blocs) qui régularise séparément des blocs de paramètres. Cette adaptation permet également aux bornes dérivées d'être indépendantes de la dimension d'embedding des tokens ( $d$ ).

Contributions clés

Théorème de convergence uniforme : Le résultat principal (Théorème 7) établit que le Transformer sans masquage, uniquement basé sur l'attention, avec des paramètres initialisés i.i.d. à partir d'une distribution à support compact, converge en $L^2$ uniformément sur les conditions initiales vers un système de particules en interaction d'EDO moyennes. Le taux de convergence est $O(L^{-1} + L^{-1/3}H^{-1/2})$ .
Indépendance vis-à-vis du nombre de tokens : Contrairement aux bornes précédentes qui évoluent avec $\sqrt{\log(N)}$ ou dépendent de $N$ via des arguments de recouvrement, les bornes dérivées sont indépendantes du nombre de tokens $N$ . Cela implique que les résultats valident pour des conditions initiales non présentes dans les données d'entraînement.
Adaptation à AdamW : Ce travail étend les résultats de convergence en grande profondeur aux Transformers entraînés avec AdamW. Il démontre que la décroissance des poids découplée d'AdamW garantit que les paramètres restent dans un ensemble compact, fournissant une continuité de Lipschitz globale en entraînement pour le mécanisme d'attention.
Indépendance de la dimension : En utilisant l'AdamW par blocs, il est démontré que les bornes sont indépendantes de la dimension d'embedding des tokens $d$ .
Dérivées explicites : L'article calcule explicitement les dérivées de Lions pour le mécanisme d'attention sur la composante mesure, établissant une continuité de Lipschitz locale par rapport à la distance de Wasserstein $p$ pour tout $p \in [1, \infty]$ .

Résultats
L'article prouve que, sous une mise à l'échelle appropriée des têtes d'attention et avec des paramètres initialisés i.i.d., la dynamique conjointe des états cachés et des variables rétropropagées converge vers la solution d'un système d'EDO direct-rétrograde.

Taux de convergence : L'erreur entre le modèle discret de Transformer et la limite continue de champ moyen est bornée par $C(L^{-1} + L^{-1/3}H^{-1/2})$ , où $C$ est une constante indépendante de $N$ et, sous AdamW par blocs, indépendante de $d$ .
Uniformité : La convergence est uniforme sur des ensembles compacts de conditions initiales.
Bornes de paramètres : Les auteurs montrent que les mises à jour d'AdamW confinent les paramètres dans un ensemble compact $S(R_\theta)$ uniformément sur toutes les étapes d'entraînement, une propriété cruciale pour établir des constantes de Lipschitz globales.

Importance et affirmations
L'article prétend fournir une fondation théorique rigoureuse pour comprendre le comportement de mise à l'échelle des Transformers entraînés avec l'optimiseur dominant, AdamW. L'importance réside dans :

Combler le fossé : Il relie la dynamique d'entraînement discrète des Transformers pratiques à grande échelle aux limites continues de champ moyen, offrant un cadre traitable pour l'analyse.
Robustesse à la taille de l'entrée : En établissant des bornes indépendantes du nombre de tokens, les résultats suggèrent que le comportement théorique du modèle est intrinsèque à son architecture et son initialisation, plutôt qu'à des artefacts de la taille spécifique du jeu de données. Cela est particulièrement pertinent pour la généralisation à des données non vues.
Stabilité de l'optimisation : L'analyse met en évidence le rôle stabilisateur de la décroissance des poids découplée d'AdamW dans le contrôle de la croissance des paramètres, ce qui est essentiel pour les garanties théoriques de continuité de Lipschitz en présence de mécanismes d'attention non linéaires.

Les auteurs reconnaissent un compromis : le taux de convergence $O(L^{-1} + L^{-1/3}H^{-1/2})$ est légèrement plus lent que le taux $O(L^{-1} + (LH)^{-1/2})$ observé dans certaines études sur les ResNet, un sacrifice fait pour obtenir des bornes uniformes indépendantes de $N$ . Ils notent que l'extension de ces résultats au masquage causal (standard dans la modélisation du langage) et aux régimes de mise à l'échelle par équations différentielles stochastiques (SDE) reste un domaine ouvert pour la recherche future.