📊 statistics

Training Infinitely Deep and Wide Transformers

Cet article établit un cadre mathématique rigoureux pour l'entraînement de transformateurs infiniment profonds et larges dans le régime des champs moyens en modélisant leur dynamique comme une EDP neuronale, en prouvant le caractère bien posé des passes avant et arrière, et en démontrant que le flot de gradient converge vers des minima globaux sous des conditions spécifiques d'injectivité du noyau tangent neuronal.

Auteurs originaux : Raphaël Barboni, Maarten V. de Hoop, Takashi Furuya, Gabriel Peyré

Publié 2026-05-19

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Raphaël Barboni, Maarten V. de Hoop, Takashi Furuya, Gabriel Peyré

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Vue d'Ensemble : De la Foule au Fleuve

Imaginez un Transformer moderne (le cerveau de l'IA derrière des outils comme les chatbots) comme une immense chaîne de montage d'usine.

Les Tokens : Les données entrantes (comme les mots d'une phrase ou des patches d'une image) sont les « ouvriers » sur la chaîne.
Les Couches : L'usine possède de nombreux étages (couches).
Le Mécanisme d'Attention : C'est la règle qui indique à chaque ouvrier comment regarder chaque autre ouvrier pour décider quoi faire ensuite.

Habituellement, nous étudions ces usines avec un nombre fixe d'étages et un nombre fixe d'ouvriers. Mais ce papier pose une question « et si » : Que se passe-t-il si l'usine possède des étages infinis et des ouvriers infinis ?

Les auteurs ont construit un cadre mathématique pour comprendre comment ces usines infinies apprennent. Ils ont découvert que, tandis que d'autres modèles d'apprentissage profond (comme les ResNets) se comportent comme une personne seule marchant sur un chemin, les Transformers se comportent comme un fleuve s'écoulant à travers un paysage.

Concept Clé 1 : Le « Fleuve » contre le « Chemin »

L'Ancienne Manière (ResNets) :
Imaginez l'entraînement d'un réseau de neurones profond standard comme un randonneur grimpant une montagne. Le randonneur fait un pas à la fois. Mathématiquement, cela ressemble à une Équation Différentielle Ordinaire (EDO). C'est un chemin unique où la position du randonneur dépend uniquement de l'endroit où il se trouve à l'instant présent.

La Nouvelle Manière (Transformers) :
Dans un Transformer, chaque « ouvrier » (token) regarde constamment tous les autres ouvriers. Si un ouvrier change, cela crée une onde de choc à travers tout le groupe.

L'Analogie : Imaginez un fleuve. Vous ne pouvez pas simplement suivre une seule goutte d'eau ; vous devez suivre l'écoulement entier du fleuve. L'eau à un point dépend de l'eau partout ailleurs en amont et en aval.
Les Mathématiques : Parce que les « ouvriers » s'influencent constamment les uns les autres, le papier montre que l'entraînement d'un Transformer consiste en réalité à contrôler une Équation aux Dérivées Partielles (EDP). Ce n'est pas seulement un chemin ; c'est un écoulement complexe et changeant de distributions de probabilité.

Concept Clé 2 : La Foule « Champ Moyen »

Pour donner un sens à des ouvriers infinis, les auteurs utilisent un concept appelé Champ Moyen.

L'Analogie : Imaginez un stade rempli de 100 000 personnes. Au lieu de suivre le nom et l'emplacement de chaque personne individuellement, vous observez la foule dans son ensemble comme un « fluide ». Vous vous demandez : « Quelle est la densité de la foule ici ? À quelle vitesse la foule se déplace-t-elle là-bas ? »
L'Affirmation du Papier : Ils traitent les « tokens » (données) non pas comme des éléments individuels, mais comme une distribution lisse (un fluide) qui évolue en traversant les couches infinies du Transformer. Ils traitent également les « têtes d'attention » (les règles que l'IA utilise pour prêter attention) comme une distribution fluide de paramètres.

Concept Clé 3 : La Carte et la Boussole

Le papier prouve deux choses très importantes sur la façon dont ce « fleuve » se déplace :

1. Le Passage Avant (La Carte) :
Ils ont montré que si vous commencez avec une distribution spécifique de données, il existe une manière unique et bien définie dont elle s'écoulera à travers les couches infinies.

Analogie : Si vous versez une quantité spécifique de colorant bleu dans une rivière à la source, les mathématiques garantissent que vous pouvez prédire exactement comment ce colorant se répandra et se déplacera en descendant le courant, même si la rivière est infiniment longue.

2. Le Passage Arrière (La Boussole) :
Pour entraîner l'IA, vous devez savoir comment ajuster les règles (les paramètres d'attention) pour améliorer la sortie. Cela se fait par « rétropropagation » (regarder l'erreur et travailler à rebours).

Analogie : Imaginez que vous êtes au bas de la rivière et que vous voyez un rocher qui ne devrait pas être là. Vous devez déterminer quel courant en amont a causé le déplacement de ce rocher jusqu'à cet endroit. Les auteurs ont dérivé une « boussole » précise (en utilisant quelque chose appelé Analyse de Sensibilité Adjointe) qui indique au système exactement comment pousser les règles infinies pour corriger l'erreur.

Concept Clé 4 : La Garantie « Pas de Cul-de-Sac »

La plus grande inquiétude dans l'entraînement de l'IA est de rester coincé dans un minimum local.

L'Analogie : Imaginez que vous essayez de trouver le point le plus bas d'une vallée brumeuse. Vous pourriez rester coincé dans une petite dépression (un minimum local) et penser avoir atteint le fond, alors qu'en réalité, il y a une vallée beaucoup plus profonde à proximité.
L'Affirmation du Papier : Les auteurs ont prouvé que pour les Transformers, si vous commencez avec une configuration initiale « suffisamment bonne » (spécifiquement, si le « Noyau Tangent Neuronal » est injectif, ce qui est une façon élégante de dire que la carte interne de l'IA est suffisamment diversifiée), il n'y a pas de faux cul-de-sacs.
Le Résultat : Si l'IA commence près de la solution, le « flux de gradient » (le processus d'apprentissage) est garanti de glisser tout le chemin jusqu'au minimum global (la meilleure solution absolue) sans rester coincé. C'est comme avoir une vallée parfaitement lisse et en forme de bol où le fond est le seul endroit où vous pouvez vous arrêter.

Concept Clé 5 : Quand Cela Fonctionne-t-il ? (La Règle de « Distinction »)

Le papier demande : « Quand cette garantie « pas de cul-de-sac » est-elle vraie ? »
Ils ont trouvé une condition spécifique liée aux données (les tokens).

L'Analogie : Imaginez que les points de données sont des billes de différentes couleurs. Si toutes les billes sont identiques, l'IA se confond et ne peut pas apprendre. Mais si les billes sont suffisamment distinctes (comme différentes couleurs, formes ou tailles), l'IA peut les distinguer.
Les Mathématiques : Ils ont prouvé que tant que les distributions de données sont « linéairement indépendantes » (mathématiquement distinctes, comme des mélanges gaussiens distincts ou des points discrets), la carte d'apprentissage de l'IA est parfaite.
Vérification réelle : Ils ont montré que pour presque n'importe quel ensemble de données aléatoires que vous pourriez réellement utiliser (comme des mots ou des images aléatoires), cette condition est vraie. Vous n'avez besoin de rien faire de spécial ; la nature fournit généralement des données suffisamment distinctes.

Résumé

Ce papier construit un pont mathématique rigoureux pour comprendre les Transformers infinis.

Il change la vision de l'entraînement d'un « randonneur sur un chemin » à un « fleuve qui s'écoule ».
Il prouve que l'écoulement est prévisible et bien comporté.
Il fournit une « boussole » pour naviguer dans le processus d'entraînement.
Plus important encore, il prouve que si les données sont suffisamment diversifiées (ce qui est généralement le cas), l'IA ne restera pas coincée dans de mauvaises solutions ; elle trouvera la meilleure solution possible.

Les auteurs ont fait cela en étendant les théories utilisées pour des réseaux plus simples (ResNets) et en les adaptant à la nature complexe et interconnectée du mécanisme d'Attention trouvé dans les Transformers.

Résumé technique : Entraînement de Transformers infiniment profonds et larges

Énoncé du problème
Bien que les Transformers soient devenus l'architecture dominante en apprentissage automatique moderne, la compréhension théorique de leurs dynamiques d'entraînement reste limitée, en particulier pour les architectures profondes comportant de nombreuses couches et têtes d'attention. Les cadres théoriques existants reposent souvent sur le régime du noyau tangent neuronal (NTK), qui suppose que les poids évoluent à l'échelle de $1/\sqrt{\text{largeur}}$ , conduisant à un « entraînement paresseux » où le réseau reste proche de son initialisation et l'apprentissage de caractéristiques est figé. Alternativement, les régimes de champ moyen pour les réseaux peu profonds ou les ResNets (modélisés comme des équations différentielles ordinaires, EDO) ne capturent pas entièrement la complexité des Transformers, où le mécanisme d'attention couple l'évolution de multiples distributions de tokens. Il existe un besoin d'un cadre mathématique rigoureux pour analyser l'entraînement basé sur le gradient dans la limite conjointe d'une profondeur infinie (nombre de couches) et d'une largeur infinie (nombre de têtes d'attention), en tenant compte de l'évolution simultanée des distributions de tokens et des distributions de paramètres.

Méthodologie
L'article développe un cadre de champ moyen pour les Transformers en étendant la théorie du transport optimal conditionnel et des flots de gradient de Wasserstein, précédemment appliqués aux ResNets, au contexte des Transformers.

Représentation de champ moyen dual : Le modèle traite les Transformers comme infiniment profonds (paramétrés par une variable de profondeur continue $s \in [0,1]$ ) et infiniment larges (paramétrés par une distribution de probabilité $\rho$ sur les paramètres d'attention). Crucialement, le cadre emploie deux types de représentations par mesures :
- Distributions de tokens : L'évolution des tokens à travers les couches est modélisée comme une mesure de probabilité $\mu(s)$ sur l'espace des tokens.
- Paramètres d'attention : Les paramètres à chaque couche sont représentés comme une mesure $\rho(\cdot|s)$ sur l'espace des paramètres $\Theta$ (matrices de requête, clé et valeur).
Formulation d'EDP neuronale : Contrairement aux ResNets, qui peuvent être vus comme le contrôle d'une EDO neuronale sur des vecteurs de caractéristiques, l'entraînement des Transformers dans ce cadre correspond au contrôle d'une Équation aux Dérivées Partielles (EDP) neuronale. L'évolution des tokens est régie par une équation de continuité où le champ de vitesse est déterminé par l'opérateur d'attention de champ moyen, qui couple les distributions de tous les tokens.
$\partial_s \mu(s) + \text{div}(\mu(s) \Phi_{\rho(\cdot|s)}[\mu(s)]) = 0$
Les auteurs reformulent cette perspective d'EDP en une EDO à valeurs dans un espace de Banach agissant sur des applications de flot $\Lambda$ , qui advectent la distribution initiale des tokens. Cette reparamétrisation évite le manque de structure différentiable dans l'espace des mesures et fournit une régularité accrue pour l'analyse.
Dynamiques d'entraînement via flot de gradient de Wasserstein conditionnel : Le processus d'entraînement est modélisé comme un flot de gradient sur l'espace des distributions de paramètres équipé de la métrique de Transport Optimal Conditionnel (COT). Cette métrique impose que la distribution marginale des paramètres à travers les couches soit préservée pendant l'entraînement. Les auteurs dérivent le gradient de Wasserstein conditionnel du risque d'entraînement en utilisant l'analyse de sensibilité adjointe, obtenant une formule explicite impliquant des variables adjointes régies par des EDO rétrogrades.
Analyse du noyau tangent neuronal (NTK) : Pour établir la convergence, l'article examine l'injectivité du NTK pour les mécanismes d'attention. Les auteurs dérivent des conditions nécessaires et suffisantes pour que le NTK soit défini positif, reliant cette propriété à l'indépendance linéaire des fonctions log-sum-exp (fonctions génératrices de cumulants) des distributions de tokens modulo des fonctions affines.

Contributions et résultats clés

Bien-posé des dynamiques forward et d'entraînement : L'article établit l'existence et l'unicité des solutions pour le passage avant (évolution des tokens) et l'évolution d'entraînement (flot de distribution de paramètres). Il prouve que l'évolution des tokens est caractérisée par des applications de flot satisfaisant des EDO dans des espaces de fonctions, et que les courbes de flot de gradient existent et sont uniques dans l'espace métrique de Wasserstein conditionnel.
Formulation explicite du gradient : En utilisant l'analyse de sensibilité adjointe, les auteurs dérivent une formule explicite pour le gradient de Wasserstein conditionnel du risque d'entraînement. Cela implique des variables adjointes satisfaisant des EDO rétrogrades, fournissant une fondation rigoureuse pour l'entraînement basé sur le gradient dans la limite de champ moyen.
Conditions d'injectivité du NTK : Une contribution technique centrale est la caractérisation de l'injectivité du NTK pour les mécanismes d'attention. L'article prouve que l'injectivité du NTK est équivalente à l'indépendance linéaire des fonctions log-sum-exp modulo des fonctions affines. Cette condition est montrée comme étant satisfaite par diverses distributions de tokens, notamment :
- Des distributions discrètes satisfaisant une condition de distinctivité (vérifiée presque sûrement pour des échantillons i.i.d. issus de mesures absolument continues).
- Des distributions uniformes sur des cubes avec des rayons distincts.
- Des distributions de Laplace multivariées symétriques avec des matrices de covariance distinctes.
- Des mélanges gaussiens à deux composantes avec des paramètres de séparation distincts.
Convergence vers les minima globaux : Sous l'hypothèse que le NTK est positif à l'initialisation (spécifiquement, la partie $V$ du NTK) et que la perte initiale est suffisamment faible, l'article prouve que le flot de gradient converge vers un minimiseur global avec un taux de convergence linéaire. Ce résultat élimine les minima locaux spurius du paysage d'optimisation dans le régime spécifié.

Portée et affirmations
L'article prétend fournir une fondation mathématique rigoureuse pour l'entraînement de Transformers infiniment profonds et larges. En étendant la théorie de champ moyen des ResNets (EDO neuronales) aux Transformers (EDP neuronales), il comble le fossé entre la compréhension théorique des réseaux résiduels profonds et les dynamiques plus complexes des mécanismes d'attention.

Les auteurs soulignent que leur cadre capture le couplage de multiples distributions de tokens à travers le mécanisme d'attention, une caractéristique absente des analyses standard des ResNets. L'établissement de conditions d'injectivité du NTK fournit des directives constructives pour l'initialisation, garantissant que l'entraînement basé sur le gradient converge vers des minima globaux sans rester piégé dans des minima locaux spurius, à condition que l'initialisation soit suffisamment proche de la solution optimale.

L'article note modestement que son analyse est restreinte à l'attention de type encodeur (non causale). L'extension de ce cadre aux architectures de décodeur avec masquage causal est identifiée comme un défi technique substantiel en raison de la rupture des symétries utilisées dans les preuves. De plus, la formulation actuelle maintient la dimension de la tête fixe tout en laissant le nombre de têtes tendre vers l'infini ; capturer l'échelle couplée de la dimension d'embedding et du nombre de têtes reste un problème ouvert.