📊 statistics

Training Infinitely Deep and Wide Transformers

Dit artikel vestigt een rigoureus wiskundig kader voor het trainen van oneindig diepe en brede transformers in het mean-field-regime door hun dynamiek te modelleren als een neurale partiële differentiaalvergelijking, de goedgesteldheid van voorwaartse en achterwaartse passes te bewijzen, en aan te tonen dat gradiëntstroom convergeert naar globale minima onder specifieke voorwaarden voor injectiviteit van de Neural Tangent Kernel.

Oorspronkelijke auteurs: Raphaël Barboni, Maarten V. de Hoop, Takashi Furuya, Gabriel Peyré

Gepubliceerd 2026-05-19

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Raphaël Barboni, Maarten V. de Hoop, Takashi Furuya, Gabriel Peyré

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Van een Menigte naar een Stromende Rivier

Stel je een moderne Transformer (het AI-brein achter tools zoals chatbots) voor als een enorme fabrieksassemblagelijn.

De Tokens: De data die binnenkomt (zoals woorden in een zin of stukjes van een afbeelding) zijn de "werknemers" op de lijn.
De Lagen: De fabriek heeft veel verdiepingen (lagen).
Het Aandachtsmechanisme: Dit is de regel die elke werknemer vertelt hoe hij naar elke andere werknemer moet kijken om te beslissen wat hij als volgende moet doen.

Meestal bestuderen we deze fabrieken met een vast aantal verdiepingen en een vast aantal werknemers. Maar dit paper stelt een "wat als"-vraag: Wat gebeurt er als de fabriek oneindig veel verdiepingen en oneindig veel werknemers heeft?

De auteurs bouwden een wiskundig raamwerk om te begrijpen hoe deze oneindige fabrieken leren. Ze ontdekten dat terwijl andere diepe leermodellen (zoals ResNets) zich gedragen als een enkele persoon die een pad aflegt, Transformers zich gedragen als een rivier die door een landschap stroomt.

Kernconcept 1: De "Rivier" versus het "Pad"

De Oude Manier (ResNets):
Stel je het trainen van een standaard diep neurale netwerk voor als een wandelaar die een berg op loopt. De wandelaar zet één stap per keer. Wiskundig gezien is dit als een Gewone Differentiaalvergelijking (ODE). Het is een enkel pad waar de positie van de wandelaar alleen afhangt van waar hij op dat moment is.

De Nieuwe Manier (Transformers):
In een Transformer kijkt elke "werknemer" (token) voortdurend naar elke andere werknemer. Als één werknemer verandert, golft dat door de hele groep.

De Analogie: Stel je een rivier voor. Je kunt niet zomaar één druppel water volgen; je moet de hele stroming van de rivier volgen. Het water op één punt hangt af van het water overal anders stroomopwaarts en stroomafwaarts.
De Wiskunde: Omdat de "werknemers" voortdurend invloed op elkaar uitoefenen, toont het paper aan dat het trainen van een Transformer eigenlijk het regelen van een Partiële Differentiaalvergelijking (PDE) is. Het is niet zomaar een pad; het is een complexe, verschuivende stroming van kansverdelingen.

Kernconcept 2: De "Mean-Field" Menigte

Om zinnige dingen te zeggen over oneindige werknemers, gebruiken de auteurs een concept dat Mean-Field heet.

De Analogie: Stel je een stadion vol met 100.000 mensen voor. In plaats van de naam en locatie van elke enkele persoon te volgen, bekijk je de menigte als een geheel "vloeistof". Je vraagt: "Hoe dicht is de menigte hier? Hoe snel beweegt de menigte daar?"
De Claim van het Paper: Ze behandelen de "tokens" (data) niet als individuele items, maar als een gladde verdeling (een vloeistof) die evolueert terwijl het door de oneindige lagen van de Transformer beweegt. Ze behandelen ook de "aandachtskoppen" (de regels die de AI gebruikt om aandacht te besteden) als een vloeibare verdeling van parameters.

Kernconcept 3: De Kaart en het Kompas

Het paper bewijst twee zeer belangrijke dingen over hoe deze "rivier" beweegt:

1. De Forward Pass (De Kaart):
Ze toonden aan dat als je begint met een specifieke verdeling van data, er een unieke, goed gedefinieerde manier is waarop deze door de oneindige lagen zal stromen.

Analogie: Als je een specifieke hoeveelheid blauwe kleurstof in een rivier bij de bron giet, garandeert de wiskunde dat je precies kunt voorspellen hoe die kleurstof zich zal verspreiden en bewegen terwijl het stroomafwaarts stroomt, zelfs als de rivier oneindig lang is.

2. De Backward Pass (Het Kompas):
Om de AI te trainen, moet je weten hoe je de regels (de aandachtsparameters) moet aanpassen om de output te verbeteren. Dit gebeurt via "backpropagation" (kijken naar de fout en terugwerken).

Analogie: Stel je voor dat je aan de onderkant van de rivier bent en een rots ziet die daar niet zou moeten zijn. Je moet uitzoeken welke stroom stroomopwaarts ervoor heeft gezorgd dat die rots daar naartoe bewogen is. De auteurs hebben een precies "kompas" afgeleid (met behulp van iets dat Adjoint Sensitivity Analysis heet) dat het systeem precies vertelt hoe het de oneindige regels moet duwen om de fout te herstellen.

Kernconcept 4: De "Geen Dode Loop" Garantie

De grootste zorg bij het trainen van AI is vastlopen in een lokaal minimum.

De Analogie: Stel je voor dat je probeert het laagste punt in een mistige vallei te vinden. Je zou vast kunnen komen te zitten in een kleine kuiltje (een lokaal minimum) en denken dat je de bodem hebt bereikt, terwijl er eigenlijk een veel diepere vallei in de buurt is.
De Claim van het Paper: De auteurs bewezen dat voor Transformers, als je begint met een "voldoende goede" initiële opstelling (specifiek, als de "Neural Tangent Kernel" injectief is, wat een ingewikkelde manier is om te zeggen dat de interne kaart van de AI divers genoeg is), er geen nep-dode loop zijn.
Het Resultaat: Als de AI dicht bij de oplossing begint, is de "gradiëntstroom" (het leerproces) gegarandeerd om helemaal naar beneden te glijden naar het globale minimum (de absoluut beste oplossing) zonder vast te lopen. Het is als een perfect gladde, komvormige vallei waar de bodem de enige plek is waar je kunt stoppen.

Kernconcept 5: Wanneer Werkt Dit? (De "Onderscheidbaarheid" Regel)

Het paper vraagt: "Wanneer is deze 'geen dode loop' garantie waar?"
Ze vonden een specifieke voorwaarde gerelateerd aan de data (de tokens).

De Analogie: Stel je voor dat de datapunten verschillende gekleurde marbles zijn. Als alle marbles identiek zijn, raakt de AI in de war en kan het niet leren. Maar als de marbles voldoende verschillend zijn (zoals verschillende kleuren, vormen of maten), kan de AI ze uit elkaar houden.
De Wiskunde: Ze bewezen dat zolang de data-verdelingen "lineair onafhankelijk" zijn (wiskundig onderscheidend, zoals onderscheidende Gaussische mengsels of discrete punten), de leerkaart van de AI perfect is.
Real-world check: Ze toonden aan dat voor bijna elke willekeurige set data die je daadwerkelijk zou kunnen gebruiken (zoals willekeurige woorden of afbeeldingen), deze voorwaarde waar is. Je hoeft niets speciaals te doen; de natuur levert meestal data die voldoende onderscheidend is.

Samenvatting

Dit paper bouwt een strikt wiskundige brug om oneindige Transformers te begrijpen.

Het verandert het beeld van trainen van een "wandelaar op een pad" naar een "stromende rivier".
Het bewijst dat de stroming voorspelbaar en goed georganiseerd is.
Het biedt een "kompas" om het trainingsproces te navigeren.
Het belangrijkste is dat het bewijst dat als de data divers genoeg is (wat meestal het geval is), de AI niet vast zal lopen in slechte oplossingen; het zal de best mogelijke oplossing vinden.

De auteurs deden dit door theorieën die voor eenvoudigere netwerken (ResNets) werden gebruikt, uit te breiden en aan te passen aan de complexe, onderling verbonden aard van het Aandachtsmechanisme dat in Transformers wordt aangetroffen.

Technische Samenvatting: Training van Oneindig Diepe en Brede Transformers

Probleemstelling
Hoewel Transformers de dominante architectuur zijn geworden in modern machine learning, blijft het theoretische begrip van hun trainingsdynamiek beperkt, vooral voor diepe architecturen met vele lagen en attention-heads. Bestaande theoretische kaders vertrouwen vaak op het Neural Tangent Kernel (NTK)-regime, dat ervan uitgaat dat gewichten schalen als $1/\sqrt{\text{breedte}}$ , wat leidt tot "luie training" waarbij het netwerk dicht bij de initialisatie blijft en feature learning bevroren is. Alternatief vangen mean-field regimes voor ondiepe netwerken of ResNets (gemodelleerd als gewone differentiaalvergelijkingen, ODE's) de complexiteit van Transformers niet volledig, waarbij het attention-mechanisme de evolutie van meerdere token-verdelingen koppelt. Er is behoefte aan een rigoureus wiskundig kader om gradient-based training te analyseren in de gezamenlijke limiet van oneindige diepte (aantal lagen) en oneindige breedte (aantal attention-heads), rekening houdend met de gelijktijdige evolutie van token-verdelingen en parameter-verdelingen.

Methodologie
Het artikel ontwikkelt een mean-field kader voor Transformers door de theorie van conditionele optimale transport en Wasserstein-gradiëntstromen, die eerder op ResNets werden toegepast, uit te breiden naar de Transformer-context.

Dual Mean-Field Representatie: Het model behandelt Transformers als oneindig diep (geparametriseerd door een continue dieptevariabele $s \in [0,1]$ ) en oneindig breed (geparametriseerd door een kansverdeling $\rho$ over attention-parameters). Cruciaal maakt het kader gebruik van twee soorten maatvoorstellingen:
- Token-verdelingen: De evolutie van tokens door de lagen wordt gemodelleerd als een kansmaat $\mu(s)$ over de token-ruimte.
- Attention-parameters: De parameters in elke laag worden weergegeven als een maat $\rho(\cdot|s)$ over de parameter-ruimte $\Theta$ (query-, key- en value-matrices).
Neurale PDE-formulering: In tegenstelling tot ResNets, die kunnen worden gezien als het controleren van een neurale ODE op feature-vectoren, komt de training van Transformers in dit kader overeen met het controleren van een neurale partiële differentiaalvergelijking (PDE). De token-evolutie wordt beheerst door een continuïteitsvergelijking waarbij het snelheidsveld wordt bepaald door de mean-field attention-operator, die de verdelingen van alle tokens koppelt.
$\partial_s \mu(s) + \text{div}(\mu(s) \Phi_{\rho(\cdot|s)}[\mu(s)]) = 0$
De auteurs reformuleren dit PDE-perspectief tot een Banach-ruimtewaardige ODE die werkt op stroomkaarten $\Lambda$ , die de initiële token-verdeling advecteren. Deze herparametrisatie vermijdt het gebrek aan differentieerbare structuur in de ruimte van maten en biedt verbeterde regulariteit voor de analyse.
Trainingsdynamiek via Conditionele Wasserstein Gradiëntstroom: Het trainingsproces wordt gemodelleerd als een gradiëntstroom op de ruimte van parameter-verdelingen, uitgerust met de Conditionele Optimale Transport (COT)-metriek. Deze metriek dwingt uit dat de marginale verdeling van parameters over de lagen tijdens het trainen behouden blijft. De auteurs leiden de conditionele Wasserstein-gradiënt van het trainingsrisico af met behulp van adjoint-sensitiviteitsanalyse, waarbij een expliciete formule wordt verkregen die adjoint-variabelen omvat die worden beheerst door achterwaartse ODE's.
NTK-analyse: Om convergentie vast te stellen, onderzoekt het artikel de injectiviteit van de NTK voor attention-mechanismen. De auteurs leiden noodzakelijke en voldoende voorwaarden af voor de NTK om positief-definitief te zijn, en koppelen deze eigenschap aan de lineaire onafhankelijkheid van log-sum-exp (cumulant-genererende) functies van de token-verdelingen modulo affiene functies.

Belangrijkste Bijdragen en Resultaten

Welgesteldheid van Forward- en Trainingsdynamiek: Het artikel stelt het bestaan en de uniciteit van oplossingen vast voor de forward-pass (token-evolutie) en de trainings-evolutie (stroom van parameter-verdelingen). Het bewijst dat de token-evolutie wordt gekenmerkt door stroomkaarten die ODE's in functieruimten voldoen, en dat gradiëntstroomkrommen bestaan en uniek zijn in de conditionele Wasserstein-metriekruimte.
Expliciete Gradiëntformulering: Met behulp van adjoint-sensitiviteitsanalyse leiden de auteurs een expliciete formule af voor de conditionele Wasserstein-gradiënt van het trainingsrisico. Dit omvat adjoint-variabelen die voldoen aan achterwaartse ODE's, en biedt een rigoureuze basis voor gradient-based training in de mean-field limiet.
NTK-injectiviteitsvoorwaarden: Een centrale technische bijdrage is de karakterisering van NTK-injectiviteit voor attention-mechanismen. Het artikel bewijst dat NTK-injectiviteit equivalent is aan de lineaire onafhankelijkheid van log-sum-exp-functies modulo affiene functies. Deze voorwaarde blijkt te worden voldaan door diverse token-verdelingen, waaronder:
- Discrete verdelingen die voldoen aan een distinctheidvoorwaarde (bijna zeker geverifieerd voor i.i.d. steekproeven uit absoluut continue maten).
- Uniforme verdelingen op kubussen met verschillende stralen.
- Symmetrische multivariate Laplace-verdelingen met verschillende covariantiematrices.
- Tweecomponenten-Gaussian-mixtures met verschillende scheidingsparameters.
Convergentie naar Globale Minima: Onder de aanname dat de NTK positief is bij initialisatie (specifiek het $V$ -gedeelte van de NTK) en het initiële verlies voldoende klein is, bewijst het artikel dat de gradiëntstroom convergeert naar een globale minimizer met een lineaire convergentiesnelheid. Dit resultaat elimineert spuriële lokale minima uit het optimalisatielandschap in het gespecificeerde regime.

Betekenis en Beweringen
Het artikel claimt een rigoureuze wiskundige basis te bieden voor de training van oneindig diepe en brede Transformers. Door mean-field-theorie uit te breiden van ResNets (neurale ODE's) naar Transformers (neurale PDE's), overbrugt het de kloof tussen het theoretische begrip van diepe residual netwerken en de complexere dynamiek van attention-mechanismen.

De auteurs benadrukken dat hun kader de koppeling van meerdere token-verdelingen via het attention-mechanisme vastlegt, een kenmerk dat ontbreekt in standaard ResNet-analyses. De vaststelling van NTK-injectiviteitsvoorwaarden biedt constructieve richtlijnen voor initialisatie, waardoor wordt gegarandeerd dat gradient-based training convergeert naar globale minima zonder vast te lopen in spuriële lokale minima, mits de initialisatie voldoende dicht bij de optimale oplossing ligt.

Het artikel merkt bescheiden op dat de analyse beperkt is tot encoder-stijl (niet-causale) attention. Het uitbreiden van dit kader naar decoder-architecturen met causale masking wordt geïdentificeerd als een aanzienlijke technische uitdaging vanwege het verbreken van de symmetrieën die in de bewijzen worden gebruikt. Bovendien houdt de huidige formulering de head-dimensie vast terwijl het aantal heads naar oneindig groeit; het vastleggen van de gekoppelde schaling van embedding-dimensie en head-aantal blijft een open probleem.