📊 statistics

Quantitative Gaussian-Process limits of Tensor Programs

Dit artikel vestigt een kwantitatieve convergentietheorie voor de oneindige-breedte Gaussische proceslimieten van willekeurige neurale netwerken met willekeurige architecturen, inclusief gewichtsdelingsschema's, door expliciete eindige-breedte foutgrenzen van de orde $O(1/\sqrt{N})$ in de Wasserstein-afstand te bieden met behulp van het tensorprogramma-raamwerk.

Oorspronkelijke auteurs: Andrea Agazzi, Eloy Mosig García, Dario Trevisan

Gepubliceerd 2026-07-08

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Andrea Agazzi, Eloy Mosig García, Dario Trevisan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een gigantische, complexe taart aan het bakken bent. In de wereld van kunstmatige intelligentie is deze "taart" een neuraal netwerk, een computerprogramma ontworpen om patronen te leren. De "ingrediënten" zijn getallen die gewichten worden genoemd, en de "lagen" van de taart zijn waar de magie gebeurt.

Normaal gesproken heb je voor het maken van een taart een specifieke, eindige hoeveelheid bloem en suiker nodig. In AI wordt dit een netwerk met een eindige breedte genoemd. Het heeft een vast aantal neuronen (zoals een vast aantal mengkommen) in elke laag.

Maar wiskundigen houden ervan om te vragen: "Wat gebeurt er als we de taart oneindig breed maken?" Wat als we een oneindig aantal mengkommen hadden?

Het Grote Idee: De "Oneindige Taart" Limiet

De paper van Agazzi, García en Trevisan gaat over het begrijpen van de relatie tussen de echte, eindige taart (de ene die we daadwerkelijk kunnen bouwen en draaien op een computer) en de theoretische, oneindige taart (een perfect, glad wiskundig object dat een Gaussiaans proces wordt genoemd).

Lange tijd wisten we al dat naarmate je meer en meer lagen toevoegt of de lagen breder maakt, het eindige netwerk steeds meer begint te lijken op dit gladde, oneindige wiskundige object. Het is alsof een gepixelde afbeelding er van dichtbij korrelig en grillig uitziet, maar een glad, perfect plaatje wordt wanneer je ver genoeg uitzoomt.

Het Probleem: Eerdere studies vertelden ons dat ze convergeren, maar ze vertelden ons niet hoe snel of hoe dichtbij ze op een specifieke grootte zijn. Het was alsof zeggen: "Je taart zal uiteindelijk smaken naar de perfecte taart," zonder te vertellen of je 10 extra eieren of 1.000 extra eieren nodig hebt.

De Oplossing: Deze paper biedt een kwantitatief recept. Het geeft een precieze formule voor de "fout" (het verschil in smaak) tussen het eindige netwerk en het oneindige ideaal.

De "Tensor Program" Lens

Om dit op te lossen, gebruiken de auteurs een hulpmiddel genaamd Tensor Programs. Zie dit als een universele vertaler.

De Analogie: Stel je voor dat je verschillende soorten LEGO-sets hebt: een simpel huisje, een complex ruimteschip en een robot. Ze zien er allemaal anders uit, maar ze zijn allemaal gebouwd volgens dezelfde basisregels: blokjes aan elkaar klikken (matrixvermenigvuldiging) en ze beschilderen (niet-lineaire functies).
De Truc van de Paper: In plaats van elke individuele LEGO-set apart te analyseren, hebben de auteurs een "meertalige taal" (Tensor Programs) gecreëerd die elke netwerkstructuur beschrijft — of het nu een simpel feed-forward netwerk is, een recurrent netwerk (zoals een geheugenlus), of zelfs delen van een Transformer (de technologie achter moderne AI-chatbots).
Waarom dit ertoe doet: Hierdoor kunnen ze één groot theorema bewijzen dat al deze verschillende architecturen tegelijkertijd bestrijkt, in plaats van voor elke nieuwe uitgevonden type netwerk een nieuw bewijs te moeten schrijven.

De Belangrijkste Resultaat: De "Vierkantswortel"-regel

De belangrijkste bevinding van de paper is een specifieke regel over de fout.

Als je een netwerk hebt met een breedte van $n$ (het aantal neuronen in een laag), krimpt het verschil tussen jouw eindige netwerk en het perfecte oneindige netwerk met een snelheid van $1/\sqrt{n}$ .

De Metafoor: Stel je voor dat je probeert de gemiddelde lengte van mensen in een stad te raden.
- Als je 4 mensen vraagt, kan je gok er ver naast zitten.
- Als je 100 mensen vraagt, kom je dichterbij.
- Als je 10.000 mensen vraagt, ben je heel dichtbij.
- De paper bewijst dat voor deze neurale netwerken de "nabijheid" precies even snel verbetert als de vierkantswortel van het aantal neuronen toeneemt. Als je de grootte van je netwerk verviervoudigt, halveer je de fout.

Het Aanpakken van de "Lastige" Delen

De paper pakt ook twee specifieke complicaties aan die echte netwerken rommelig maken:

Gewichtsdeling (Weight Sharing): In sommige netwerken (zoals die die dingen onthouden over de tijd, of "Recurrent Neural Networks") wordt dezelfde set gewichten meerdere keren hergebruikt, zoals het gebruik van dezelfde lepel om verschillende kommen roeren. De auteurs laten zien dat hun wiskunde nog steeds perfect werkt, zelfs wanneer dezelfde "lepel" keer op keer wordt gebruikt.
Aandachtsmechanismen (Attention Mechanisms): Moderne AI (zoals de modellen die essays of code schrijven) gebruikt "Attention" om zich te concentreren op specifieke delen van de input. Dit houdt het berekenen van "kernels" in (in essentie, hoeveel het ene deel van de data om het andere geeft). De auteurs hebben hun wiskunde uitgebreid om deze "scalaire" variabelen te bevatten, waarmee ze bewezen dat zelfs deze complexe, moderne architecturen dezelfde $1/\sqrt{n}$ regel volgen.

De "Bewijs"-Strategie: Lijn voor Lijn Bouwen

Hoe hebben ze dit bewezen? Ze hebben niet geprobeerd de hele enorme taart in één keer te bekijken. In plaats daarvan hebben ze er lijn voor lijn naar gekeken.

Stel je het netwerk voor als een lange lopende band.

Ze beginnen bij het begin (de input).
Ze bewijzen dat als de eerste stap dicht bij het ideaal is, de tweede stap ook dichtbij zal zijn.
Ze gebruiken een techniek genaamd coupling (koppeling). Stel je voor dat je twee bakkers hebt: één die de echte taart maakt (eindig) en één die de perfecte taart maakt (oneindig). De auteurs laten zien hoe je ze exact dezelfde willekeurige ingrediënten (ruis) kunt laten gebruiken bij elke stap. Omdat ze dezelfde willekeurige ruis gebruiken, is elk verschil in de uiteindelijke taart puur te wijten aan de grootte van het netwerk, en niet aan toeval.

Wat Ze Hebben Getest (De Experimenten)

Om te controlens of hun wiskunde niet slechts theorie was, hebben ze computersimulaties uitgevoerd. Ze bouwden netwerken van verschillende groottes (shallow, deep, recurrent, en residual) en maten hoe dicht de output bij het theoretische ideaal lag.

Ze ontdekten dat naarmate ze de netwerken breder maakten, de "afstand" tussen de echte output en de perfecte output precies zakte zoals hun wiskunde voorspelde. De grafieken toonden een duidelijke, rechte lijn op een logaritmische schaal, wat bevestigde dat de $1/\sqrt{n}$ regel ook standhoudt voor complexe, moderne AI-structuren.

Samenvatting

Kortom, deze paper is een wiskundige garantie. Het vertelt ons dat ongeacht hoe complex jouw architectuur van een neuraal netwerk is (zolang het binnen hun "Tensor Program"-regels past), als je het breder maakt, het dichter bij een perfect, glad wiskundig object komt. En ze vertellen je precies hoeveel breder je moet gaan om een specif kind niveau van nauwkeurigheid te bereiken. Het verandert een vage belofte van "groter is beter" in een precieze, berekenbare regel.

Technische Samenvatting: Kwantitatieve Gaussische Proceslimieten van Tensorprogramma's

Probleemstelling
Het artikel behandelt de convergentie van willekeurige neurale netwerken naar Gaussische processen (GP's) in de oneindige-breedte limiet. Hoewel kwalitatieve Centrale Limietstelling (CLT) resultaten voor volledig verbonden netwerken en het Neural Tangent Kernel (NTK) regime goed gevestigd zijn, is er behoefte aan rigoureuze, kwantitatieve convergentiesnelheden voor een bredere klasse architecturen. Specifiek beogen de auteurs expliciete eindige-breedte foutmarges te bieden voor netwerken die gebruikmaken van gewichtsdeling-schema's (bijv. recurrente netwerken, transformers) en complexe computationele grafen, waarmee ze verder gaan dan eenvoudige feed-forward structuren. Het doel is om de afstand tussen de uitvoering van netwerken met een eindige breedte en hun oneindige-breedte Gaussische proces-tegenhangers in de Wasserstein-metriek te kwantificeren.

Methodologie
De auteurs maken gebruik van de Tensor Programs formalisering, specif specifiek de Netsor taal, om de architecturen van neurale netwerken te abstraheren. Dit framework behandelt netwerken als sequenties van elementaire operaties (MatMul en NonLin) die werken op variabelen van specifieke types (H-vars voor verborgen toestanden, A-vars voor gewichten, en G-vars voor pre-activaties).

De kernmethodologie bestaat uit:

Duale Executieregels: Het definiëren van twee modi van uitvoering voor een Netsor-programma:
- Eindige breedte: Standaard matrix-vector vermenigvuldiging met Gaussisch geïnitialiseerde gewichten ( $W_{ij} \sim N(0, 1/m)$ ).
- Oneindige breedte: Een limiet waarbij matrixvermenigvuldigingen worden vervangen door hun Gaussische centrale-limiet-benaderingen, waarbij G-vars worden behandeld als gezamenlijk Gaussische willekeurige variabelen met covarianties gedefinieerd door recursieve kernels.
Kwantitatieve Koppeling: Het bewijs maakt gebruik van een lijn-voor-lijn inductie op de programmastructuur. De auteurs construeren een expliciete koppeling tussen de uitvoering met eindige breedte en de uitvoering met oneindige breedte.
- Voor NonLin operaties wordt de fout gecontroleerd via de Lipschitz-continuïteit van activatiefuncties.
- Voor MatMul operaties zijn beide uitvoeringen conditioneel Gaussisch gegeven de vorige verborgen toestanden. De auteurs koppelen deze conditionele wetten met behulp van dezelfde standaard Gaussische ruis. De resulterende fout wordt gereduceerd tot het schatten van het verschil tussen de conditionele gemiddelden en de vierkantswortels van de conditionele covarianties.
Structurele Lemma's: Het bewijs steunt op structurele lemma's die aantonen dat conditionele gemiddelden en covarianties einddimensionale functies zijn van de Gram-matrices van ouder-variabelen. De auteurs maken gebruik van de differentieerbaarheid van deze functies bij het oneindige-breedte punt (na het reduceren van degeneratieve gevallen) en passen een kwantitatieve Kernel Wet van de Grote Getallen (LLN) toe om de afwijkingen te begrenzen.
Uitbreiding naar NetsorK: Om aandachtmechanismen en normalisatielagen te dekken, wordt het framework uitgebreid naar NetsorK, wat scalaire kernel-variabelen en scalaire-parametrische niet-lineariteiten introduceert. Dit vereist het afhandelen van lokale Lipschitz-condities en het waarborgen van niet-degeneratie van de Gaussische limieten.

Belangrijkste Bijdragen

Kwantitatieve CLT voor Tensorprogramma's: Het hoofdbestek (Theorem 1.2) stelt dat voor een Netsor-programma met $L$ lijnen, de Wasserstein-afstand ( $W_p$ ) tussen de geschaalde uitvoering met eindige breedte en de Gaussische proces-uitvoering met oneindige breedte wordt begrensd door $O(\sum_{m \in n_{hidd}} m^{-1/2})$ , waarbij $n_{hidd}$ de verborgen breedtes vertegenwoordigt. Dit levert een expliciete inverse vierkantswortel convergentiesnelheid.
Architectuur-Agnostisch Framework: De resultaten zijn van toepassing op elke architectuur die uit te drukken is als een Netsor-programma, inclus[ief] feed-forward netwerken, recurrente neurale netwerken (RNN's) met gewichtsdeling, en netwerken die gelijktijdig op meerdere inputs worden geëvalueerd.
Kernel LLN: De auteurs leiden een kwantitatieve Wet van de Grote Getallen af voor empirische kernels (Corollary 1.3), waarbij wordt aangetoond dat empirische inwendige producten van verborgen toestanden convergeren naar hun oneindige-breedte verwachtingen met dezelfde $O(n^{-1/2})$ snelheid.
Uitbreiding naar Attention: De introductie van de NetsorK taal en Theorem 2.4 breidt deze kwantitatieve garanties uit naar architecturen die betrokken zijn bij scalaire kernel-variabelen (bijv. attention scores) en scalaire-parametrische niet-lineariteiten (bijv. LayerNorm, Softmax), mits specifieke niet-degeneratie en Lipschitz-condities worden nageleefd.

Resultaten

Convergentiesnelheden: De theoretische grenzen bevestigen dat de fout tussen netwerken met een eindige breedte en hun GP-limieten schaalt als de inverse vierkantswortel van de verborgen laagbreedtes.
Numerieke Validatie: Sectie 5 presenteert numerieke experimenten op Multi-Layer Perceptrons (MLP's), tijd-uitgerolde RNN's en ResNet-architecturen. Gebruikmakend van de Sliced Wasserstein-1 afstand, observeren de auteurs convergentiesnelheden (log-log hellingen) die strikt steiler zijn dan $-0.5$ (de sampling noise floor), wat bevestigt dat het architecturale convergentiesignaal zichtbaar is. Bijvoorbeeld, Deep MLP's vertoonden een helling van $-0.916$, en Residual Networks vertoonden $-0.797$.
Afhandeling van Degeneratie: Het artikel demonstreert hoe men degeneratieve MatMul-lijnen (waar de conditionele variantie verdwijnt) kan reduceren tot NonLin-lijnen, om de geldigheid van de kwantitatieve grenzen onder niet-degeneratie aannames te waarborgen.

Betekenis en Claims
De auteurs positioneren dit werk als een kwantitatief tegenhanger van de kwalitatieve limiettheorie geboden door Yang's Master Theorem voor tensorprogramma's. Terwijl Yang's theorem een brede kwalitatieve beschrijving biedt van oneindige-breedte limieten, biedt dit artikel expliciete, controleerbare foutmarges voor een rijke klasse van architecturen.

De betekenis ligt in:

Rigoureuze Analyse van Eindige Breedte: Verder gaan dan asymptotische uitspraken om concrete foutschattingen te bieden voor praktische, eindige-breedte netwerken.
Afhandeling van Gewichtsdeling: Het aanpakken van de beperkingen van laag-voor-laag onafhankelijke CLTs door de conditionele Gaussische structuur te vangen die essentieel is voor recurrente en gedeelde-gewicht architecturen.
Fundament voor Toekomstig Werk: Door een kwantitatief framework voor Netsor en NetsorK vast te stellen, legt dit artikel de basis voor het analyseren van complexere moderne architecturen (zoals Transformers) en potentieel het uitbreiden van deze grenzen naar trainingsdynamica, hoewel het huidige werk zich strikt richt op de initialisatie (forward pass) regime.

Het artikel blijft bescheiden in zijn claims, waarbij wordt opgemerkt dat de Netsor taal nog niet alle operaties in moderne architecturen dekt zonder uitbreiding, en dat de kwantitatieve grenzen rusten op specifieke regulariteitsaannames (Lipschitz-continuïteit) en niet-degeneratie condities.