Inverse Depth Scaling From Most Layers Being Similar

Technische Samenvatting: Inverse Diepte-schaling door de gelijkenis van de meeste lagen

Probleemstelling
Neurale schalingswetten hebben vastgesteld dat de prestaties van Large Language Models (LLM's) voorspelbaar verbeteren bij een toename van de modelgrootte en de datasetgrootte, wat doorgaans volgt op machtswetrelaties. Deze wetten behandelen de modelgrootte echter vaak als een monolithische hoeveelheid, waardoor de afzonderlijke bijdragen van breedte en diepte worden vertroebeld. Hoewel theoretische kaders voorstellen dat diepte kan bijdragen aan prestaties via compositionele assemblage (hiërarchische abstractie), procedurale assemblage (discretisering van vloeiende dynamiek) of ensemble-averaging (redundante schatting), blijft het werkelijke mechanisme waarmee LLM's hun diepte benutten onduidelijk. Empirische studies suggereren dat LLM-lagen vaak redundant zijn, maar een kwantitatief kader dat deze redundantie koppelt aan specifieke schalingswetten heeft ontbrak. Dit artikel onderzoekt de kwantitatieve relatie tussen LLM-diepte en verlies (loss) om te bepalen welk theoretisch regime domineert.

Methodologie
De auteurs hanteren een drieledige aanpak die empirische analyse van echte LLM's, gecontroleerde toy-model experimenten en theoretische analyse combineert:

1. Analyse van de verborgen toestanden (Hidden States) van LLM's: De auteurs analyseerden de dynamiek van de verborgen toestanden over de lagen in diverse Pythia-modellen (variërend van 410M tot 12B parameters) en andere families (Qwen-2.5, OPT) met behulp van de FineWeb-dataset. Ze maten de hoekverandering tussen naburige verborgen toestanden, $\theta(h_l, h_{l+1})$, en de correlatie tussen incrementele updates, $\theta(\Delta h_l, \Delta h_{l+1})$. Principale Componentanalyse (PCA) werd gebruikt om onderscheidende gedragscentra (clusters) tussen tokens te identificeren.
2. Empirische Verliesdecompositie: De auteurs stelden een gedecomposeerde schalingswet voor voor verlies ($L$) waarbij de bijdragen van breedte ($m$), diepte ($\ell$) en datasetgrootte ($D$) worden gescheiden:
   $$L = \frac{c_m}{m^{\alpha_m}} + \frac{c_\ell}{\ell^{\alpha_\ell}} + \frac{c_D}{D^{\alpha_D}} + L_0$$
   Ze pasten dit model toe op data gereconstrueerd uit Chinchilla-schalingsexperimenten (ongeveer 200 datapunten) om de diepte-schalingsexponent $\alpha_\ell$ te schatten.
3. Toy Model Experimenten: Om mechanismen te isoleren, werd een teacher-student opstelling ontworpen waarbij een student-netwerk leert een diepere teacher na te bootsen. De dynamiek van de teacher werd gecontroleerd via weight tying (het induceren van vloeiende dynamiek voor procedurale assemblage) of onafhankelijke gewichten (het induceren van niet-vloeiende, random-walk dynamiek voor ensemble-averaging). De diepte van de student werd gevarieerd, en training werd uitgevoerd onder verschillende target distributie-temperaturen om convergentie en schalingsgedrag te observeren.

Belangrijkste Bijdragen en Resultaten

• Inverse Diepte-schaling: De primaire bevinding is dat de LLM-loss ongeveer omgekeerd evenredig schaalt met de diepte ($\alpha_\ell \approx 1$). De passende exponent voor de diepte-afhankelijke term is $\alpha_\ell = 1.2 \pm 0.3$, wat wijst op een machtswetmatige afname waarbij het verdubbelen van de diepte de diepte-gelimiteerde foutcomponent ruwweg halveert.
• Dominantie van Ensemble-averaging: Analyse van de verborgen toestanden laat zien dat voor het overgrote deel van de tokens (99,6%) en lagen, updates incrementeel en uniform zijn in het midden van het netwerk. Cruciaal is dat de correlatie tussen naburige laag-updates zwak is (hoeken dicht bij $\pi/2$), wat de vloeiende dynamiek die nodig is voor procedurale assemblage tegenspreekt. In plaats daarvan komen deze kenmerken overeen met ensemble-averaging, waarbij lagen fungeren als redundante, ruisgevoelige schatters die de fout verminderen door middel van middeling.
• Afwijzing van de Dominantie van Compositionele en Procedurale Assemblage:
  • Compositionele Assemblage: De data vertonen niet de "early stopping" of de duidelijke hiërarchische abstractiepatronen (bijv. syntaxis $\to$ semantiek $\to$ redenering) die door dit regime worden voorspeld voor de meerderheid van de data.
  • Procedurale Assemblage: Hoewel procedurale assemblage (discretisering van vloeiende ODE's) theoretisch inverse schaling kan opleveren onder specifieke condities (bijv. lage temperatuur/onvolledige training), laten de experimenten met de toy-modellen van de auteurs zien dat zodra de training convergeert met vloeiende dynamiek, de schalingsexponent verschuift naar $\alpha_\ell \approx 3$. Aangezien echte LLM's $\alpha_\ell \approx 1$ vertonen, is procedurale assemblage waarschijnlijk niet het dominante mechanisme in geconvergeerde LLM's.
• Mechanistische Verklaring: Het artikel concludeert dat de inefficiëntie van LLM-diepte voortkomt uit het feit dat de meeste lagen functioneel vergelijkbare transformaties uitvoeren. Het toevoegen van diepte vergroot de omvang van deze functionele groepen, en de reductie in verlies wordt gedreven door de wet van de grote getallen (het middelen van fouten) in plaats van de constructie van nieuwe, diepere abstracties.

Betekenis en Claims
De auteurs claimen dat dit werk een kwantitatieve verklaring biedt voor het "inefficiënte" gebruik van diepte dat in eerdere empirische studies werd waargenomen. Door vast te stellen dat LLM's primair opereren in een ensemble-averaging regime, suggereert het artikel dat:

1. Architecturale Implicaties: Huidige residuele netwerkarchitecturen kunnen inherent modellen bevoordelen richting ensemble-averaging in plaats van compositioneel leren. Het verbeteren van efficiëntie vereist mogelijk architecturale innovaties die het compositionele gebruik van diepte stimuleren.
2. Schalingswetten: De geobserveerde inverse diepte-schaling ($\alpha_\ell \approx 1$) in combinatie met breedte-schaling ($\alpha_m \approx 1$) impliceert een optimale breedte-diepte relatie van $m \propto \ell$ onder een vast parameterbudget. Dit komt overeen met de empirische $N^{-1/3}$ schaling waargenomen in Chinchilla-modellen.
3. Beperkingen: De auteurs merken bescheiden op dat hun verliesdecompositie werd voorgesteld op basis van empirische fits en niet is afgeleid uit eerste principes. Ze erkennen dat hoewel ze de dominante rol van compositionele en procedurale assemblage hebben uitgesloten, andere mechanismen die vergelijkbare schalingsgedragingen produceren niet rigoureus uitgesloten kunnen worden zonder afleidingen vanuit eerste principes. Daarnaast richt de studie zich op de "bulk" van de lagen, waarbij wordt erkend dat de eerste en laatste lagen mogelijk ander, potentieel compositioneel, gedrag vertonen.

Samenvattend stelt het artikel dat het huidige succes van het schalen van LLM's grotendeels het resultaat is van het toevoegen van redundante lagen die fouten middelen, in plaats van het verdiepen van de representatieve hiërarchie, en dat toekomstige architecturale vooruitgang mogelijk afhangt van het doorbreken van deze bias naar ensemble-averaging.