Phase transition in large language models and the criticality of natural languages

Technische Samenvatting: Faseovergang in Large Language Models en de Criticaliteit van Natuurlijke Talen

Probleemstelling
Natuurlijke talen vertonen universele statistische kenmerken, met name power-law gedrag (machtswet-gedrag), zoals de wet van Zipf (woordfrequentie versus rangorde) en de wet van Heaps (woordenschat versus documentlengte). In de statistische fysica is dergelijk power-law gedrag een kenmerk van systemen op een kritiek punt, gelegen nabij een faseovergang tussen verschillende macroscopische fasen. Deze observatie motiveert de conjectuur dat het stochastische proces dat natuurlijke taal genereert, zich op een kritiek oppervlak bevindt dat een "repetitieve" fase scheidt van een "onbegrijpelijke" fase. Het testen van deze hypothese is echter fundamenteel moeilijk omdat echte natuurlijke talen geen controleerbare parameters hebben; men kan niet een "temperatuur" of extern veld variëren om een transitie te observeren. Eerdere pogingen met vereenvoudigde wiskundige modellen hebben beperkt inzicht geboden in reële linguïstische fenomenen.

Methodologie
Om het gebrek aan controleerbaarheid in natuurlijke talen te overwinnen, gebruiken de auteurs Large Language Models (LLM's) als effectieve, controleerbare modellen. Specifiek gebruiken zij het 160M-parameter Pythia-model, getraind op de Pile (een grootschalige Engelse dataset). De studie behandelt de generatie van tekst als een stochastisch proces waarbij de temperatuurparameter $T$ (analoog aan de fysieke temperatuur in de Boltzmann-distributie) tijdens het samplen wordt gevarieerd.

De auteurs mappen gegenereerde teksten naar sequenties van Part-of-Speech (POS) tags (18 verschillende waarden) om statistische analyse te faciliteren. Zij analyseren systematisch teksten die gegenereerd zijn over een bereik van temperaturen ($T$) en trainingsstappen ($k$) om te onderzoeken:

1. Correlatiedecay: Het meten van de tijdsdecorrelatie $C(t, t+\Delta t)$ tussen POS-tags om te bepalen of correlaties exponentieel vervallen (gedisordeerd) of een power-law volgen (kritiek).
2. Geïntegreerde Correlatie ($\tau$): Het berekenen van de som van correlaties om onderscheid te maken tussen kort-bereik en lang-bereik orde als functie van de sequentielengte $N$.
3. Power Spectrum Analyse: Het analyseren van het vermogensspectrum $S(\omega)$ van de POS-sequenties om periodieke structuren te detecteren en het tellen van het aantal pieken ($n_{peaks}$) om repetitieve patronen te karakteriseren.
4. Trainingsdynamiek: Het herhalen van deze analyses op gedeeltelijk getrainde modellen (bij verschillende trainingsstappen $k$) om te bepalen wanneer deze kritieke kenmerken verschijnen.
5. Perplexity Evaluatie: Het gebruik van perplexiteit op de Pile-dataset om kwantitatief te meten hoe nauw de gegenereerde teksten bij verschillende $T$ en $k$ overeenkomen met de statistieken van natuurlijke taal.

Belangrijkste Resultaten

1. Faseovergang bij $T_c \approx 1$: De analyse onthult een duidelijke faseovergang in de LLM bij een kritieke temperatuur $T_c \approx 1$.

   • Lage-Temperatuur Fase ($T < 1$): Teksten vertonen lang-bereik orde met correlaties die convergeren naar een positieve waarde. Het vermogensspectrum toont een divergerend aantal pieken ($n_{peaks} \propto N$), wat wijst op complexe, inhomogene repetitieve structuren in plaats van eenvoudige periodiciteit.
   • Hoge-Temperatuur Fase ($T > 1$): Teksten zijn gedisordeerd en onbegrijpelijk. Correlaties vervallen snel (kort-bereik), en het vermogensspectrum bevat slechts één enkele piek bij $\omega=0$.
   • Kritiek Punt ($T \approx 1$): Correlaties volgen een power-law decay ($C \sim \Delta t^{-\eta}$ met $\eta \approx 0.2$), en de geïntegreerde correlatie $\tau$ divergeert met de sequentielengte $N$. Dit gedrag weerspiegelt de power-law statistieken die in natuurlijke talen worden waargenomen.

2. Verschijning tijdens Training: Deze fenomenen zijn niet inherent aan de modelarchitectuur, maar ontstaan terwijl het model de natuurlijke taal leert.

   • In een vroege trainingsfase ($k \lesssim 100$) genereert het model gedisordeerde tekst ongeacht de temperatuur, en wordt er geen faseovergang waargenomen.
   • Kritiek gedrag (divergerende $\tau$) ontstaat rond $k_c \approx 102$.
   • Complexe repetitieve structuren (divergerende $n_{peaks}$) verschijnen iets later, rond $k \approx 10^3$.
   • Dit geeft aan dat zowel de kritikaliteit als de complexe repetitie intrinsieke eigenschappen zijn die worden verworven door training op natuurlijke taaldata.

3. Optimale Overeenkomst met Natuurlijke Taal: De studie vindt dat de perplexiteit van het model op de natuurlijke taal-dataset wordt geminimaliseerd bij de laatste trainingsstap ($k=143.000$) en bij de kritieke temperatuur $T \approx 1$. Dit bevestigt kwantitatief dat het stochastische proces gedefinieerd door de LLM op het kritieke punt het meest overeenkomt met de statistische eigenschappen van natuurlijke taal.

Betekenis en Claims
Het artikel betoogt dat deze bevindingen sterk bewijs leveren voor de conjectuur dat natuurlijke talen kritiek zijn. De auteurs stellen een schematisch model voor waarbij het stochastische proces van natuurlijke taal op een kritiek oppervlak ligt dat de repetitieve en onbegrijpelijke fasen scheidt. Een LLM, getraind op deze taal, definieert een eendimensionale variëteit in de ruimte van stochastische processen; deze variëteit snijdt het kritieke oppervlak nabij het punt dat overeenkomt met de natuurlijke taal wanneer de temperatuur gelijk is aan de kritieke waarde.

De betekenis van dit werk ligt in:

• Empirische Validatie: Het verder gaan dan eenvoudige wiskundige modellen door faseovergangen aan te tonen in realistische, grootschalige taalmodellen.
• Statistische Fysische Perspectief: Het bieden van een kader om natuurlijke talen te karakteriseren door de lens van kritieke fenomenen, wat suggereert dat de power-law gedragingen waargenomen in taal signaturen zijn van een systeem dat opereert nabij een kritiek punt.
• Universaliteit: Voorlopige resultaten suggereren dat deze fenomenen robuust zijn over verschillende modelgroottes en talen (Chinees, Frans, Japans, Koreaans, Spaans), wat wijst op een universele kritieke aard van natuurlijke talen.

De auteurs concluderen dat natuurlijke talen inderdaad kritiek zijn, waarbij de LLM dient als een controleerbaar effectief model dat de empirische observatie van deze kritikaliteit mogelijk maakt, die anders ontoegankelijk is in reële taaldata.