A Driven, Finite‑Memory Dissipative System: The Empirical Boundary of Non‑Equilibrium Dynamics and Criticality in a Quantized Hybrid Language Model

Stel je een machine voor die nooit slaapt, die constant een stroom van informatie verwerkt, stukje bij beetje. In de wereld van de natuurkunde wordt een dergelijke machine een gedreven dissipatief systeem genoemd. Het is "gedreven" omdat een externe kracht het vooruit duwt, en het is "dissipatief" omdat het energie of informatie verliest terwijl het werkt, waardoor het een stabiel ritme vindt in plaats van uit de hand te lopen. Wetenschappers vragen zich al lang af of de complexe kunstmatige breinen die we large language models noemen, in deze categorie vallen. Gedragen ze zich als chaotische stormen die plotseling naar een nieuwe staat kunnen verschuiven, of settelen ze in een kalm, voorspelbaar patroon? Deze vraag is van belang omdat als deze modellen zich op de rand van chaos zouden bevinden, hun gedrag wild en moeilijk te voorspellen zou zijn; als ze stabiel zijn, kunnen we precies begrijpen hoe ze informatie vasthouden en waarom ze soms dingen vergeten.

Een onderzoeker genaamd Wenlong Li besloot een getraind taalmodel niet te behandien als een lerende student, maar als een voltooide machine die een specifieke taak uitvoert. Het model in kwestie is een massief, gekwantiseerd hybride systeem met 64 lagen en 27 miljard parameters, een omvang die aanzienlijke rekenkracht vereist om te draaien. Li bouwde een aangepaste tool om deze machine van binnenuit te observeren, waarbij hij bijtrack hoe de interne staat verandert bij elk nieuw woord dat het leest. Het doel was om te zien of het gedrag van het model overeenkwam met de wilde, kritieke dynamiek die in de natuur wordt gevonden, of dat het een eenvoudiger, meer geordend pad volgde. De bevindingen schetsen een beeld dat veel meer geworteld is in de realiteit dan de hype vaak suggereert: het model is een stabiel machine met een eindig geheugen dat settleert in een kalme, lineaire staat, en het vermijdt expliciet de chaotische kantelpunten die sommige theorieën voorspelden.

De meest opvallende ontdekking is dat het model niet opereert in een staat van kritikaliteit. In de natuurkunde is kritikaliteit een bijzonder punt waar een systeem in balans is op een mespunt, klaar om bij de kleinste duw dramatisch te verschuiven, wat vaak patronen produceert die op elke schaal hetzelfde lijken, zoals de vertakking van een boom of de stroming van een rivier. Veel onderzoekers hoopten dat taalmodellen van nature deze rand zouden vinden om hun intelligentie te maximaliseren. Echter, Li's metingen laten zien dat dit model dat niet doet. In plaats van een chaotische, zelforganiserende storm, settleert het model in een niet-evenwichtige stationaire toestand. Het is een lineair, stabiel vast punt. Wanneer het model een lange sequentie tekst verwerkt, groeit zijn interne geheugen niet oneindig of stort het niet in in chaos; het bouwt op tot een specifiek, begrensd niveau en blijft daar vervolgens. De energie-achtige balans van de geheugenmatrix sluit perfect, wat betekent dat de informatie die het schrijft bijna exact in evenwicht is met de informatie die het vergeet, waardoor een kleine, stabiele residu achterblijft.

Deze stabiliteit wordt beheerd door de interne architectuur van het model, die fungeert als een reeks gespecialiseerde filters. Het model heeft 48 verschillende "heads", of verwerkingseenheden, die het geheugen beheren. Deze heads zijn niet allemaal hetzelfde; ze zijn georganiseerd in twee verschillende tijdschalen. Een kleine groep van acht heads fungeert als langetermijnbewaarders, die informatie heel lang vasthouden met poorten die bijna volledig openstaan. Een andere groep vergeet informatie snel, optredend als kortetermijnbuffers. De rest bevindt zich ergens daartussenin. Deze ordening stelt het model in staat om ongeveer 15 stappen terug te onthouden in een gesprek, een eindig venster dat lang genoeg is om nuttig te zijn, maar kort genoeg om te voorkomen dat het systeem overbelast raakt. De onderzoekers bevestigden dit door te testen hoe het model reageerde op verschillende inputs, waarbij ze ontdekten dat het geheugen padafhankelijk is, wat betekent dat de volgorde van gebeurtenissen ertoe doet, maar dat het niet oneindig is.

De studie testte ook rigoureus op tekenen van zelfgeorganiseerde kritikaliteit, een fenomeen waarbij een systeem van nature evolueert naar een kritieke staat zonder externe afstemming, wat vaak "lawines" van activiteit produceert. Li zocht naar deze lawines in de activiteitspatronen van het model. Wat leek op gesynchroniseerde uitbarstingen van activiteit, bleek een truc van de input te zijn. Wanneer het model werd gevoed met een herhalende, ritmische sequentie van woorden, sloten de heads zich in een cyclus, waarbij ze samen in een voorspelbaar patroon bewogen. Dit was geen spontane, chaotische lawine, maar een gedwongen reactie op het ritme van de input, zoals een tikkende klok. Wanneer de input willekeurig en niet-herhalend was, verdwenen deze gesynchroniseerde gebeurtenissen. Het model genereert zijn eigen kritikaliteit niet; het reageert simpelweg op de drive die het krijgt.

Een ander belangrijk resultaat betreft het concept entropie, of de maatstaf voor wanorde en energieverlies in een systeem. In een deterministisch systeem zoals dit model, waar de uitkomst wordt bepaald door de input en de gewichten, vonden de onderzoekers dat de entropieproductie altijd positief is. Dit betekent dat het systeem constant informatie verliest in een eenrichtingsverkeer, wat precies is wat een stabiel, dissipatief systeem zou moeten doen. De onderzoekers probeerden een beroemde natuurkundige regel toe te passen, de fluctuatiestelling, die normaal gesproken vereist dat een systeem een kans heeft om achteruit te draaien. Omdat dit model een eenrichtingsweg is zonder achteruitversnelling, kon de stelling niet op de standaard manier worden getest. Om het punt te bewijzen, bouwden ze een eenvoudige, willekeurige versie van het model die wel achteruit kon draaien, en die versie voldeed wel aan de stelling. Dit bevestigde dat het gedrag van het getrainde model een resultaat is van zijn specifieke, eenrichtings ontwerp, en niet een falen van de natuurkunde.

De onderzoekers keken ook naar hoe het model zich gedraagt tijdens de trainingsfase, voordat het in zijn definitieve staat wordt bevroren. Ze ontdekten dat de noodzaak om informatie te onthouden werkt als een causale kracht die de interne vervalrate van het model dichter bij de rand van stabiliteit trekt. Wanneer het model werd getraind op een taak die het vasthouden van informatie vereiste, bewoog de interne spectrale radius — een maatstaf voor hoe snel signalen vervagen — van een veilige 0,896 omhoog naar 0,997, waardoor het gevaarlijk dicht bij het punt kwam waar het systeem instabiel zou worden. Echter, het overschreed die lijn nooit. Een model dat werd getraind op een taak die geen geheugen vereiste, bleef veilig op 0,89. Dit suggereert dat het trainingsproces het model er van nature op afstemt om zo stabiel mogelijk te zijn terwijl het nog steeds zijn werk kan doen, net voorbij de chaos die het nutteloos zou maken.

Om te garanderen dat hun methoden deugdelijk waren, testten de onderzoekers hun analysepipeline zelfs op echte gegevens van zwaartekrachtgolven, de rimpelingen in de ruimtetijd veroorzaakt door botsende zwarte gaten. Ze ontdekten dat hoewel hun instrumenten de toenemende frequentie van de golf konden detecteren, ze de uiteindelijke "ringdown"-tijd niet konden extraheren zonder gespecialiseerde filtering, wat bevestigde dat hun aanpak grenzen heeft en geen wondermiddel is voor alle complexe data. Deze externe controle versterkte de hoofd boodschap van het artikel: het getrainde taalmodel is een goed functionerende, eindige machine met geheugen. Het is geen chaotische, zelforganiserende entiteit op de rand van een faseovergang. Het is een gedreven, dissipatief systeem dat een comfortabele, stabiele evenwichtstoestand heeft gevonden, waarbij het net genoeg geheugen vasthoudt om te functioneren zonder ooit om te slaan naar het onbekende.