In het uitgestrekte landschap van kunstmatige intelligentie zijn de krachtigste instrumenten grote taalmodellen, vaak transformers genoemd. Deze systemen leren door enorme hoeveelheden tekst te lezen en miljarden interne getallen, bekend als gewichten, aan te passen om betere voorspellingen te doen over wat er volgt. Jarenlang hebben onderzoekers deze interne getallen behandeld als een black box: ze weten dat de getallen veranderen tijdens de training, maar ze hebben moeite gehad om precies te begrijpen hoe de aard van de gelezen tekst die veranderingen vormgeeft. Een cruciale vraag bleef onbeantwoord: bepaalt de voorspelbaarheid van de tekst zelf hoe meget de interne getallen van het model groeien of verschuiven? Als een model een zeer gestructureerd, voorspelbaar verhaal leest versus een chaotische, willekeurige brij van woorden, vertoont het verschil zich dan in de grootte van de getallen binnen de machine?

Een nieuwe studie door onafhankelijk onderzoeker Tiexin Ding geeft antwoord op deze vraag met een verrassende precisie. De onderzoeker ontdekte dat de groei van deze interne getallen een strikt, voorspelbaar patroon volgt dat volledig gebaseerd is op een enkele eigenschap van de tekst: hoe gemakkelijk het is om het volgende woord te raden op basis van het vorige woord. Door een specifere vorm van tekstcorruptie te analyseren, stelde de studie vast dat hoe voorspelbaarder de tekst, hoe meer de interne getallen van het model op een specifieke, meetbare manier groeien. Deze relatie houdt stand, ongeacht de leersnelheid die tijdens de training wordt gebruikt, wat suggereert dat er een fundamentele wet bestaat die de ruwe data verbindt met de interne structuur van de machine.

Het onderzoek begon met een eenvoudige observatie over de vorm van de getallen binnen een getraind model. Wanneer onderzoekers naar de grootte van deze getallen over de verschillende lagen van het model keken, ontdekten ze dat deze een consistent patroon volgden dat bekend staat als een Weibull-verdeling. Dit patroon wordt gedefend door twee waarden: een vormfactor die opmerkelijk stabiel blijft, en een schaalfactor die verandert terwijl het model leert. De stabiele vorm betekent dat de interne structuur van het model consistent blijft, terwijl de veranderende schaalfactor fungeert als een draaiknop die harder of zachter wordt gezet afhankelijk van de training. De studie richtte zich op deze schaalfactor, met de vraag wat deze drijft tot groei.

Om het antwoord te vinden, ontwierp de onderzoeker een gecontroleerd experiment met een standaard tekstdataset. In plaats van te trainen op verschillende boeken of onderwerpen, hield de onderzoeker de tekst hetzelfde maar verstoorde deze systematisch. Er werd een fractie van de tekst genomen en de volgorde van de woorden werd gehusseld, waardoor een spectrum van datasets ontstond dat varieerde van perfect geordend tot volledig chaotisch. Voordat er een model werd getraind, mat de onderzoeker een specifieke statistiek voor elke versie van de tekst: de gemiddelde moeilijkheid om het volgende woord te raden gegeven het vorige woord. In de schone tekst was het volgende woord gemakkelijk te voorspellen; in de gehusselde tekst was het bijna onmogelijk.

De resultaten onthulden een duidelijke, wiskundige relatie tussen deze voorspelbaarheid en de groei van de interne getallen van het model. De studie vond dat de groei van de schaalfactor niet willekeurig was, maar een specifieke curve volgde op basis van het verschil tussen de voorspelbaarheid van de tekst en een basislijn van totale willekeur. Cruciaal was dat deze relatie niet slechts een gok was; het werd afgeleid van twee afzonderlijke, onafhankelijk gemeten feiten. Ten eerste werd gevonden dat de groei van de getallen direct proportioneel is aan de hoeveelheid structuur die in de tekst overblijft. Ten tweede volgde de moeilijkheid om het volgende woord in de gehusselde tekst te voorspellen een specifiek, gebogen verzadigingspatroon naarmate de tekst meer werd gehusseld. Wanneer deze twee feiten werden gecombineerd, dwongen ze de groei van de getallen om een precieze, convexe curve te volgen. Dit betekent dat de vorm van de curve niet toevallig op de data werd aangepast, maar een noodzakelijk gevolg was van de interactie tussen de tekststructuur en het leerproces.

De studie testte deze wet over verschillende leersnelheden, die controleren hoe snel het model zijn getallen bijwerkt. Wanneer de onderzoeker voor deze snelheden corrigeerde, kwamen alle verschillende trainingsruns samen op één enkele, verenigde lijn. Deze convergentie bewees dat de relatie een fundamentele eigenschap van het systeem is, en geen artefact van een specifieke instelling. De onderzoeker voerde vervolgens een rigoureuze test uit om te zien of de wet de toekomst kan voorspellen. Met alleen de voorafgaande meting van de tekstvoorspelbaarheid voorspelde de onderzoeker hoeveel de interne getallen zouden groeien in een nieuwe, ongeziene versie van de gehusselde tekst. De voorspelling was accuraat binnen een zeer kleine foutmarge, wat bevestigt dat de eigenschappen van de tekst alleen al genoeg zijn om de interne groei van het model te voorspellen.

Echter, de studie trok ook een duidelijke grens rond waar deze wet van toepassing is. Wanneer de onderzoeker het model testte op computercode, faalde de voorspelling. Code heeft een lage voorspelbaarheid, wat volgens de wet theoretisch tot een hoge groei zou moeten leiden, maar de getallen van het model groeiden veel minder dan verwacht. De onderzoeker identificeerde dat code zwaar leunt op herhaling en sjablonen in plaats van de rijke, contextuele mapping die in natuurlijke taal wordt gevonden. Dit suggereert dat hoewel voorspelbaarheid een belangrijke drijfveer is, een tweede factor — redundantie — ook een rol speelt. De wet werkt perfect voor tekst waarbij het volgende woord afhangt van de context, maar breekt af voor tekst waarbij het volgende woord voorspelbaar is simpelweg omdat het een patroon herhaalt.

De bevindingen hielden ook stand toen de onderzoeker in het model keek naar de individuele lagen. Dezelfde relatie tussen tekstvoorspelbaarheid en getalgroei verscheen in elk deel van het model, hoewel de sterkte van het effect varieerde. De lagen die verantwoordelijk zijn voor het verwerken van de informatiestroom vertoonden de sterkste reactie, terwijl andere delen minder gevoelig waren. Dit stelde de onderzoeker in staat om exact in kaart te brengen waar in het netwerk de structuur van de tekst in de getallen werd geschreven. Bovendien testte de studie twee verschillende modelarchitecturen, en hoewel de specifieke getallen veranderden, bleef de onderliggende vorm van de relatie hetzelfde. Dit geeft aan dat de wet een robuust kenmerk is van hoe deze modellen leren, ongeacht het specifieke ontwerp van de machine.

Uiteindelijk biedt dit werk een duidelijk, vooruitziend instrument voor het begrijpen van kunstmatige intelligentie. Het demonstreert dat men een dataset kan bekijken voordat er zelfs maar een model is getraind, en accuraat kan voorspellen hoe de interne getallen van het model zullen evolueren. Dit sluit een langdurige lus tussen de data en de machine, waarbij wordt aangetoond dat de structuur van de tekst niet slechts een passieve input is, maar een actieve drijfveer van de interne dynamiek van het model. Hoewel de wet grenzen heeft, met name bij zeer repetitieve data zoals code, biedt het een krachtige nieuwe manier om de kwaliteit en structuur van trainingsdata te meten, waardoor een complex, onzichtbaar proces wordt omgezet in iets dat gemeten, voorspeld en begrepen kan worden met eenvoudige, concrete instrumenten.