In de wereld van kunstmatige intelligentie zijn large language models de motoren die alles aandrijven, van schrijfassistenten tot complexe redeneertools. Om deze motoren te laten draaien, moeten onderzoekers ze onderwijzen door ze enorme hoeveelheden tekst te voeren, een proces dat pretraining wordt genoemd. Dit onderwijzen vereist een zorgvuldige balans tussen snelheid en precisie, gecontroleerd door een instelling genaamd de leersnelheid (learning rate). Beschouw deze snelheid als het tempo waarin het model zijn interne kennis aanpast op basis van nieuwe informatie. Als het tempo te hoog is, schiet het model voorbij de waarheid; als het te laag is, leert het niets. Jarenlang was de standaardmethode voor het beheren van dit tempo een schema dat bekend staat als cosine decay. Deze methode laat het model op een matige snelheid beginnen, vertraagt het geleidelijk in een vloeiende curve, en stopt op een precies moment. Echter, deze standaardbenadering heeft een aanzienlijk gebrek: het vereist dat men precies weet hoe lang de training zal duren voordat de eerste stap wordt gezet. In een wereld waar data continu binnenkomt en de totale hoeveelheid informatie onbekend is, is deze vereiste als proberen een auto te besturen met een kaart die alleen de bestemming laat zien, maar niet de afstand om daar te komen.

Onderzoekers aan de Harvard University en het Kempner Institute hebben dit probleem aangepakt door een nieuwe manier te ontwikkelen om deze modellen te trainen die geen vooraf ingestelde einddatum nodig heeft. Hun werk, dat wiskundige theorie combineert met grootschalige experimenten, demonstreert dat modellen effectief getraind kunnen worden zonder ooit te weten wanneer de training zal stoppen. Ze ontdekten dat door een eenvoudige, gestage snelheid te gebruiken die vanzelf met de tijd afneemt, en door de voortgang van het model over de hele reis te middelen, ze resultaten konden behalen die net zo goed zijn als de traditionele methode. Deze ontdekking suggereert dat de rigide, vooraf geplande schema's van het verleden niet nodig zijn voor het bouwen van de meest geavanceerde kunstmatige intelligentie, wat de deur opent voor het trainen van systemen die continu kunnen leren naarmate er nieuwe data beschikbaar komt.

De kern van het probleem ligt in de aard van moderne data. In tegen tegenstelling tot de vaste datasets van het verleden, stroomt de informatie van vandaag eindeloos binnen. Een model kan een week getraind worden, dan een maand, of potentieel jaren, afhankelijk van hoeveel data beschikbaar is. Het traditionele cosine decay-schema is "horizon-afhankelijk", wat betekent dat het specifiek moet worden afgestemd op een bekende duur. Als een onderzoeker een schema afstemt op een run van één maand, maar het project loopt uit naar drie maanden, lijdt de prestatie van het model omdat de leersnelheid ontworpen was om te vroeg af te nemen. De onderzoekers zochten naar een "horizon-vrij" alternatief, een methode die goed presteert ongeacht of de training morgen of volgend jaar stopt. Ze stelden voor dat in plaats van een complexe curve, een eenvoudig schema dat langzaam over de tijd afneemt, gecombineerd met een techniek genaamd weight averaging, dit probleem zou kunnen oplossen. Weight averaging is een proces waarbij het uiteindelijke model niet alleen de laatste versie is die is gemaakt, maar een mengeling van vele versies van gedurende het hele trainingsproces, wat de ruis gladstrijkt en het resultaat stabiliseert.

Om dit idee te testen, richtte het team zich eerst op de wiskundige theorie. Ze analyseerden het gedrag van een vereenvoudigd model van leren, met behulp van lineaire regressie op data die de complexe patronen van taal nabootst. Hun analyse toonde aan dat voor bepaalde soorten data, een leersnelheid die langzaam afneemt over de tijd, specifiek volgens een patroon waarbij de snelheid daalt naarmate de wortel van de tijd toeneemt, theoretisch optimaal is. Cruciaal was dat ze bewezen dat wanneer deze specifieke afname wordt gekoppeld aan weight averaging, de methode de best mogelijke snelheid van leren bereikt zonder vooraf de totale trainingstijd te hoeven weten. Dit theoretische bevinding leverde een sterke basis, wat suggereerde dat een eenvoudige, gestage aanpak complexe, vooraf geplande curves zou kunnen overtreffen in een open-einde setting.

De onderzoekers gingen vervolgens van theorie naar praktijk door large language models te trainen met 150 miljoen en 300 miljoen parameters. Ze trainden deze modellen op een enorme dataset van tekst, waarbij ze de modellen dwongen om tot 32 keer de hoeveelheid data te leren die normaal gesproken voor modellen van hun omvang wordt gebruikt. Deze schaal is significant omdat het de omstandigheden weerspiegelt waaronder de meest geavanceerde AI-systemen ter wereld worden gebouwd. Ze vergeleken hun nieuwe horizon-vrije schema's met het standaard cosine decay-schema, dat zorgvuldig was afgestemd op elke specifieke duur van de training. De resultaten waren opmerkelijk. De nieuwe methoden, die ofwel een constante leersnelheid met averaging gebruikten, of een langzaam afnemende snelheid met averaging, volgden de prestaties van de best afgestemde cosine-schema's bijna perfect. Over het gehele bereik van de training, van korte runs tot de langst mogbare duur, behaalden de horizon-vrije methoden resultaten die vrijwel ononderscheidbaar waren van de traditionele aanpak.

Een van de meest overtuigende aspecten van dit werk is de praktische toepasbaarheid. De onderzoekers lieten zien dat een enkele set instellingen, gekozen aan het begin van de training, gebruikt kon worden voor de gehele duur van een project, zelfs als dat project plotseling uitbreidt. Ze demonstreerden dat als een model is afgestemd op een specifiek tussenpunt, zoals vier keer de standaard hoeveelheid data, diezelfde instellingen goed zouden blijven presteren wanneer de training wordt uitgebreid naar 32 keer die hoeveelheid. Dit elimineert de noodzaak om de training te stoppen en opnieuw af te stemmen telkens wanneer de trainingshorizon verandert. Bovendien testten ze een populaire alternatieve methode genaamd warmup-stable-decay, die probeert het beste van twee werelden te imiteren door de snelheid gedurende het grootste deel van de training constant te houden en deze dan aan het einde te laten afnemen. Hoewel deze methode goed presteerde, vereiste het nog steeds kennis van wanneer de afnamefase moest beginnen, wat het minder flexibel maakt dan de werkelijk horizon-vrije aanpak die de auteurs voorstelden.

De studie onderzocht ook hoe deze methoden zich gedragen wanneer de trainingsdata zeer groot is, een scenario waarin de ruis in het leerproces van nature lager is. Onder deze omstandigheden ontdekten de onderzoekers dat de leersnelheid helemaal niet hoefde af te nemen. Een constante leersnelheid, gecombineerd met weight averaging, was voldoende om top prestaties te behalen. Dit komt overeen met hun theoretische voorspelling dat wanneer de variantie, of ruis, in de data klein is, het model meer profiteert van het behouden van een gestaag tempo om bias, of fouten, te verminderen, in plaats van te vertragen. Dit inzicht suggereert dat naarmate de rekenkracht groeit en modellen grotere batches data kunnen verwerken, de noodzaak voor complexe decay-schema's volledig kan afnemen, vervangen door simpelere, robuustere strategieën.

Uiteindelijk biedt dit onderzoek een duidelijk pad voorwaarts voor de toekomst van de training van kunstmatige intelligentie. Het suggereert dat de rigide, vooraf berekende schema's die het veld jarenlang hebben gedomineerd, niet de enige manier zijn, of misschien zelfs niet de beste manier, om modellen te trainen in een tijdperk van continue data. Door te bewijzen dat eenvoudige, horizon-vrije schema's gecombineerd met weight averaging de prestaties van de meest zorgvuldig afgestemde traditionele methoden kunnen evenaren, hebben de auteurs een praktische oplossing geboden voor open-einde leren. Deze aanpak stelt modellen in staat om zich aan te passen aan de hoeveelheid data die beschikbaar is, wat het trainingsproces flexibeler en efficiënter maakt. De bevindingen wijzen erop dat de toekomst van het trainen van large language models wellicht niet ligt in complexere scheduling-algoritmen, maar in eenvoudigere, veerkrachtigere strategieën die continu kunnen leren zonder een vooraf bepaalde einddatum.