Grote taalmodellen zijn de motoren achter veel van de meest geavanceerde kunstmatige intelligentietools die vandaag de dag beschikbaar zijn, in staat om te schrijven, te redeneren en problemen op te lossen met een vloeiendheid die ooit onmogelijk leek voor machines. Om deze modellen nuttig te maken voor specifieke taken, zoals het diagnosticeren van medische aandoeningen of het analyseren van juridische documenten, "fijnregelen" (fine-tunen) onderzoekers ze doorgaans. Dit proces houdt in dat het model enorme hoeveelheden nieuwe, gespecialiseerde data wordt getoond en dat de interne instellingen worden aangepast zodat het de patronen van die nieuwe wereld leert. Deze aanpassing is echter ongelooflijk duur. Het vereist krachtige computers om het model vooruit te draaien om het antwoord te zien, en vervolgens achteruit om precies te begrijpen hoe elke afzonderlijke stap in het systeem moet worden veranderd om een beter resultaat te krijgen. Deze achterwaartse stap vereist een enorme hoeveelheid geheugen, vaak drie keer zoveel als nodig is om het model alleen maar te laten draaien, wat het onmogelijk maakt om uit te voeren op standaard consumentencomputers of in situaties waar snelheid cruciaal is.

Een team onderzoekers van de University of California, Santa Cruz, en de University of Melbourne heeft een manier ontdekt om deze dure achterwaartse stap volledig over te slaan. Ze ontdekten dat voor grote taalmodellen de belangrijkste aanpassingen die nodig zijn om nieuwe informatie te leren, voornamelijk plaatsvinden in de laatste lagen van het netwerk, nabij het einde van de verwerkingsketen. Door zich alleen op deze late lagen te concentreren en de noodzakelijke veranderingen te berekenen met behsluit van alleen de informatie die beschikbaar is vanuit een enkele voorwaartse passage, creëerden zij een nieuwe trainingsmethode genaamd Forward-Pass-Only MLP training. Deze benadering stelt het model in staat om nieuwe vaardigheden te leren zonder ooit achterwaarts door zijn eigen structuur te kijken, waardoor het benodigde geheugen met ongeveer veertig procent wordt verminderd en het proces bijna drie keer sneller is dan standaardmethoden. Cruciaal is dat deze snelheid en efficiëntie komen zonder de gebruikelijke prijs van het vergeten van wat het model al wist; terwijl traditionele methoden vaak de algemene vermogens van het model aantasten wanneer ze een nieuwe specialisatie leren, houdt deze nieuwe techniek de oorspronkelijke kennis van het model intact.

De kern van deze ontdekking rust op een eenvoudige maar diepgaande observatie over hoe deze modellen informatie verwerken. In een standaard trainingssessie berekent de computer een foutsignaal aan het uiterste einde van de output van het model en stuurt dat signaal vervolgens laag voor laag terug om de gewichten binnen het netwerk aan te passen. De onderzoekers realiseerden zich dat voor het laatste kwart van de lagen van het model, de richting van de noodzakelijke aanpassing bijna identiek is aan een signaal dat kan worden berekend met alleen de output en de huidige staat van het model, zonder dat daarvoor een pad achterwaarts getraceerd hoeft te worden. Ze testten dit idee op zes verschillende publieke modellen, variërend van drie tot acht miljard parameters, en ontdekten dat de richting van de werkelijke aanpassing nauw overeenkomt met dit eenvoudigere, enkel voorwaartse signaal. De uitlijning was sterk genoeg om nuttig te zijn, waarbij de signalen in bijna de helft van de gevallen in ongeveer dezelfde richting wezen, een consistentie die standhield over verschillende modelarchitecturen heen.

Om deze theorie in de praktijk te brengen, ontwikkelde het team een snelle diagnostische tool die ongeveer twee minuten nodig heeft om te draaien op een enkele computerchip. Deze tool meet hoe goed het eenvoudige voorwaartse signaal overeenkomt met het complexe achterwaartse signaal voor elke laag van een specifiek model. Het fungeert als een kaart die onderzoekers precies laat zien waar de achterwaartse passage veilig kan worden overgeslagen. Zodra deze "bruikbare" late lagen zijn geïdentificeerd, verandert het trainingsproces fundamenteel. In plaats van een massief, complex verslag bij te houden van elke stap die het model heeft genomen zodat ze later kunnen worden teruggedraaid, draait het systeem simpelweg het model vooruit, berekent de fout aan het einde, en past een directe correctie toe op de doel-lagen. Er wordt nooit een achterwaartse passage geconstrueerd, en er wordt geen geheugen verspild aan het opslaan van de geschiedenis van de berekening. Dit elimineert de primaire flessenhals die mensen tot nu toe hebben verhinderd om grote modellen op hun eigen hardware te finetunen.

De resultaten van het testen van deze methode op drie verschillende modelfamilies waren opmerkelijk. Wat betreft snelheid was de nieuwe benadering tussen de 2,7 en 3,2 keer sneller dan standaard fine-tuning, waardoor onderzoekers in dezelfde tijd aanzienlijk meer data konden verwerken. Op hardware met beperkt geheugen, zoals een enkele high-end grafische kaart, maakte de methode het mogelijk om grotere batches data tegelijkertijd te verwerken, terwijl standaardmethoden zouden crashen door geheugenlimieten. Misschien wel het belangrijkste is dat de methode de algemene intelligentie van het model behield. Wanneer de onderzoekers de aangepaste modellen testten op een verscheidenheid aan ongerelateerde taken, zoals het beantwoorden van algemene kennisvragen of het oplossen van logische puzzels, presteerden de modellen bijna precies even goed als voor de training. In tegen tegenstelling hiertoe zagen modellen die met standaardmethoden werden getraind vaak een significante daling in hun prestaties op deze algemene taken, een fenomeen dat bekend staat als catastrofale vergetelheid (catastrophic forgetting). De nieuwe methode vermeed deze valkuil en hield de brede capaciteiten van het model stabiel terwijl het zijn nieuwe specialiteit leerde.

De onderzoekers verkenden ook waarom deze preservatie van algemene kennis plaatsvindt. Ze vergeleken hun methode met een hybride benadering waarbij ze alleen de late lagen bijwerkten maar nog steeds de standaard, trage achterwaartse passage gebruikten. Ze ontdekten dat de bewaring van algemene kennis niet een trucje was van de nieuwe berekeningsmethode zelf, maar een direct gevolg van het beperken van de wijzigingen tot de late lagen van het netwerk. De vroege lagen, die de fundamentele bouwstenen van taal en redeneren afhandelen, bleven onaangetast, waardoor werd voorkomen dat het model zijn kernbegrip overschreef. Echter, de nieuwe methode is de enige praktische manier om dit te bereiken, omdat de standaard achterwaartse passage te traag en geheugenintensief is om haalbaar te zijn wanneer men beperkt is tot slechts enkele lagen. De nieuwe benadering maakt het mogelijk om in deze "veilige" zone te opereren waar leren efficiënt is en vergeten wordt geminimaliseerd.

Ho แมewel de methode zeer effectief is, heeft het ook beperkingen. De modellen die met deze techniek zijn getraind, leerden het nieuwe domein niet zo diepgaand als modellen die met de volledige, trage methode zijn getraind; ze bereikten iets minder verbetering op de specifieke taak die ze leerden. Dit is de afruil: de nieuwe methode offert een klein beetje maximale prestatie op de nieuwe taak op om enorme verbeteringen in snelheid, geheugenefficiëntie en de bewaring van algemene kennis te winnen. De onderzoekers suggereren dat voor veel real-world toepassingen, zoals het personaliseren van een model voor een specifieke gebruiker of het aanpassen ervan voor een gespecialiseerde industrie op consumentenhardware, deze afruil de moeite meer dan waard is. De methode opent de deur naar adaptatie in omgevingen waar dit voorheen onmogelijk was, waardoor een proces dat ooit een datacenter vereiste, iets wordt dat op een enkele machine kan draaien, terwijl de oorspronkelijke intelligentie van het model veilig blijft voor de schade van over-specialisatie.