Deterministic multi-hash routing supports long-horizon training in a compact language model

In de snel evoluerende wereld van kunstmatige intelligentie proberen onderzoekers voortdurend machines te bouwen die taal kunnen begrijpen en kunnen redeneren over de wereld. Om dit te doen, creëren ze digitale hersenen die taalmodellen worden genoemd, die in essentie enorme netwerken van getallen zijn die patronen leren van enorme hoeveelheden tekst. Een veelgebruikte strategie om deze modellen slimmer te maken zonder ze onmogelijk groot te maken, is het gebruik van een ontwerp dat een "mixture of experts" (mengeling van experts) wordt genoemd. Stel je een bibliotheek voor waar, in plaats van dat elke boek gelezen wordt door een enkele bibliothecaris, verschillende secties van de bibliotheek worden afgehandeld door verschillende specialisten. In een computermodel betekent dit dat voor een gegeven woord het systeem slechts een kleine, specifieke groep interne processoren, of "experts", activeert, terwijl de rest inactief blijft. Meestal beslist de computer welke experts te gebruiken moet op basis van de context van de zin, door zichzelf af te vragen: "Wat voor soort woord is dit, en wat heeft het nu nodig?" Dit besluitvormingsproces wordt door het model zelf geleerd tijdens de training, wat het flexibel maar ook complex en moeilijk voorspelbaar maakt.

Een onderzoeker genaamd Boris Peyriguere heeft een ander pad verkend door een eenvoudige maar gedurfde vraag te stellen: wat als de computer helemaal niet zelf hoefde te beslissen welke experts hij gebruikt? In plaats van een dynamische regel voor elke zin te leren, wat als de keuze van de expert permanent vaststond op basis van enkel het woord zelf? In deze nieuwe aanpak fungeert de identiteit van het woord als een permanente sleutel die altijd dezelfde twee deuren opent, ongeacht de omliggende conversatie. De onderzoeker bouwde een compact taalmodel met ongeveer 201 miljoen parameters — een maatstaf voor de grootte en complexiteit ervan — en trainde dit met behulp van dit rigide, vooraf bepaalde systeem. Het model werd tijdens de initiële leerfase blootgesteld aan bijna 130 miljard woorden, werd vervolgens verder verfijnd met nog eens 32 miljard woorden, en kreeg tot slot instructies geleerd om opdrachten op te volgen. De resultaten lieten zien dat dit vaste systeem effectief kon leren over een lange periode, waarbij een model werd geproduceerd dat verrassend goed presteerde op tests van fysiek redeneren en gezond verstand, en zelfs sommige grotere, meer traditionele modellen overtrof die met andere methoden waren getraind.

De kern van dit experiment ligt in de manier waarop het model informatie verwerkt. In een standaardopstelling analyseert de computer de huidige situatie om de beste hulpmiddelen te kiezen. In Peyriguere's model worden de hulpmiddelen gekozen op het moment dat het woord wordt gezien, gebaseerd op een vooraf berekende kaart die nooit verandert. Voor elk woord in de vocabulaire van het model is er een specifiek paar experts toegewezen. Deze kaart werd gecreëerd voordat de training begon en bleef gedurende het hele proces onveranderlijk. Het model gebruikt nog steeds een gedeeld pad dat elk woord verwerkt, wat ervoor zorgt dat het de context begrijpt, maar de extra "residuele" rekenkracht komt van die twee vooraf toegewezen experts. Dit ontwerp verwijdert een laag van complexiteit: het model hoeft niet langer te leren hoe het informatie moet routeren, wat computationele inspanning bespaart en het systeem gemakkelijker inspecteerbaar maakt. Omdat de routetabel een vaste lijst van gehele getallen is, kan iedereen naar het model kijken en precies zien welke experts voor een gegeven woord gebruikt zullen worden, zonder eerst de computer door een zin te hoeven halen.

Het trainingsproces was rigoureus en transparant. Het model begon met een basisfase waarin het een enorme collectie tekst las, inclusclusief webpagina's, educatief materiaal, code en wiskunde. Na deze initiële blootstelling pauzeerden de onderzoekers en startten ze de training opnieuw met een nieuwe set interne instellingen, waarbij ze dezelfde unieke woorden opnieuw bezochten om het begrip van het model te verfijnen zonder exact dezelfde sequentie van gebeurtenissen te herhalen. Ten slotte onderging het model instructie-tuning, waarbij het 300.000 voorbeelden van vragen en antwoorden kreeg om te leren hoe het commando's moet opvolgen. Gedurende deze hele reis hield het vaste routingsysteem stand. Het model stortte niet in of faalde in het leerproces; in plaats daarvan verbeterde het gestaag zijn vermogen om problemen op te lossen. Aan het einde van de training was het model in totaal aan meer dan 162 miljard woorden blootgesteld, een aanzienlijke hoeveelheid data voor een model van deze omvang.

Wanneer het werd getest op zijn vermogen om te redeneren, leverde het model solide resultaten. Op een test genaamd PIQA, die het begrip van fysieke interacties meet, behaalde het model een nauwkeurigheid van 68,01 procent. Op een reeks wetenschappelijke vragen bekend als ARC-Challenge scoorde het 27,13 procent. Misschien wel het meest opmerkelijk was dat het model, wanneer de scores van twee verschillende sets wetenschappelijke vragen werden gecombineerd, een gecombineerde nauwkeurigheid van 47,29 procent bereikte. Dit prestatieniveau was hoger dan dat van verschillende publieke modellen die aanzienlijk groter waren, met tussen de 350 miljoen en 774 miljoen parameters. Deze grotere modellen werden geëvalueerd met dezelfde strikte regels en testmethoden, en toch konden zij de prestaties van dit kleinere model met vaste routing niet evenaren. Dit suggereert dat de efficiëntie van het vaste routingsysteem het model in staat stelde om beter gebruik te maken van zijn beperkte omvang.

De onderzoeker is echter voorzichtig om niet te beweren dat deze methode de ultieme oplossing is of dat deze definitief superieur is aan alle andere benaderingen. De studie stelt expliciet dat deze geen gematchte volledige "dense control" of "multi-seed replicatie" bevat. Zonder een dergelijk gecontroleerd experiment is het onmogelijk om met zekerheid te zeggen of de vaste routing de hoge prestaties veroorzaakte of dat andere factoren, zoals de specifieke gebruikte data of het trainingsschema, een grotere rol speelden. Het artikel stelt expliciet dat het niet bewijst dat vaste routing beter is dan de flexibele, geleerde routing die in de meeste moderne systemen wordt gebruikt. In plaats daarvan dient het werk als een bewijs van concept: het demonstreert dat een model met vaste, onveranderlijke routes kan worden getraind voor een lange tijd, complexe taken kan leren en een hoogwaardig resultaat kan produceren.

De betekenis van dit werk reikt verder dan alleen de cijfers. Door de routetabel een vast, controleerbaar onderdeel van het model te maken, heeft de onderzoeker een systeem gecreëerd dat gemakkelijker te inspecteren en te verifiëren is. In veel geavanceerde AI-systemen is het besluitvormingsproces een "black box" die verandert naarmate het model leert, wat het moeilijk maakt om precies te weten hoe een specifieke beslissing is genomen. In dit model is het pad helder en onveranderlijk. Als je wilt weten welke experts een woord zal activeren, zoek je simpelweg het woord op in de tabel. Deze transparantie kan waardevol zijn voor onderzoekers die precies willen begrijpen hoe een model werkt, of voor ontwikkelaars die willen garanderen dat het systeem voorspelbaar functioneert. Het model toonde ook aan dat het lange trainingssessies kon verwerken zonder dat het routingsysteem instabiel werd, een zorg die vaste routing eerder riskant had laten lijken voor grootschalige toepassingen.

Uiteindelijk biedt dit artikel een nieuw perspectief op hoe efficiënte taalmodellen te bouwen. Het daagt de aanname uit dat de computer constant moet leren hoe hij zijn eigen gereedschappen moet kiezen, en laat in plaats daarvan zien dat een vooraf bepaalde, statische keuze net zo goed kan werken, en misschien zelfs beter in termen van efficiëntie, voor een compact model. Het model dat door de onderzoeker is vrijgegeven, samen met de trainingscode en evaluatietools, is beschikbaar voor anderen om te bestuderen en te repliceren. Deze openheid stelt de wetenschappelijke gemeenschap in staat om de bevindingen verder te testen, bijvoorbeeld door hetzelfde experiment met andere data uit te voeren of door het direct te vergelijken met een standaardmodel. Voor nu staat de studie als een demonstratie dat een eenvoudigere, meer rigide benadering van routing een lange en productieve trainingsreis kan volhouden en een bekwaam en transparant taalmodel kan produceren dat zijn gewicht overtreft.