In de wereld van moderne kunstmatige intelligentie zijn grote taalmodellen als enorme bibliotheken vol menselijke kennis, in staat om verhalen te schrijven, vergelijkingen op te lossen en vragen te beantwoorden. Deze bibliotheken zijn echter niet van nature georganiseerd om behulpzaam, veilig of gehoorzaam aan menselijke instructies te zijn. Om dit op te lossen, gebruiken onderzoekers een proces genaamd alignment (afstemming), wat fungeert als een laatste trainingsfase om het model te leren hoe het zich als een goede assistent moet gedragen. De standaardmethode hiervoor omvat een techniek die bekend staat als reinforcement learning (versterkend leren), waarbij het model verschillende antwoorden probeert, een score ontvangt voor hoe goed ze zijn, en vervolgens complexe wiskunde gebruikt om zijn interne instellingen aan te passen om de volgende keer een betere score te halen. Dit proces is krachtig, maar het is ook ontzettend zwaar. Het vereist enorme hoeveelheden computerkracht, gespecialiseerde hardware en constante communicatie tussen veel processoren, wat het duur en moeilijk maakt om op te schalen voor de grootste modellen.

Een team van onderzoekers van T-Tech en Yandex heeft een ander pad voorgesteld, één dat de zware wiskundige aanpassingen volledig overslaat. Ze noemen hun nieuwe methode ESSA, wat staat voor Evolutionary Strategies for Scalable Alignment. In plaats van te berekenen hoe het model in de juiste richting gestuurd moet worden, behandelt ESSA het model als een levend organisme in een simulatie. Het creëert veel lichtelijk verschillende versies van het model, test ze allemaal tegelijkertijd om te zien welke het beste presteert, en behoudt vervolgens de beste eigenschappen terwijl de rest wordt weggegooid. Deze aanpak elimineert de noodzaak voor de complexe backward-berekeningen die traditionele methoden vertragen. Door zich alleen te concentreren op een klein, specifiek deel van de instellingen van het model en een strategie te gebruiken die natuurlijke selectie nabootst, ontdekten de onderzoekers dat ze enorme modellen veel sneller en met veel minder rekenkracht dan voorheen konden afstemmen, waarbij ze resultaten behaalden die de huidige state-of-the-art methoden evenaren of zelfs overtreffen.

Het kernidee achter ESSA is om te stoppen met het proberen aan te passen van elk enkel getal binnen het model. Grote taalmodellen bevatten miljarden van deze getallen, en het tegelijkertijd veranderen van ze allemaal is alsof je een supertanker probeert te sturen door elke enkele bout op de romp te bewegen. De onderzoekers realiseerden zich dat het model na een initiële trainingsfase al weet hoe het de basis taak moet uitvoeren. Wat het nodig heeft is een fine-tuning, een kleine aanpassing van het gedrag. Om dit te bereiken, gebruikten ze een techniek genaamd Low-Rank Adaptation, die een kleine, flexibele laag aan het model toevoegt, en braken die laag vervolgens af in zijn meest essentiële componenten. Ze bevroren de richting van deze componenten en lieten alleen de grootte, of magnitude, van een paar sleutelgetallen veranderen. Dit reduceerde het probleem van het aanpassen van miljarden variabelen naar het aanpassen van slechts enkele duizenden, waardoor een compacte ruimte ontstond waar een zoekstrategie efficiënt kon werken.

In deze nieuwe opzet genereert de computer een populatie van kandidaat-modellen, elk met licht verschillende instellingen voor die paar duizend getallen. Elke kandidaat wordt getest op een reeks problemen, zoals het oplossen van wiskundige vergelijkingen of het opvolgen van strikte instructies, en krijgt een score. Het systeem kijkt vervolgens naar de scores om te beslissen welke kandidaten het meest succesvol waren. In plaats van gradiënten te berekenen, die complexe wiskundige hellingen zijn die worden gebruikt om de beste richting te vinden, selecteert het systeem simpelweg de winnaars en gebruikt de instellingen van hen als het startpunt voor de volgende ronde van variaties. Dit proces herhaalt zich, waarbij de populatie langzaam evolueert naar betere prestaties. Omdat het systeem alleen het model 'forward' hoeft te draaien om een score te krijgen, kan het draaien op computers die een vereenvoudigd, lage-precisie formaat voor getallen gebruiken, wat nog meer geheugen en snelheid bespaart.

De onderzoekers testten deze methode op een breed scala aan taken, waaronder het opvolgen van instructies, het optreden als een behulpzame assistent en het oplossen van moeilijke wiskundige problemen. Ze vergeleken ESSA met de leidende methoden die de traditionele, zware wiskundige aanpak gebruiken. Op taken die wiskundig redeneren betreffen, presteerde ESSA net zo goed als de beste bestaande methoden, en in sommige gevallen was het aanzienlijk sneller. Bijvoorbeeld, bij het trainen van een groot model op een cluster van 128 krachtige grafische processoren, bereikte ESSA een specifiek doelniveau van nauwkeurigheid bijna acht keer sneller dan de standaardmethode. Deze versnelling kwam niet doordat ESSA minder voorbeelden nodig had om te leren, maar omdat elke stap van zijn proces veel lichter was en parallel kon worden uitgevoerd zonder de bottlenecks die traditionele methoden vertragen.

De studie onderzocht ook hoe goed deze methode werkt met verschillende groottes van modellen en verschillende soorten taken. Ze vonden dat ESSA effectief bleef, zelfs wanneer het model werd opgeschaald naar 72 miljard parameters, een omvang die normaal gesproken zeer moeilijk efficiënt af te stemmen is. In deze grootschalige tests was de methode in staat om te draaien met één kandidaat-model per grafisch proces, een prestatie die onmogelijk zou zijn met de traditionele methode vanwege geheugenbeperkingen. De onderzoekers controleerden ook of de methode werkte wanneer de initiële training over een ander onderwerp werd gedaan dan het uiteindelijke doel, zoals trainen op algemene conversatie maar testen op strikt regelvolgen. De methode hield het goed stand en liet zien dat de evolutionaire zoektocht de juiste aanpassingen kon vinden, zelfs wanneer men vanuit een iets andere basis begon.

Een van de meest verrassende bevindingen was dat de methode niet de complexe, fijn afgestelde instellingen vereist die traditionele methoden eisen. De onderzoekers testten verschillende groottes voor de populatie van kandidaten en ontdekten dat een modaal aantal meestal genoeg was om uitstekende resultaten te behalen. Ze ontdekten ook dat de methode robuust was tegen veranderingen in de mate waarin de instellingen van het model mochten veranderen. Deze stabiliteit suggereert dat de evolutionaire aanpak minder gevoelig is voor de specifieke keuzes van de ingenieur, wat het in de praktijk makkelijker te gebruiken maakt. Bovendien werkte de methode goed, zelfs wanneer de computer een lagere precisie gebruikte voor zijn berekeningen, waarbij slechts een fractie van de nauwkeurigheid verloren ging terwijl er aanzienlijke winst in snelheid en geheugenefficiëntie werd geboekt.

Het artikel behandelde ook wat er gebeurt wanneer de methode wordt vergeleken met andere manieren om de beste instellingen te zoeken. De onderzoekers testten verschillende typen evolutionaire strategieën en vonden dat hoewel sommige iets beter waren aan het einde, de specifieke strategie die zij kozen de meest betrouwbare was om snel goede resultaten te behalen. Ze vergeleken hun methode ook met een versie die probeerde dezelfde vereenvoudigde instellingen te gebruiken, maar met de traditionele wiskundige aanpak. De evolutionaire methode presteerde consequent beter dan deze hybride, wat bewees dat de manier waarop de zoektocht werd uitgevoerd even belangrijk was als de instellingen die werden gezocht. Dit suggereert dat het oude idee om natuurlijke selectie te gebruiken om machines te trainen niet alleen een back-up plan is, maar een krachtig alternatief dat onder de juiste omstandigheden de standaardtools kan overtreffen.

Uiteindelijk laat het werk zien dat de zware, complexe machinerie van moderne alignment niet de enige weg vooruit is. Door het probleem te vereenvoudigen tot een zoektocht naar de beste instellingen binnen een kleine groep kandidaten, en door gebruik te maken van de kracht van parallel computing, hebben de onderzoekers aangetoond dat grote modellen snel en efficiënt kunnen worden afgestemd. De methode vervangt de initiële training die de basiskennis van het model geeft niet, maar biedt een nieuwe, lichtere manier om die kennis te vormen tot een behulpzame assistent. Terwijl modellen steeds groter worden, biedt deze aanpak een praktische weg om ze af te stemmen zonder dat daar een onmogelijke hoeveelheid computerkracht voor nodig is, wat suggereert dat de toekomst van AI-alignment mogelijk ligt in eenvoudigere, directere strategieën in plaats van steeds complexere wiskundige formules.