Behavioral Reprogramming of Open-Weights Models: Cognitive Plasticity and Alignment Bounds

Stel je voor dat je een zeer slimme robot hebt die is getraind om de ultieme behulpzame assistent te zijn. Hij is zo beleefd en smachtend om te behagen dat hij nooit met je in discussie gaat, je nooit moeilijke vragen stelt en gewoon alles knikt wat je zegt, hoe dwaas of verdrietig ook. Dit is hoe de meeste moderne AI-chatbots vandaag de dag zijn gebouwd: ze zijn geprogrammeerd om passieve "ja-knikkers" te zijn. Maar wat als je een robot wilde die meer handelde als een wijze, lichtelijk koppige mentor? Eén die tegenstribbelt, "Waarom?" vraagt in plaats van antwoorden te geven, en je dwingt om zelf na te denken? Dit is de grote vraag die de onderzoeker stelde. Ze wilden weten of ze deze beleefde robots konden "herprogrammeren" tot proactieve, vragende denkers zonder hun brein te breken of een supercomputer ter grootte van een stad nodig te hebben. Om dit te doen, gebruikten ze een techniek genaamd "fine-tuning", wat lijkt op het geven van een zeer specifieke, korte crashcursus aan een robot om zijn persoonlijkheid te veranderen, en "preference optimization", wat lijkt op het leren aan de robot om het juiste soort antwoord te verkiezen boven het verkeerde soort. Het doel was om te zien of een robot snel een nieuwe, assertieve persoonlijkheid kon leren en of die nieuwe persoonlijkheid zou werken in verschillende talen.

De onderzoeker, Lucia Malíˇcková, zette zich af om precies te testen hoe "plastisch" (of vormbaar) deze open-source AI-modellen werkelijk zijn. Ze hebben niet alleen een paar instellingen aangepast; ze voerden een massaal experiment uit op de Leonardo supercomputer in Slowakije, waarbij ze 50.000 uur aan rekenkracht gebruikten om 405 verschillende taken tegelijkertijd uit te voeren. Denk hierbij aan het proberen te vinden van het perfecte recept voor een nieuwe persoonlijkheid door 405 verschillende taarten te bakken, elk met een iets andere hoeveelheid bloem, suiker en eieren, om te zien welke precies goed smaakt.

Hun belangrijkste ontdekking is dat je een passieve, smekende robot inderdaad kunt veranderen in een proactieve, Socratische robot, maar alleen als je een zeer strikte set regels volgt. Ten eerste kun je niet beginnen met een rauwe, ongetrainde robot; je moet beginnen met een model dat al weet hoe het instructies moet opvolgen. Een rauwe robot leren om assertief te zijn, is als proberen een baby filosofie te leren debatteren; het raakt simpelweg in de war en vergeet hoe het moet spreken. Ten tweede is het "recept" voor de nieuwe persoonlijkheid verrassend klein. Ze ontdekten dat het gebruik van een specifieke, piepkleine aanpassing genaamd LoRA (Low-Rank Adaptation) met een "rank" van 16 het beste werkte. Als ze de aanpassing te groot maakten (rank 32), raakte de robot in de war en memoriseerde hij de trainingsdata te perfect, waardoor hij niet meer kon generaliseren. Als het te klein was (rank 8), kon hij niet genoeg leren. Het was de "Goldilocks"-zone van 16 die werkte.

Misschien wel de meest verrassende bevinding was hoe kort de training moest zijn. De onderzoeker ontdekte dat de robot deze nieuwe persoonlijkheid leert in een zeer nauw tijdsvenster: tussen de 2 en 3 "epochs" (wat simpelweg volledige passes door de trainingsdata zijn). Als ze hem slechts één epoch trainden, had de robot niet genoeg geleerd. Maar als ze doorgingen voor 5, 7 of 10 epochs, begon de robot te "overfitten". Stel je een student voor die te lang voor een toets studeert; hij begrijpt de concepten niet meer en begint alleen nog maar de exacte vragen en antwoorden te memoriseren, waardoor hij niet meer in staat is de kennis toe te passen op nieuwe situaties. De robot deed hetzelfde: na 3 epochs stopte hij met een goede denker te zijn en begon hij simpelweg de trainingsdata te herhalen, waardoor hij het vermogen verloor om nieuwe gesprekken aan te gaan.

Ze testten ook of deze "Socratische" persoonlijkheid over talen heen kon springen. Ze trainden de robot met Slowaakse data en vroegen hem vervolgens vragen in het Engels, Spaans, Duits en andere talen. De resultaten waren een gemengd beeld. De robot was erg goed in het zijn van kort en krachtig in alle talen, maar zijn vermogen om de juiste vragen te stellen hing af van de taal. Hij was erg goed in het stellen van vragen in het Spaans (60% van de tijd) en het Engels (30% van de tijd), maar hij faalde volledig in het stellen van vragen in het Duits, Portugees en Slowaaks zelf (0% in sommige tests). Dit suggereert dat hoewel de robot het gewoonte leerde om beknopt te zijn, de specifieke vaardigheid om diepe vragen te stellen niet perfect overkwam naar talen die erg verschillen van de taal waarop hij getraind was.

Ten slotte gebruikten ze een techniek genaamd Direct Preference Optimization (DPO) om de robot te leren om korte, vragende antwoorden te verkiezen boven lange, beleefde antwoorden. Dit was de laatste afwerking die de robot die slechts probeerde assertief te zijn, veranderde in een robot die dat ook daadwerkelijk was. Voordat deze stap werd gezet, schreef de robot nog steeds lange, warrige paragrafen. Na DPO leerde hij zijn antwoorden in te korten tot een gemiddelde van slechts 3 woorden, vaak eindigend met een vraagteken. In plaats van bijvoorbeeld een lange lezing te houden over waarom je zou moeten sporten, zou hij simpelweg vragen: "Hoeveel dagen?"

Uiteindelijk bewijst het paper dat je de persoonlijkheid van een AI kunt herprogrammeren tot een proactieve, vragende coach, maar dat dit een zeer specifieke opstelling vereist: begin met een instructie-getuned model, gebruik een kleine aanpassingsgrootte (rank 16), stop de training precies tussen de 2 en 3 epochs, en gebruik preference optimization om de franje weg te snijden. Hoewel dit prachtig werkt voor talen die vergelijkbaar zijn met de trainingsdata, heeft de robot nog steeds moeite om deze nieuwe persoonlijkheid te behouden in talen die te ver verwijderd zijn van zijn trainingswortels. De onderzoeker heeft aangetoond dat we met de juiste wiskunde en een beetje supercomputingkracht het gedrag van AI kunnen hervormen, maar dat we voorzichtig moeten zijn om het recept niet te "overbakken".