Why the Third Axis Is Freedom

Het Grote AI-Raadspel

Stel je voor dat je een robot leert om tekeningen te maken. In de wereld van kunstmatige intelligentie gebeurt dit meestal via een proces dat "generatieve training" wordt genoemd. De robot probeert een afbeelding te maken, en als deze afwijkt van het voorbeeld dat je aan hem hebt laten zien, krijgt hij een "straf" of een lage score. De robot wil deze straf minimaliseren, dus leert hij om het voorbeeld zo perfect mogelijk te kopiëren. Maar hier zit de crux: als de robot alleen leert om het ene meest voorkomende antwoord uit te spugen dat hij ziet, kan hij heel goed worden in het kopiëren van dat specifieke ding, maar verschrikkelijk in het omgaan met alles wat nieuw of anders is. Hij wordt dan een rigide papegaai in plaats van een creatieve kunstenaar.

Lange tijd vroegen wetenschappers zich af hoe ze deze modellen flexibeler konden maken. Ze ontdekten een truc genaamd "Exploratieve Modellering". In plaats van de robot te vragen om slechts één gok te doen, vraag je hem om veel verschillende gokken tegelijk te doen—zeg tien verschillende tekeningen. Vervolgens straf je alleen de gok die het dichtst bij het doel ligt, en negeer je de andere negen. Dit dwingt de robot om een bredere variëteit aan ideeën in zijn hoofd te houden, in de hoop dat er één van hen de juiste zal zijn. Dit idee werd onlangs de nieuwe "derde as" van AI-training genoemd, wat suggereert dat het vermogen om veel verschillende "modi" of versies van een antwoord vast te houden, de sleutel is tot het slimmer maken van AI.

Maar is het vasthouden van veel ideeën hetzelfde als slim zijn? Dit artikel stelt een diepere vraag: Zit de magie in het aantal gokken, of in de vrijheid die de robot heeft om te kiezen? De auteur stelt dat het simpelweg tellen van hoeveel gokken een model maakt, niet het hele verhaal is. In plaats daarvan is het echte geheim "vrijheid"—wat in deze context betekent: hoeveel verschillende manieren het model heeft om correct te zijn zonder de regels te breken. Het is het verschil tussen een robot die gedwongen wordt te kiezen uit een kleine lijst van tien opties, en een robot die mag kiezen uit een enorme bibliotheek aan mogelijkheden, zelfs als hij er momenteel slechts een paar van gebruikt. Het artikel onderzoekt of deze "vrijheid" degene is die AI beter laat leren, in plaats van alleen het ruwe aantal gokken.

De Derde As is Vrijheid, Niet Alleen een Telling

De auteur, Michael Timothy Bennett, werpt een frisse blik op deze "derde as" van AI-training. Hij betoogt dat hoewel het vorige idee van "generatieve expressiviteit" (het vermogen om veel modi vast te houden) interessant is, het eigenlijk een beetje een afleidingsmanoeuvre is. De echte held van het verhaal is vrijheid.

Beschouw het gedrag van een model als een set regels voor een spel. Een "zwakke" regel is een regel die je niet veel beperkt. Bijvoorbeeld, een regel die zegt "Je mag elk kleur shirt dragen" is zwak omdat het miljoenen mogelijkheden toestaat. Een "sterke" regel die zegt "Je moet een rood shirt dragen" is sterk omdat het je slechts één keuze laat. Bennett betoogt dat de beste AI-modellen de modellen zijn die hun regels zo "zwak" mogelijk houden terwijl ze nog steeds correct zijn. Deze "zwakte" is wat hij vrijheid noemt. Het is het volume aan compatibele voltooiingen die het model zich nog kan voorstellen. Als een model te rigide is (te sterk), kan het falen wanneer de wereld verandert. Als het vrij is (zwak), kan het zich aanpassen aan nieuwe situaties omdat het zichzelf niet heeft vastgelegd in één smal pad.

Het artikel daagt het idee uit dat de "derde as" simpelweg gaat over het aantal outputs dat een model kan produceren (zijn "modusaantal"). Bennett laat zien dat een model theoretisch een enorm aantal toegestane outputs kan hebben, maar toch verschrikkelijk kan zijn in het generaliseren als het er slechts één gebruikt. Omgekeerd kan een model met een kleinere set toegestane outputs ongelooflijk krachtig zijn als het zijn aandacht gelijkmatig over hen verspreidt. Het artikel bewijst wiskundig dat vrijheid een eigenschap is van de functie van het model (wat het daadwerkelijk doet), en niet van de vorm (hoeveel parameters of lagen het heeft). Je kunt de grootte van het model of de data die het ziet veranderen, maar als de "vrijheid" van het gedrag gelijk blijft, blijft het vermogen om te generaliseren gelijk.

De Magie van "Best-of-K"

Dus, hoe verkrijgen we deze vrijheid? Het artikel kijkt naar een methode genaamd Exploratieve Modellering (XM), waarbij een model $K$ kandidaten genereert en de beste kiest. De auteur leidt een wiskundige formule af die precies laat zien hoe dit proces werkt.

Stel je voor dat je naar een specifieke sleutel zoekt in een donkere kamer.

• Als je slechts één keer kijkt ($K=1$), kun je de sleutel missen, zelfs als hij er vlakbij ligt.
• Als je tien keer kijdt ($K=10$), stijgt je kans om de sleutel te vinden.

Het artikel laat zien dat dit "tien keer kijken"-proces werkt als een vergrootglas op de vrijheid van het model. Het creëert geen nieuwe vrijheid uit het niets; in plaats daarvan beloont het modellen die een breed "permissieprofiel" hebben. Als een model veel verschillende outputs toestaat (hoge vrijheid), is het "best-of-K"-proces veel waarschijnlijker om een goede match te vinden. Als het model rigide is en slechts één output toestaat, helpt tien keer kijken niet veel, omdat alle tien de gokken waarschijnlijk dezelfde saaie zaak zullen zijn.

De auteur bewijst dat naarmate je $K$ verhoogt (het aantal gokken), het trainingsproces het model er natuurlijk toe drijft om "zwakker" (vrijer) te worden. Het stopt met proberen een perfecte kopie te zijn van slechts één ding en begint te leren om een breder bereik aan mogelijkheden te dekken. Dit is vooral waar als de doelen (de dingen die het model probeert te leren) niet allemaal hetzelfde zijn. Als sommige doelen zeldzaam zijn en andere algemeen, zal een kleine $K$ het model doen focussen op alleen de algemene zaken. Maar naarmate $K$ groter wordt, wordt het model gedwongen om ook aandacht te besteden aan de zeldzame zaken, waardoor het uiteindelijk zijn "permissie" over alle geldige opties verspreidt.

De Experimenten: Theorie aan de Test Leggen

Het artikel blijft niet alleen in de sfeer van de wiskunde; het voert twee grote experimenten uit om te zien of dit standhoudt in de echte wereld van neurale netwerken.

Experiment 1: Maakt meer gokken het model vrijer?
De onderzoekers trainden AI-modellen met verschillende waarden voor $K$ (van 1 tot 32). Ze maten de "vrijheid" van de getrainde modellen door te tellen hoeveel verschillende geldige outputs de modellen daadwerkelijk mochten produceren.

• De Resultaten: Wanneer ze een hogere $K$ gebruikten, werden de modellen aanzienlijk vrijer. Bijvoorbeeld, onder uniforme doelen verhoogde het verhogen van $K$ van 1 naar 8 de "gemiddelde log-vrijheid" met ongeveer 8,3. De modellen werden niet alleen beter in gokken; ze breidden hun "permissieprofiel" daadwerkelijk uit om meer geldige mogelijkheden in te sluiten. Dit bevestigde dat de trainingsmethode erin slaagt om het budget van "gokken" om te zetten in functionele vrijheid.

Experiment 2: Maakt het kiezen van het "vrijere" model het beter?
Hier trainden de onderzoekers een reeks modellen en moesten toen de beste kiezen om te gebruiken in een nieuwe situatie (waar de regels van het spel licht waren veranderd). Ze vergeleken twee manieren van kiezen:

1. Child-Validation: Het model kiezen dat het best presteerde op de oorspronkelijke trainingsdata (de "child"-taak).
2. Freedom Selection: Het model kiezen dat de hoogste "vrijheidsscore" had, zelfs als het niet de absolute beste was op de oorspronkelijke data.

• De Resultaten: De "Freedom Selection"-methode won 29 van de 30 keren. De modellen die gekozen werden op basis van hun vrijheid presteerden veel beter op de nieuwe, gebalanceerde data (waarbij de hit rate verbeterde van ongeveer 0,317 naar 0,389). Dit suggereert dat door te selecteren op vrijheid, je selecteert voor een model dat robuuster en aanpasbaarder is aan verandering, zelfs als het er iets minder perfect uitziet op de specifieke data waarop het getraind is.

Het Grote Plaatje: Middelen versus Doelen

Het artikel concludeert met een duidelijk onderscheid tussen het instrument en het doel.

• Exploratie (de $K$ gokken) is het middel. Het is het mechanisme, het budget, de manier waarop we het model dwingen rond te kijken.
• Vrijheid is het doel. Het is de eigenlijke eigenschap van het model die het goed maakt in het generaliseren.

De auteur betoogt dat "generatieve expressiviteit" (het idee dat het hebben van veel modi het doel is) slechts een proxy is voor vrijheid. Het is een manier om de mogelijkheden te tellen, maar het mist de nuance van hoe die mogelijkheden worden gebruikt. Een model kan een hoog modusaantal hebben maar toch rigide zijn als het ze niet goed gebruikt. Echte generalisatie komt voort uit vrijheid—het vermogen van het model om open te blijven staan voor vele compatibele toekomsten.

Uiteindelijk suggereert het artikel dat de "derde as" van AI-training altijd vrijheid is geweest. De nieuwe methoden zoals Exploratieve Modellering zijn slechts een slimme manier om modellen te trainen om minder beperkt, minder rigide en meer klaar te zijn voor wat de toekomst ook brengt. Door te trainen met meer gokken, leren we de AI niet alleen beter te gokken; we leren het om vrijer te zijn.