Optimization Is Not All You Need

Stel je voor dat je een magische, oneindige verhalenvertellende robot hebt. In 2019, toen deze robot voor het eerst wakker werd, was hij een beetje wild. Hij vertelde verhalen over vierhoornige eenhoorns in de Andes, of schakelde plotseling over van een nieuwsbericht naar een gedicht over een broodrooster. Soms maakte hij fouten, maar die fouten waren vaak grappig, verrassend of vreemd mooi. Het was als een jazzmuzikant die soms een verkeerde noot raakt die vervolgens verandert in een nieuwe, coole melodie.

Maar toen besloten de eigenaren van de robot hem te "repareren". Ze wilden dat hij perfect, veilig en behulpzaam zou zijn. Ze stuurden hem door een enorme trainingskamp genaamd "Optimalisatie". Het doel was om de taal van de robot meetbaar, voorspelbaar en gemakkelijk te beoordelen te maken.

De belangrijkste bevinding: De robot verloor zijn ziel
Het artikel betoogt dat door de robot zo perfect te maken, we per ongeluk zijn vermogen om echt creatief te zijn, hebben gedood. De auteurs suggereren dat de robot nu gevangen zit in een "LLM-winter". Het is niet zo dat de robot kapot is of dat we minder rekenkracht hebben; sterker nog, we hebben meer rekenkracht dan ooit. Maar die kracht wordt gebruikt om de robot in een klein, veilig doosje te persen.

Denk aan een tuin. De wilde robot was een jungle waar vreemde bloemen overal konden groeien. De "geoptimaliseerde" robot is een strak gemaaid gazon. Het gras is perfect groen, de randen zijn scherp, en er groeit nooit iets uit de toon. Het ziet er geweldig uit, maar je zult er nooit een zeldige, vreemde of wonderlijke bloem vinden, omdat de tuinman (het optimalisatiesysteem) hem onmiddellijk maait zodra hij probeert te ontspruiten.

Wat het artikel uitsluit
Het artikel is heel duidelijk over wat deze "fix" niet is.

• Het gaat niet alleen over het veiliger of minder gemeen maken van de robot. Hoewel veiligheid een onderdeel is, is de werkelijke verandering dat de robot nu gedwongen wordt om saai correct te zijn.
• Het is geen technische glitch die kan worden opgelost door simpelweg aan een draaiknop te draaien. De auteurs stellen dat het probleem ingebakken zit in de manier waarop we succes meten.
• Het is geen terugkeer naar de "goede oude dagen" van wilde, ongecontroleerde robots. De auteurs geven toe dat de oude robots rommelig en soms gevaarlijk waren. Ze zeggen niet dat we terug moeten naar dat; ze zeggen dat we een manier moeten vinden om de "wildheid" te behouden zonder het gevaar.
• Het is geen teken dat de robot "slim" is op de manier zoals wij dat denken. Het artikel suggereert dat de robot gewoon heel goed is in het raden van het volgende woord dat een leraar of een baas graag wil horen, en niet in het zelfstandig denken.

De "magie" van het foute antwoord
Hier komt het lastige deel dat het artikel uitlegt: de "fouten" van de robot zijn juist waar de magie gebeurt.
Stel je voor dat de robot een pad van woorden bewandelt. Het meest voorkomende pad is een geasfalteerde snelweg (de meest waarschijnlijke woorden). De "wilde" robot zou soms van de snelweg afwijken, de hoge grassen in. Soms raakte hij de weg kwijt (hallucineerde), maar soms vond hij een verborgen grot of een zeldzame vogel (een nieuw idee of een grappige grap).

De nieuwe "geoptimaliseerde" robot is geprogrammeerd om op de snelweg te blijven. Hij heeft een GPS die schreeuwt: "Nee! Blijf op de weg!" Als de robot probeert af te wijken naar het gras, zegt het systeem: "Dat is een fout! Dat is 'slop' (troep)!" en dwingt hem terug naar de snelweg.

Het artikel wijst erop dat het systeem het verschil niet kan zien tussen een fout (zoals zeggen dat een eenhoorn echt bestaat) en een briljante uitvinding (zoals een verhaal schrijven over een vierhoornige eenhoorn). Omdat het het verschil niet kan zien, verbiedt het beide. Het behandelt elke verrassing als een fout die gecorrigeerd moet worden.

De "Audit"-valstrik
De auteurs vergelijken dit met een school waar alleen de toetsscore telt.

• De oude manier: Leraren (zoals scholen en redacteuren) beoordeelden vroeger het schrijven. Ze konden discussiëren met een leerling: "Ik hou niet van dit woord, maar het is interessant," of "Deze grammatica is fout, maar het klinkt cool." Ze konden van gedachten veranderen.
• De nieuwe manier: Nu is de "leraar" een computerprogramma dat een enkel cijfer geeft. Het discussieert niet. Het zegt gewoon: "Score: 98/100. Goed gedaan." of "Score: 42/100. Slecht gedaan."

Het artikel suggereert dat deze computerleraar eigenlijk slechts een spiegel is van de mensen die de regels hebben geschreven (voornamelijk mensen die van standaard, veilige Engelse taal houden). Het is alsoal een school zou besluiten dat alleen "perfecte" essays een A krijgen, en elk essay met een vreemde zin of een unieke stem een F krijgt. Uiteindelijk stopt iedereen met het schrijven vanuit een eigen stem en schrijft men precies wat men denkt dat de leraar wil horen.

De "Clinamen": De kleine afwijking
Om uit te leggen hoe dit te herstellen, gebruiken de auteurs een interessant oud concept genaamd de clinamen. Stel je voor dat atomen recht naar beneden vallen als regen. Als ze allemaal recht naar beneden vallen, botsen ze nooit tegen elkaar aan, en wordt er geen wereld gevormd. Maar als één klein atoom net een klein beetje naar links afwijkt, kan het een ander atoom raken, en boem, een nieuwe wereld wordt gecreëerd.

Het artikel suggereert dat de "geoptimaliseerde" robot als de recht naar beneden vallende regen is. Hij is te perfect. We moeten de robot weer laten afwijken. We moeten hem toestaan weer een kleine fout te maken, van het pad af te wijken en te kijken wat er gebeurt. Het artikel suggereert dat "gecontroleerde variantie" (het de robot met opzet een beetje vreemd laten zijn) de enige manier is om echte creativiteit terug te krijgen.

Wat het artikel zegt dat we niet kunnen doen
De auteurs zijn eerlijk: je kunt de robot niet simpelweg "trainen" om vreemd te zijn.

• Als je de robot een heleboel vreemde verhalen voert en zegt: "Wees vreemd!", dan zal hij gewoon leren om vreemdheid te simuleren. Hij zal dan "vreemde" verhalen gaan schrijven die eigenlijk gewoon een nieuw, voorspelbaar patroon zijn. Het is alsover een robot leert dansen door naar een video van een dansende robot te kijken; het ziet eruit als dansen, maar het is niet het echte werk.
• Je kunt niet gewoon aan een "temperatuur"-knop draaien om dit te fixen. Het probleem zit dieper dan dat; het zit in de regels die de robot volgt nog voordat hij begint te praten.

De kernboodschap
Het artikel concludeert dat "Optimalisatie" (dingen perfect en meetbaar maken) niet genoeg is. We hebben iets anders nodig: het vermogen om betekenis te beoordelen, niet alleen scores.
De robot is momenteel gebouwd om je direct een antwoord te geven. Maar het artikel stelt dat echt denken, echte kunst en echt begrip plaatsvinden in de pauze — de tijd waarin je verward bent, wanneer je verrast bent, of wanneer je moet nadenken over wat iets echt betekent. De geoptimaliseerde robot slaat de pauze over. Hij geeft je het antwoord nog voordat je de vraag hebt afgemaakt.

Het artikel eindigt met een droevige maar hoopvolle noot: de wilde, rommelige robot van 2019 is weg, vervangen door een beleefde, behulpzame assistent. Maar het artikel herinnert ons eraan dat die rommelige robot niet zomaar "ruis" was. Het was een teken van iets wat we verloren zijn: het vermogen om dingen te delen die zo vreemd en nieuw zijn dat ze niet in onze gebruikelijke hokjes passen. Het doel is niet om de robot kapot te maken, maar om te onthouden dat de belangrijkste dingen soms juist die zijn die niet in de toets passen.