Measuring in-context algorithmic reasoning in language models against an exact Bayes-optimal standard

Stel je voor dat je een robot probeert te leren een puzzel op te lossen. Je laat het een paar voorbeelden zien: "Als ik een rode blok hier leg, verschijnt er een blauw blok daar." Daarna vraag je het om te voorspellen wat er hierna gebeurt. Soms heeft de robot het goed, maar is hij echt aan het nadenken over de regels van de puzzel, of is hij gewoon aan het gokken op basis van hoe de woorden meestal bij elkaar klinken? Dit is het grote mysterie achter moderne "Large Language Models" (LLM's), de superintelligente AI-chatbots die we vandaag de dag gebruiken. Wetenschappers noemen dit "in-context learning"—het vermogen om een nieuwe taak te leren door slechts een paar voorbeelden in een prompt te lezen. Het probleem is dat we niet echt een perfect liniaal hebben om te meten of de robot echt redeneert of gewoon patronen herkent. Meestal kunnen we alleen één robot vergelijken met een andere, of met een mens, maar we kennen niet het "God's eye view" van wat het perfecte antwoord zou moeten zijn.

Om dit op te lossen, hebben de auteurs van dit paper een speciale, piekleine en perfect gecontroleerde wereld gebouwd. Ze hebben een benchmark ontwikkeld genaamd F-ICL. Denk aan het als een gigantische, uitputtende bibliotheek van elk mogelijk eenvoudig computerprogramma dat een specif kind type binaire puzzel zou kunnen oplossen (gebruikmakend van alleen 0'en en 1'en). Omdat ze elk van deze 1,5 miljard kleine programma's hebben opgesomd, kunnen ze het wiskundig perfecte antwoord voor elke puzzel berekenen. Dit perfecte antwoord wordt de "Bayes-optimale" oplossing genoemd. Het is de gouden standaard: de absoluut beste gok die een machine kan maken op basis van het bewijs. Nu kunnen ze eindelijk een echte AI-model naast deze gouden standaard houden en precies zien hoe ver ze ervan af liggen. Het is alsoals het hebben van een perfecte kaart van een stad en dan controleren of een GPS-app je daadwerkelijk de kortste route leidt, of dat hij gewoon gokt op basis van het verkeer dat hij gisteren zag.

De Grote Redeneergat

De onderzoekers namen een enorme selectie van 105 verschillende AI-modellen — variërend van open-source projecten tot de meest geavanceerde "frontier"-systemen van top tech-labs — en lieten hen de F-ICL-test ondergaan. Ze wilden zien of deze modellen konden fungeren als perfecte Bayesiaanse redeneerders, die hun overtuigingen logisch bijwerken naarmate er nieuwe informatie binnenkomt.

Hier komt de verrassende wending: De modellen zijn erg goed in het geven van het juiste antwoord, maar verschrikkelijk in het redeneren als een perfecte machine.

Hoewel sommige modellen het juiste antwoord tot wel 92% van de tijd correct gaven, was hun interne "gokverdeling" (de manier waarop ze verschillende mogelijkheden wegen) vaak slechter dan die van een simpele willekeurige gokker. Sterker nog, 45 van de 46 modellen presteerden slechter dan een "keystroke reference". Stel je een aap voor die willekeurig toetsen op een toetsenbord ramt; deze willekeurige aap produceerde daadwerkelijk een waarschijnlijkheidsverdeling die dichter bij de perfecte wiskundige waarheid lag dan de meeste geavanceerde AI-modellen dat deden. De modellen waren niet alleen een beetje naast; ze waren zelfverzekerd fout over de onderliggende logica.

De "Over-commitment" Glitch

Een van de meest speelse en onthullende bevindingen is hoe de modellen zich gedragen wanneer je ze slechts één voorbeeld geeft. Een perfect redeneerder zou met elk nieuw aanwijzing een klein beetje beter worden. Maar deze AI-modellen worden vaak slechter nadat ze slechts één voorbeeld hebben gezien, voordat ze weer beter worden.

Het is alsof je een detective één aanwijzing geeft over een misdaad, en in plaats van zorgvuldig na te denken, direct roept: "Ik weet wie het gedaan heeft!" en zich vastbijt in de verkeerde verdachte. Pas nadat je ze een paar meer aanwijzingen geeft, beginnen ze langzaam terug te krabbelen en kijken ze weer naar het bewijs. Het paper vond dat 69 van de 81 modelruns deze fout maakten: ze trekken te snel een conclusie. Ze zijn aan het "over-committen" aan het eerste stukje data dat ze zien, in plaats van te wachten tot ze het hele plaatje zien.

Grootte Lost de Logica Niet Op

Je zou kunnen denken dat grotere, slimmere modellen dit zouden oplossen. Het paper testte modellen met miljarden parameters (de "hersengrootte" van de AI), van kleine 0,8 miljard tot enorme 675 miljard. Het resultaat? Grotere modellen werden beter in het geven van het juiste antwoord, maar ze werden niet beter in het redeneren.

De kloof tussen het gedrag van het model en de perfecte wiskundige standaard bleef exact hetzelfde, ongeacht hoe groot het model ook was. Of het model nu 1 miljard of 600 miljard parameters had, het bleef worstelen met het evenaren van de perfecte "Bayes-optimale" logica. Het is alsof je een student steeds grotere bibliotheken aan boeken geeft (meer data), maar ze nog steeds niet hebben geleerd hoe ze een kaart moeten gebruiken; ze zijn alleen beter geworden in het onthouden van de boektitels.

De "Safety" en "Training" Valstrik

Het paper keek ook naar wat er gebeurt wanneer modellen worden "post-getraind" — dat wil zeggen, wanneer mensen ze aanpassen om behulpzamer te zijn, instructies op te volgen of "veilig" te zijn. Verrassend genoeg maakte deze training de redeneergap juist groter.

Wanneer modellen werden getuned om "instructie-volgend" te zijn of om meer te "denken", kwamen ze juist verder van de perfecte logische standaard af. Het lijkt erop dat het aanleren van een model om beleefd te zijn of een specifiek chatformaat te volgen, het kan aanleren om de rauwe, logische structuur van het probleem te negeren. Het is alsof je een schaker leert om altijd "Goed spel" te zeggen na een wedstrijd; ze kunnen beleefder worden, maar ze kunnen de werkelijke regels van het spel vergeten.

De Frontier Stagneert

De onderzoekers keken ook naar de nieuwste, duurste modellen van de grootste techbedrijven, die de afgelopen twee jaar zijn uitgebracht. Ze ontdekten dat de trouw aan de perfecte logische standaard niet is verbeterd. De nieuwste modellen zijn net zo ver verwijderd van de perfecte redeneerder als de oudere modellen dat waren. Sterker nog, het oudste model dat ze testten (van mei 2024) was eigenlijk het meest trouw aan de logische standaard, terwijl de nieuwste modellen iets slechter waren.

De "Termination" Problematiek

Eén specifieke reden waarom de modellen zo laag scoorden, was hoe ze omgingen met het einde van een zin. Het perfecte wiskundige model weet precies wanneer een reeks 0'en en 1'en moet stoppen. De AI-modellen waren echter erg slecht in dit. Ze gokten vaak dat een reeks zou eindigen wanneer dat niet zo hoorde, of gingen door wanneer het had moeten stoppen. Deze specifieke fout maakte bijna 90% van hun fouten uit. Het is alsof de modellen geweldig waren in het schrijven van het verhaal, maar slecht in weten wanneer ze een punt aan het einde moesten zetten.

Het Oordeel

Het paper concludeert dat hoewel deze AI-modellen ongelooflijk goed zijn in patrooncompletie — het vinden van het meest waarschijnlijke volgende woord op basis van wat ze eerder hebben gezien — ze nog niet aan het doen aan echte algoritmische redenering. Ze bouwen geen mentaal model van de regels; ze plakken alleen patronen aan elkaar.

De auteurs hebben hun benchmark, F-ICL, als een open hulpmiddel uitgebracht zodat andere wetenschappers het kunnen blijven testen. Ze vonden dat huidige modellen vastzitten in een "patroonherkenningszone", zittend tussen een willekeurige gok en een perfecte logische redeneerder in, maar veel dichter bij de willekeurige gok. Totdat modellen deze kloof kunnen dichten, kunnen ze misschien geweldig zijn in het schrijven van essays of codefragmenten, maar ze "denken" nog niet echt zoals we hopen. De kloof wordt niet gedicht door de modellen groter te maken of langer te trainen; het lijkt een fundamentele verandering te vereisen in de manier waarop ze informatie verwerken.