LLMs Lean on Priors, Not Programming Language Semantics
Dit artikel introduceert PLSemanticsBench om aan te tonen dat hedendaagse grote taalmodellen primair vertrouwen op vooraf getrainde lexicale associaties in plaats van systematisch hun redenering te conditioneren op de aangeleverde formele programmasemantiek, zoals blijkt uit hun scherpe prestatiedegradatie wanneer zij worden geconfronteerd met semantische mutaties, nieuwe symbolen en lange executietracés.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
De Grote Vraag: Denken LLM's of Raden Ze Gewoon?
Stel je voor dat je een student leert hoe een nieuw bordspel werkt. Je overhandigt het regelboekje en zegt: "In dit spel, als je een 6 gooit, ga je naar achteren."
Een slimme student die de regels begrijpt, zal onmiddellijk naar achteren bewegen als hij een 6 gooit, zelfs als hij dit specifieke spel nog nooit heeft gespeeld.
Echter, een student die patronen heeft onthouden door duizenden andere bordspellen te spelen, zou kunnen aarzelen. Hij zou kunnen denken: "Wacht even, in Monopoly en Clue betekent een 6 meestal vooruit bewegen. Ik ga gewoon vooruit, want dat is wat er normaal gesproken gebeurt." Hij vertrouwt dan op zijn eerdere ervaringen (zijn "priors") in plaats van op de specifieke regels die je hem net hebt gegeven.
Dit paper vraagt zich af: Handelen Large Language Models (LLM's) als de slimme student die de nieuwe regels volgt, of als de patroon-onthoudende student die de nieuwe regels negeert?
Het Experiment: Een "Magische" Programmeertaal
Om dit te testen, hebben de onderzoekers een speciale, lichtgewicht programmeertaal gemaakt genaamd C⋆. Zie deze taal als een leeg canvas.
Vervolgens zetten ze een lastige test op met drie verschillende scenario's:
- De Standaard Test: Ze gaven het model de code en de normale regels (bijv.
+betekent optellen). Dit is als het spelen van een normaal spelletief schaken. - De Wisseltest (KeywordSwap): Ze hielden de code exact hetzelfde, maar ze wisselden de betekenissen van de symbolen in het regelboekje om.
- De Truc: Ze vertelden het model: "In deze versie betekent het
+teken eigenlijk aftrekken." - Het Doel: Als het model de regels echt volgt, zou het moeten aftrekken. Als het vertrouwt op geheugen, zal het nog steeds optellen omdat het gewend is dat
+optellen betekent.
- De Truc: Ze vertelden het model: "In deze versie betekent het
- De "Aliens" Test (KeywordObf): Ze vervingen alle bekende symbolen door vreemde, buitenaardse tekens (zoals symbolen uit een oud, vergeten schrift) en gaven het model een regelboekje waarin staat wat deze buitenaardse symbolen betekenen.
- Het Doel: Omdat het model deze symbolen nog nooit heeft gezien, moet het volledig vertrouwen op het nieuwe regelboekje. Het kan niet valsspelen door zijn geheugen te gebruiken van wat een
+normaal doet.
- Het Doel: Omdat het model deze symbolen nog nooit heeft gezien, moet het volledig vertrouwen op het nieuwe regelboekje. Het kan niet valsspelen door zijn geheugen te gebruiken van wat een
De Resultaten: De "Patroon Onthouders" Winnen (en Verliezen)
De onderzoekers testten 11 van de slimste beschikbare AI-modellen. Dit is wat er gebeurde:
1. Wanneer de regels normaal waren:
De modellen presteerden geweldig! Ze konden de uitkomst van de code met een hoge nauwkeurigheid voorspellen (tot 90%). Ze kwamen over als genieën.
2. Wanneer de regels werden omgewisseld (De "Optelling" wordt "Aftrekken"):
De modellen stortten in. Hun nauwkeurigheid daalde met 40% tot 60%.
- De Analogie: Het is als een chef die al een miljoen hamburgers heeft gebakken. Je zegt tegen hem: "Vandaag maken we een hamburger, maar het broodje is eigenlijk een aardappel." Een echte chef zou de aardappel gebruiken. Deze modellen probeerden echter toch het broodje te gebruiken omdat hun brein zo gewend is aan "Hamburger = Broodje". Ze konden hun spiergeheugen niet overrulen om de nieuwe instructie op te volgen.
3. Wanneer de regels buitenaards waren (De "KeywordObf"):
De modellen presteerden hier iets beter dan in de wisseltest, maar ze hadden nog steeds aanzienlijke problemen. Ze konden het nieuwe regelboekje niet volledig vertrouwen.
4. De Lange Duur (Complexe Loops):
Wanneer de code lang en ingewikkeld werd (zoals een verhaal met veel hoofdstukken en lussen), faalden bijna alle modellen. Zelfs de "slimste" modellen kregen slechts ongeveer 35% van de lange, complexe sequenties goed. Ze raakten de draad kwijt in het midden van het verhaal en vergaten de regels die ze zouden moeten volgen.
De "Redenerings"-modellen versus de "Niet-Redenerings"-modellen
De onderzoekers testten ook modellen die specifiek zijn ontworgen om "stap voor stap na te denken" (genoemd Reasoning-modellen).
- Het Goede Nieuws: Deze modellen waren beter in het volgen van de nieuwe regels dan de standaardmodellen.
- Het Slechte Nieuws: Zelfs de beste "Reasoning"-modellen faalden wanneer de regels werden omgewisseld. Ze vertrouwden nog steeds te veel op wat ze eerder hadden gezien. Ze konden de regels een tijdje volgen, maar zodra de regels vreemd werden of de taak lang werd, vielen ze terug op hun oude gewoontes.
De "Chain of Thought" (Tegen jezelf praten)
De onderzoekers probeerden een truc genaamd "Chain of Thought", waarbij ze de modellen vroegen om hun denkproces hardop uit te leggen voordat ze het antwoord gaven.
- Resultaat: Dit hielp de modellen beter te presteren op normale taken. Maar wanneer de regels werden omgewisseld (bijv.
+betekent aftrekken), hielp het "hardop praten" niet. De modellen maakten nog steeds de rekenfout omdat hun interne "spiergeheugen" te sterk was.
De Conclusie
Het paper concludeert dat huidige AI-modellen niet echt "redeneren" op basis van de regels die je hen geeft. In plaats daarvan zijn het statistische gokkers die zwaar leunen op wat ze in hun trainingsdata hebben gezien.
- De Metafoor: Stel je een acteur voor die een script voor een toneelstuk uit zijn hoofd heeft geleerd. Als je tegen hem zegt: "Vandaag improviseren we, en het woord 'Hallo' betekent eigenlijk 'Dag'", zal hij waarschijnlijk nog steeds "Hallo" zeggen omdat dat is wat hij gewend is te zeggen. Hij verwerkt de nieuwe betekenis niet echt; hij reciteert alleen het meest waarschijnlijke woord uit zijn geheugen.
Kortom: Als je wilt dat een AI een gloednieuwe set strikte regels volgt (zoals een nieuwe programmeertaal of een nieuw juridisch contract), zijn huidige modellen niet betrouwbaar. Ze zullen waarschijnlijk je nieuwe regels negeren en doen wat ze waarschijnlijk bedoelde, gebaseerd op hun eerdere training.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.