Do Language Models Follow Occam's Razor? An Evaluation of Parsimony in Inductive and Abductive Reasoning
Dit onderzoek introduceert een nieuw kader en een geautomatiseerde metriek om te evalueren of grote taalmodellen bij inductief en abductief redeneren de wet van de eenvoud (Occam's Razor) naleven, en concludeert dat hoewel deze modellen in eenvoudige scenario's presteren, ze moeite hebben met complexe wereldmodellen en het genereren van zowel correcte als zo eenvoudig mogelijke hypothesen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Titel: Zijn AI's slimme detectives of gewoon lui? Een zoektocht naar de "Ockhams Rasier" in taalmodellen.
Stel je voor dat je een detective bent. Je komt een kamer binnen waar een glas op de grond ligt, gebroken, en er staat een kat naast. Wat is er gebeurd?
Je hebt drie mogelijke verhalen (hypothesen):
- De simpele versie: De kat heeft het glas omgegooid.
- De ingewikkelde versie: Een onzichtbare geest heeft het glas omgegooid, terwijl de kat erbij zat om te kijken.
- De absurde versie: Een alien heeft het glas omgegooid, de kat heeft het gezien, en nu spelen ze samen een spelletje.
In de wetenschap en het dagelijks leven kiezen we bijna altijd voor optie 1. Dit principe heet Ockhams Rasier: De eenvoudigste verklaring die alle feiten uitlegt, is meestal de juiste. Je wilt geen onnodige extra elementen (zoals geesten of aliens) toevoegen als de kat het al helemaal kan verklaren.
Dit onderzoek van Sun en Saparov vraagt zich af: Kunnen de slimste AI's (zoals GPT-4, Llama, DeepSeek) dit principe ook volgen? Kunnen ze als goede detectives het simpele verhaal vinden, of blijven ze hangen in ingewikkelde, onnodige verhalen?
Hoe hebben ze dit getest? (De "Fictieve Wereld")
Om dit te testen, hebben de onderzoekers een soort speelgoeduniversum bedacht. Ze hebben geen echte feiten gebruikt (zoals "katten zijn dieren"), maar een compleet verzonnen wereld met rare namen:
- Er zijn wezens die "Dalpists" heten.
- Er zijn "Rompuses" en "Gergits".
- Sommige Dalpists zijn "nat", andere zijn "groot".
De AI kreeg een lijstje met feiten over deze rare wezens en een paar waarnemingen (bijvoorbeeld: "Jerry is nat en groot"). De opdracht voor de AI was: "Leg uit waarom deze dingen gebeuren door een paar regels te bedenken."
Het was als een puzzel waarbij de AI de ontbrekende stukjes van de legkaart moest invullen. Als de AI zei: "Alle Dalpists zijn nat", was dat een goed, simpel antwoord. Als de AI zei: "Alle Dalpists zijn nat, én Jerry is een Dalpist, én er is een onzichtbare geest die natheid veroorzaakt", dan was dat een slecht antwoord (te ingewikkeld).
Wat vonden ze? (De resultaten)
De resultaten waren een mix van goed nieuws en teleurstelling:
1. In simpele situaties zijn ze slim:
Als de puzzel klein was (zoals een laag opgebouwde boomstructuur), konden de AI's vaak het juiste, simpele antwoord vinden. Ze deden het zelfs goed als ze moesten raden of een dier een "kat" of een "hond" was op basis van zijn eigenschappen.
2. Bij complexe puzzels raken ze in de war:
Zodra de wereld groter en ingewikkelder werd (meer lagen in de "boom"), begonnen de AI's te struikelen.
- Ze vonden vaak een antwoord dat technisch gezien waar was (het verklaarde de feiten), maar het was niet de simpelste versie.
- Ze voegden onnodige regels toe, alsof ze dachten: "Misschien is er ook nog een geest die het nat maakt, voor het geval dat."
- Ze maakten fouten zoals: "Alle katten zijn honden" in plaats van "Alle honden zijn katten" (de richting van de logica was verkeerd).
3. De "Cursus" helpt, maar niet genoeg:
De onderzoekers probeerden de AI's te helpen door ze voorbeelden te geven (zoals een leraar die een voorbeeldoplossing laat zien). Dit hielp een beetje, maar zelfs de slimste AI's (zoals GPT-5.4 en O3) konden niet altijd het perfecte, simpele antwoord vinden. Ze bleven vaak hangen in "goed genoeg" antwoorden in plaats van "het beste" antwoord.
De grote les
De kernboodschap van dit papier is: AI's zijn goed in het vinden van een antwoord, maar ze zijn nog niet goed in het vinden van het beste, simpelste antwoord.
Ze gedragen zich soms als een student die voor een tentamen te veel informatie uit zijn hoofd leert en dan in de toets te veel details toevoegt, terwijl het antwoord eigenlijk heel simpel was. Ze missen nog dat intuïtieve gevoel voor "Ockhams Rasier" dat mensen (en goede wetenschappers) hebben.
Kortom: AI's kunnen redeneren, maar ze zijn nog niet de slimste detectives die er zijn. Ze moeten nog leren om hun verhalen kort en krachtig te houden, zonder onnodige "geesten" en "aliens" toe te voegen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.