Technische Samenvatting: Het Riddle Riddle Paradigma

Probleemstelling

Hoewel Large Language Models (LLM's) een hoge nauwkeurigheid vertonen op diverse cognitieve benchmarks, blijft het onduidelijk of deze prestaties voortkomen uit flexibel redeneren of uit het ophalen van oppervlakkige patronen uit de trainingsdata. Omdat redeneren zelf onderdeel wordt van de trainingscorpora, kunnen modellen leren om de verschijning van redeneren te imiteren (bijv. een raadselstructuur herkennen en een "instinkerantwoord" produceren) zonder de werkelijke inhoud van het probleem te evalueren. Bestaande benchmarks slagen er vaak niet in om onderscheid te maken tussen een model dat een oplossing heeft gememoriseerd en een model dat dynamisch een passende redeneerstrategie selecteert. De kernuitdaging is het ontwerpen van een paradigma dat de oppervlaktestructuur van een probleem scheidt van de inhoudelijke vereisten.

Methodologie

De auteurs introduceren het Riddle Riddle Paradigma, een diagnostisch kader dat gebruikmaakt van gepaarde woordproblemen om strategie-selectie te testen.

Stimuli-ontwerp

Het paradigma bestaat uit 30 gepaarde items, die elk twee condities bevatten:

1. Conditie A (Echt Raadsel): Een standaard raadsel dat inventief, niet-letterlijk redeneren vereist om een schijnbare tegenstrijdigheid op te lossen (bijv. "Een cowboy rijdt op vrijdag een stad binnen... en rijdt op vrijdag weer uit," waarbij "Vrijdag" de naam van het paard is).
2. Conditie B (Riddle Riddle): Een aangepaste versie van hetzelfde raadsel die de syntactische structuur, formulering en zinslengte behoudt, maar de "instinker" verwijdert. Deze problemen vereisen enkel een letterlijke interpretatie (bijv. "Een cowboy rijdt op vrijdag een stad binnen... en rijdt op maandag weer uit," waarbij het antwoord simpelweg een berekening van dagen is).

Dit ontwerp zorgt ervoor dat eventuele prestatieverschillen uitsluitend worden gedreven door de inhoud van het probleem en niet door onderwerp, format of formulering.

Experimentele Opzet

De studie bestaat uit twee experimenten:

• Experiment 1 (LLM's): Getest met negen state-of-the-art modellen (waaronder GPT-5.4, Claude-opus-4-6, Gemini-3.1-Pro en open-source varianten zoals Llama-3.3 en Qwen3.5). Elk model ontving 30 raadsels en 30 riddle riddles met 10 herhalingen per item. Respons werd gecodeerd voor nauwkeurigheid en type redenering (inventief versus letterlijk). Er werd ook een "memorization check" uitgevoerd via gedeeltelijke prompt-voltooiing om te beoordelen of een hoge prestatie op echte raadsels voortkwam uit letterlijke herinnering.
• Experiment 2 (Mensen): 100 menselijke participanten losten 6 items op (3 uit elke conditie) in een gecontroleerde setting. Respons werd op vergelijkbare wijze gecodeerd als de LLM-data.

Analyse

De auteurs gebruikten mixed-effects logistische regressie om de nauwkeurigheid en de selectie van redeneerstrategieën te analyseren. Ze vergeleken prestaties tussen condities en tussen oplossers (mensen versus LLM's), waarbij specifiek werd gekeken naar "diagnostische fouten":

• Overgeneralisatie: Het toepassen van inventief redeneren op een probleem dat slechts een letterlijke interpretatie vereist.
• Undergeneralisatie: Het toepassen van letterlijk redeneren op een probleem dat een inventieve interpretatie vereist.

Belangrijkste Resultaten

1. Tegenovergestelde Prestatiepatronen

De studie vond een duidelijke dissociatie tussen menselijke en LLM-prestaties:

• LLM's: Presteerden significant beter op Echte Raadsels (84,9% nauwkeurigheid) dan op Riddle Riddles (50,7% nauwkeurigheid).
• Mensen: Presteerden significant beter op Riddle Riddles (80,5% nauwkeurigheid) dan op Echte Raadsels (50,5% nauwkeurigheid).

2. Strategiekelectie en Foutanalyse

• Gedrag van LLM's: LLM's pasten inventief redeneren systematisch te breed toe. Bij Riddle Riddles (waar letterlijk redeneren voldoende was), werden 90,8% van de fouten bij LLM's veroorzaakt door het ongepast toepassen van inventief redeneren. Zelfs wanneer modellen van strategie wisselden, deden ze dit minder flexibel dan mensen.
• Gedrag van Mensen: Mensen toonden een voorkeur voor letterlijk redeneren, maar vertoonden grotere flexibiliteit. Hun primaire foutmodus was undergeneralisatie (57,6% van de fouten op Echte Raadsels), waarbij zij er niet in slaagden om over te schakelen naar inventief redeneren wanneer dat nodig was.
• Memorizatie: Er werd een sterke correlatie ($\rho = .88$) gevonden tussen het vermogen van een model om echte raadsels letterlijk te reproduceren (via gedeeltelijke prompt-voltooiing) en de nauwkeurigheid op die raadsels. Cruciaal was dat hogere memorizatie een lagere nauwkeurigheid voorspelde op de bijbehorende Riddle Riddles, wat suggereert dat modellen antwoorden ophaalden in plaats van redeneerden.

3. Correctheid van Redenering

Wanneer werd gemeten of de juiste strategie werd gebruikt (ongeacht het uiteindelijke antwoord), vertoonden LLM's een significante daling in correctheid op Riddle Riddles vergeleken met Echte Raadsels, wat bevestigt dat de formattering alleen al de verkeerde redeneermodus activeerde.

Belangrijkste Bijdragen

1. Het Riddle Riddle Paradigma: Een nieuw experimenteel ontwerp dat oppervlaktekenmerken isoleert van inhoudelijke vereisten, waardoor onderzoekers kunnen testen of een systeem strategieën selecteert op basis van "hoe een probleem eruitziet" versus "wat een probleem vereist".
2. Bewijs van Oppervlakkig Gestuurd Redeneren: De studie levert empirisch bewijs dat huidige SOTA LLM's sterk vertrouwen op oppervlaktekenmerken (raadselachtige structuur) om specifieke redeneerheuristieken te activeren, zelfs wanneer deze heuristieken ongepast zijn voor de specifieke inhoud.
3. Dissociatie van Menselijke en Model-cognitie: Het artikel toont aan dat hoewel zowel mensen als LLM's redeneerfouten maken, de aard van hun fouten tegengesteld is. Mensen worstelen met het overrulen van letterlijke defaults voor creatieve taken, terwijl LLM's worstelen met het overrulen van creatieve defaults voor letterlijke taken.

Betekenis en Claims

De auteurs stellen dat het Riddle Riddle paradigma een fundamentele beperking in huidige LLM's onthult: ze hebben nog geen flexibel redeneren bereikt in de zin van het dynamisch selecteren van strategieën op basis van de eisen van een probleem. In plaats daarvan reflecteert hun hoge prestaties op standaardraadsels waarschijnlijk het ophalen van gememoriseerde patronen of "redeneertemplates" die tijdens de training zijn gezien.

Het artikel betoogt dat geaggregeerde nauwkeurigheidsmetingen misleidend kunnen zijn; een model kan goed lijken te redeneren op een benchmark simpelweg omdat de structuur van de benchmark consistent een hoogfrequent patroon in de trainingsdistributie van het model triggert. Het Riddle Riddle paradigma legt dit bloot door een "valstrik" te creëren waarbij de structuur één strategie suggereert (inventief), maar de inhoud een andere vereist (letterlijk).

De auteurs concluderen dat het onderscheiden tussen echt redeneren en patroonherkenning cruciaal is voor interpreteerbaarheid en vertrouwen, vooral naarmate LLM's worden ingezet in domeinen die nieuwe probleemoplossing vereisen. Ze suggereren bescheiden dat, hoewel huidige modellen gevoelig zijn voor de frequentie van taakpatronen in de trainingsdata, ze niet het vermogen hebben om te evalueren of een specifieke instantie dat patroon daadwerkelijk vereist.