🤖 AI

The Importance of Being Statistically Earnest: A Critical Re-evaluation of GSM-Symbolic

Dit artikel betwist de conclusie van de GSM-Symbolic-benchmark dat LLM's geen echt redeneren bezitten, door aan te tonen dat gerapporteerde prestatiedalingen vaak statistisch onbeduidend zijn en verward worden door niet-geaccounteerde distributieve verschuivingen in de probleemtekst, en onthult in plaats daarvan dat modelmislukkingen specifiek en heterogeen zijn in plaats van universeel.

Oorspronkelijke auteurs: Dominika Agnieszka Długosz, Arlindo Oliveira, Natalia Díaz Rodríguez

Gepubliceerd 2026-05-28

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Dominika Agnieszka Długosz, Arlindo Oliveira, Natalia Díaz Rodríguez

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een leraar bent die een klas studenten (de AI-modellen) beoordeelt op een wiskundetoets. Onlangs beweerde een andere groep onderzoekers (Mirzadeh et al.) dat wanneer ze de namen en getallen in de toetsvragen veranderden, de studenten plotseling faalden. Zij concludeerden dat de studenten de antwoorden gewoon "uit het hoofd leerden" in plaats van echt te begrijpen hoe ze wiskunde moesten doen.

De auteurs van dit artikel zeggen echter: "Wacht even, laten we de beoordelingsrubriek en de toetsvragen nauwkeuriger bekijken."

Hier is wat ze hebben gevonden, eenvoudig uitgelegd:

1. Het "Statistische" Probleem: Is het Falen Echt?

De oorspronkelijke onderzoekers keken naar de toetsscores en zagen een daling in prestaties. Maar ze controleerden niet of die daling statistisch significant was (met andere woorden: is het een echt patroon of gewoon willekeurige ruis?).

De Analogie: Stel je voor dat je een munt 10 keer opgooit en 7 keer kop krijgt. Je zou kunnen denken dat de munt vals is. Maar als je hem 1.000 keer opgooit, realiseer je je misschien dat 7 keer kop uit 10 pogingen gewoon een gelukkige (of ongelukkige) reeks was.
De Bevinding: Toen de auteurs strenge statistische regels toepasten (zoals een rigoureuze wiskundige audit), ontdekten ze dat slechts de helft van de AI-modellen daadwerkelijk een echt, statistisch significante daling in prestaties vertoonde. Voor de andere helft was het "falen" waarschijnlijk gewoon toeval, geen gebrek aan redeneervermogen.

2. De "Verborgen Valstrik": Grotere Getallen

De auteurs ontdekten een sluwe fout in de oorspronkelijke toets. De nieuwe "variant"-vragen veranderden niet alleen namen; ze gebruikten per ongeluk veel grotere getallen dan de oorspronkelijke vragen.

De Analogie: Stel je voor dat je de snelheid van een hardloper test. Je vraagt hen om een sprint van 100 meter te lopen, maar voor de "variant"-toets maak je de baan stiekem 1.000 meter lang. Als ze moe worden en vertragen, is het dan omdat ze vergeten zijn hoe ze moeten rennen, of omdat de race gewoon veel moeilijker was?
De Bevinding: De oorspronkelijke onderzoekers beweerden dat de getallen niet veel veranderden. De auteurs bewezen dat dit fout was met een "distributieverandering"-test. Zij toonden aan dat de nieuwe vragen aanzienlijk grotere getallen bevatten. Toen ze de wiskunde aanpasten om rekening te houden met deze plotselinge stijging in moeilijkheidsgraad, verdween de helft van de resterende "falen". De modellen faalden niet in redeneren; ze worstelden gewoon met grote rekenkundige bewerkingen.

3. Het "Waarom" Achter de Falen

Voor de modellen die wel echt worstelden, zeiden de auteurs niet zomaar "ze zijn slecht in wiskunde". Ze deden als detectives om specifieke redenen te vinden, die ze "falprofielen" noemen:

Het "Variabele Binding"-Probleem: Sommige modellen raakten in de war over welk getal bij welk object hoorde wanneer het verhaal iets veranderde.
- Metafoor: Het is als een student die weet hoe je moet optellen, maar als je "appels" vervangt door "sinaasappels" in de tekstopgave, vergeet hij welk getal bij welk fruit hoort.
Het "Rekenkundige" Probleem: Sommige modellen konden gewoon niet omgaan met de wiskunde met grote getallen.
- Metafoor: Deze modellen zijn als rekenmachines die prima werken voor kleine getallen, maar beginnen te haperen als je hen vraagt enorme getallen te vermenigvuldigen.
Het "Twee-Taken"-Probleem: Sommige modellen raakten overweldigd toen de toets hen vroeg om strikte opmaakregels te volgen terwijl ze de wiskunde oplostten.
- Metafoor: Het is als iemand vragen om een puzzel op te lossen terwijl ze tegelijkertijd het alfabet achterstevoren opzeggen. Ze falen in beide omdat hun "werkgeheugen" overbelast is.
Het "Patroonherkenning"-Probleem: Een paar modellen leerden gewoon het specifieke uiterlijk van de vragen uit het hoofd. Als je de formulering veranderde, konden ze het patroon niet herkennen.

De Belangrijkste Leerervaring

Het artikel betoogt dat we moeten stoppen met het maken van brede, alomvattende uitspraken zoals "AI-modellen kunnen niet redeneren".

De Les: Voordat we een model "kapot" verklaren, moeten we onze statistiek controleren, ervoor zorgen dat de toetsvragen eerlijk zijn (niet stiekem moeilijker), en precies begrijpen waarom een specifiek model faalde.
De Conclusie: De oorspronkelijke studie was te snel oordelen. De realiteit is rommelig en gevarieerd: sommige modellen zijn gewoon slecht in grote getallen, sommige raken in de war door opmaak, en sommige kunnen inderdaad goed redeneren. We moeten elk model behandelen als een individuele student met specifieke sterke en zwakke punten, in plaats van de hele klas te labelen als "niet in staat om na te denken".

Kortom: Laat de leerling niet de schuld geven voor het slechte toetsontwerp van de leraar. Het artikel dringt er bij de AI-gemeenschap op aan om voorzichtiger, meer statistisch en meer genuanceerd te zijn in hoe ze deze krachtige tools evalueren.

Technische Samenvatting: Het belang van statistische oprechtheid

Probleemstelling

De GSM-Symbolic-benchmark (Mirzadeh et al., 2025) rapporteerde recentelijk consistente prestatiedalingen bij 25 Large Language Models (LLM's) wanneer deze werden getest op sjabloongegenereerde varianten van GSM8K-problemen. De oorspronkelijke studie concludeerde dat deze dalingen wijzen op een fundamenteel gebrek aan echte redeneervermogens bij LLM's, wat suggereert dat modellen sterk vertrouwen op gememoriseerde patronen in plaats van logische deductie. De auteurs van deze herbeoordeling betogen echter dat deze conclusie rust op "wankel statistisch fundament", met name door het ontbreken van rigoureuze hypothese-toetsing en potentiële verstorende variabelen in het datasetontwerp.

Methodologie

De auteurs voerden een herbeoordeling uit van 20 open-weight LLM's (exclusief propriëtaire modellen en die met technische beperkingen) met behulp van een rigoureuzer statistisch kader dan de oorspronkelijke studie.

1. Statistisch Kader (GLMM):
In plaats van eenvoudige nauwkeurigheidsvergelijkingen, hanteerden de auteurs Generalised Linear Mixed Models (GLMM) met per-vraag random effects. Deze aanpak adresseert de "taal-as-vaste-effect-fout" door specifieke taalkundige items (vragen) te behandelen als random effects in plaats van fixed effects, waarmee rekening wordt gehouden met de non-onafhankelijkheid van herhaalde observaties op hetzelfde sjabloon.

GLMM 1: Modelleert de binaire uitkomst (Correct/Incorrect) als functie van vraagtype (GSM-Base vs. GSM-Varianten) met een random intercept per sjabloon-ID.
GLMM 2: Breidt GLMM 1 uit door een "groot getal"-effect-metric ( $\gamma_c$ ) op te nemen als fixed effect om te controleren voor de grootte van gehele getallen in de vraagtekst.

2. Experimenteel Ontwerp:

Datasets: De studie gebruikte de GSM-Base (100 oorspronkelijke GSM8K-vragen) en GSM-Varianten (5.000 sjabloongegenereerde varianten) uit de oorspronkelijke studie.
Prompt-variaties: Om faalmechanismen te isoleren, testten de auteurs vier alternatieve promptformaten naast de oorspronkelijke GSM-prompt:
- Eenvoudig Natuurlijke Taal (NL): Herformuleerde oplossingen waarbij expliciete stap-voor-stap instructies werden verwijderd maar de logische flow behouden bleef.
- Gestructureerde NL: Voegde rigide headers toe (Gegeven, Te vinden, Oplossing) om de cognitieve belasting te verlagen.
- Eenvoudige Code: Vraag om Python-functies zonder rigide structuur.
- Gestructureerde Code: Vraag om Python-functies met expliciete "Gegeven/Te vinden/Opslossing"-commentaren.
Groot Getal Metric: Een metric ( $\gamma$ ) werd geconstrueerd door de logaritmen met grondtal 10 van alle gehele getallen in een vraag op te tellen om "cijferbelasting" te kwantificeren, met de hypothese dat grotere getallen prestatiedalingen onafhankelijk van redenering kunnen veroorzaken.

Belangrijkste Bijdragen en Resultaten

1. Statistische Significantie van het Variant-effect:
In tegenstelling tot de oorspronkelijke bewering van een universele daling in redeneren, vond de herbeoordeling dat het "variant-effect" (prestatiedaling op varianten) statistisch significant is voor slechts 10 van de 20 modellen wanneer deze individueel worden getest (p < 0,05). Na toepassing van de Holm-Bonferroni-correctie voor meervoudige vergelijkingen, daalt de significantie verder, wat suggereert dat blanket-beweringen over LLM-redeneerfalen statistisch voortijdig zijn.

2. Het Groot Getal-verstorende Factor:
De auteurs identificeerden een eerder niet-erkende systematische verschuiving in de GSM-Symbolic-dataset: de GSM-Varianten bevatten een verdeling van aanzienlijk grotere gehele getallen dan de GSM-Base (Kolmogorov-Smirnov-statistiek = 0,12, p < 0,001).

Bij controle voor dit "groot getal-effect" met GLMM 2, verdween de statistische significantie van het variant-effect in ongeveer 50% van de overige gevallen.
Dit weerlegt de claim van de oorspronkelijke auteurs dat het getalbereik niet significant was toegenomen.

3. Modelspecifieke Faalprofielen:
Voor modellen waarbij het variant-effect na correcties significant bleef, identificeerden de auteurs distincte, modelspecifieke faalmechanismen in plaats van een uniform gebrek aan redeneren:

Fragiliteit van Variabele Binding: Sommige modellen (bijv. gemma-2b) faalden op varianten maar herstelden met gestructureerde NL-prompts, wat wijst op moeilijkheden bij het bijhouden van interne toestanden en het binden van variabelen aan objecten.
Aritmetische Beperkingen: Modellen zoals phi-2 vertoonden significante dalingen op NL-prompts maar herstelden volledig met code-prompts, wat aangeeft dat het falen aritmetisch was (omgaan met grote getallen) in plaats van logisch redeneren.
Dual-Task Interferentie: Modellen zoals Meta-Llama-3-8B vertoonden prestatie-inzinkingen en lege antwoorden wanneer ze werden gedwongen om buiten-de-verdeling-formatteering (gestructureerde prompts) te volgen tijdens het oplossen van wiskunde, wat psychologische dual-task interferentie nabootst.
Patroonafhankelijkheid: Sommige modellen (bijv. gemma-2-9b) waren immuun voor getalverschuivingen maar faalden op de oorspronkelijke prompt, wat wijst op afhankelijkheid van specifieke trainingsdatapatronen in plaats van redeneren.

Betekenis en Claims

Het artikel betoogt dat het veld van LLM-evaluatie een "replicatiecrisis" nadert, vergelijkbaar met die in psychologie en geneeskunde, gedreven door een gebrek aan statistische significantietoetsing.

Methodologisch Imperatief: De primaire boodschap is dat claims over de redeneervermogens (of onbekwaamheden) van LLM's statistische rigour vereisen. Het ontbreken van significantietoetsing leidt tot vals-positieven die worden gedreven door specifieke steekproeven in plaats van generaliseerbare waarheden.
Nuancering: De auteurs stellen dat falen op redeneerbenchmarks heterogeen is. Het toeschrijven van alle prestatiedalingen aan een gebrek aan "echte redenering" is mechanistisch misleidend. In plaats daarvan kunnen falen voortkomen uit aritmetische beperkingen, tokenisatieproblemen, cognitieve belasting door formatteering, of fragiliteit van variabele binding.
Epistemologische Verantwoordelijkheid: Het artikel roept op tot een voorzichtiger discours in AI-evaluatie, waarbij statistische validatie niet wordt behandeld als een optionele verfijning maar als een voorwaarde voor geloofwaardige claims. Het waarschuwt dat voortijdige conclusies over modelcapaciteiten de publieke voorstelling en het beleid kunnen misleiden.

De auteurs concluderen dat hoewel de GSM-Symbolic-benchmark potentiële problemen belicht, de oorspronkelijke interpretatie gebrekkig was door statistische nalatigheden en ongecontroleerde datasetverschuivingen. Een meer granulaire, statistisch onderbouwde aanpak onthult een divers landschap van modelbeperkingen in plaats van een enkelvoudig falen van redeneren.