Stel je voor dat je een robot leert om wiskundeproblemen op te lossen. Je zou hem niet alleen vragen om $2 + 2$ te berekenen; je wilt weten of hij echt begrijpt waarom het antwoord 4 is, of dat hij gewoon heeft onthouden dat "2 plus 2" altijd 4 is. Dit is de grote vraag in de wereld van Kunstmatige Intelligentie: "denken" Large Language Models (LLM's) — de superintelligente computerbreinen achter chatbots — werkelijk, of zijn ze gewoon heel goed in het raden van het volgende woord in een zin?

Om dit te ontdekken, hebben wetenschappers deze robots getest met wiskundige tekstproblemen. Maar hier is de crux: als je een robot duizend keer precies dezelfde vraag stelt, kan hij het antwoord simpelweg uit het hoofd hebben geleerd. Om te zien of hij echt slim is, moet je hem voor de gek houden. Je verandert de getallen, wisselt de woorden om, of voegt verwarrende extra details toe om te zien of de robot nog steeds het juiste antwoord geeft. Dit wordt "perturbatie" genoemd. Het is alsof je een leerling vraagt: "Als ik 3 appels heb en er 1 eet, hoeveel zijn er dan nog over?" en dan, een seconde later, vraagt: "Als ik 300 appels heb en er 100 eet, hoeveel zijn er dan nog over?" Een slimme leerling weet dat de wiskunde hetzelfde is; een robot die het eerste antwoord heeft onthouden, kan in de war raken.

Stel je nu voor dat je al dit testen doet, maar niet in het Engels, de taal waarin de meeste robots zijn getraind, maar in het Bengaals, een taal die gesproken wordt door meer dan 230 miljoen mensen. Tot nu toe was er bijna geen manier om te testen of deze AI-breinen met wiskundige trucs in het Bengaals om kunnen gaan. Dit artikel stapt in om dit enorme gat te vullen door te vragen: Kunnen deze AI-modellen echt redeneren in het Bengaals, of struikelen ze zodra de woorden veranderen?

---

De onderzoekers achter deze studie, een team van universiteiten uit Bangladesh, besloten een gigantische, verraderlijke speeltuin voor AI te bouwen genaamd GSM-PLUS-BN. Denk aan het als een "Wiskundige Hindernisbaan" die specifiek is ontworpen voor de Bengaalse taal. Ze begonnen met een set van 1.000 standaard wiskundeproblemen (de "zaad"-vragen) en gebruikten vervolgens een slim recept om 8.000 nieuwe, lastigere versies te maken.

Hoe maakten ze deze trucs? Ze gebruikten acht verschillende soorten "verstoringen", zoals een goochelaar die een kaart in een spel verandert:

1. Het veranderen van de getallen: Een "3" vervangen door een "4" of een klein getal veranderen in een enorm getal (zoals 2 naar 2.000).
2. Het veranderen van de wiskunde: Een nieuwe stap aan het probleem toevoegen of de vraag omdraaien (in plaats van te vragen "Wat is het totaal?", vragen "Als het totaal X is, wat was het begingetal?").
3. Het veranderen van de woorden: De zin herschrijven zodat deze hetzelfde betekent, maar er totaal anders uitziet.
4. De "Red Herring" (Dwaalspoor): Een zin toevoegen die belangrijk klinkt maar eigenlijk nutteloos is, zoals het noemen van de prijs van een shirt wanneer de vraag alleen gaat over hoeveel shirts je nodig hebt.
5. Het "Ontbrekende Deel": Een cruciaal stuk informatie weglaten om te zien of de robot toegeeft dat hij het antwoord niet weet, of dat hij gewoon een gok doet.

Ze testten zes verschillende AI-modellen op deze hindernisbaan. Sommigen waren klein en snel (zoals een slimme rekenmachine), terwijl andere massief en complex waren (zoals een supercomputerbrein). Ze vroegen de robots de problemen op twee manieren op te lossen: eerst door alleen een direct antwoord te geven, en tweede door "stap voor stap te denken" (een techniek genaamd Chain-of-Thought, waarbij de robot zijn berekeningen moet laten zien).

Wat hebben ze gevonden?

De resultaten waren een mix van "Wauw!" en "Oei!".

Ten eerste werkte de truc "denk stap voor stap" wonderen voor sommige robots, maar werkte het averechts voor anderen. Het Qwen3-32B model was als een student die slecht was in wiskunde, totdat de leraar zei: "Laat je berekening zien!" Plotseling schoot de score omhoog van een magere 13,98% naar een solide 76,25%. Het lijkt erop dat dit model de potentie had om slim te zijn, maar dat het een klein zetje nodig had om het te ontsluiten.

Echter, de grootste robots werden niet altijd de grootste boosts. Het GPT-OSS-20B model (het model met 20 miljard parameters) was eigenlijk het beste in het oplossen van de standaard vragen zonder extra hulp, met een score van 96,08% correct. Maar toen het werd gedwongen om "stap voor stap te denken", werd het zelfs iets slechter, met een daling naar 87,80%. Ondertussen zag de enorme GPT-OSS-120B reus een daling, startend met een sterke 88,03% op standaard vragen en ook een lichte dip vertonend wanneer gevraagd werd om zijn werk te tonen. Het lijkt erop dat deze reuzen zo goed waren in het direct raden van het antwoord, dat de extra instructies hen soms in de war brachten.

De meest verrassende ontdekking was hoe moeilijk de robots de "Kritisch Denken" vallen vonden. Wanneer de onderzoekers een essentieel stuk informatie weghaalden en vroegen: "Kun je dit oplossen?", faalden bijna alle modellen jammerlijk. Zelfs de beste haalden slechts ongeveer 33% correct. Dit suggereert dat hoewel deze AI-modellen geweldig zijn in het volgen van patronen, ze nog steeds moeite hebben met het beseffen wanneer een probleem onoplosbaar is. Ze hebben de neiging om toch te gokken in plaats van te zeggen: "Ik heb niet genoeg informatie."

Nog een belangrijke bevinding was dat wiskunde nog steeds moeilijk is voor AI, ongeacht de taal. Zelfs de beste modellen hadden moeite met problemen die vereisten dat de manier waarop getallen werden geschreven werd veranderd (zoals hele getallen veranderen in breuken) of het toevoegen van extra wiskundige stappen. Het artikel suggereert dat deze modellen misschien te veel vertrouwen op het herkennen van patronen in de tekst in plaats van de eigenlijke wiskunde in hun "hoofd" te doen.

Ten slotte ontdekte het team dat de AI-modellen veel kwetsbaarder zijn in het Bengaals dan in het Engels. Wanneer de vragen licht werden gewijzigd, daalden de scores van de robots aanzienlijk. Dit vertelt ons dat hoewel AI slimmer wordt, het nog een lange weg te gaan heeft voordat het wiskunde in talen zoals het Bengaals echt kan "begrijpen" zoals een mens dat doet.

Kortom, dit artikel heeft niet alleen een nieuwe test gebouwd; het heeft ons laten zien dat hoewel AI verrassend goed kan zijn in wiskunde, het nog steeds gemakkelijk in de war te brengen is door trucs, vooral in talen die het minder goed beheerst dan het Engels. De "denk stap voor stap"-truc helpt sommige modellen, maar het is geen toverstaf die alles oplost. De robots worden beter, maar ze zijn nog niet klaar om de ultieme wiskundige genieën te zijn.