EsoLang-Bench: Evaluating Genuine Reasoning in Large Language Models via Esoteric Programming Languages

Dit paper introduceert EsoLang-Bench, een benchmark die esoterische programmeertalen gebruikt om aan te tonen dat grote taalmodellen, ondanks hoge scores op standaardtests, gebrek hebben aan echt redeneervermogen en in plaats daarvan voornamelijk op memorisatie vertrouwen.

De kern

Stel je voor dat je een superintelligente robot hebt die alle boeken ter wereld heeft gelezen. Als je deze robot vraagt om een recept voor pannenkoeken te schrijven in het Nederlands, doet hij dat perfect. Hij kan zelfs een recept voor een complexe taart in het Frans bedenken. We denken dan: "Wow, deze robot is een geniaal kok!"

Maar wat als we de robot vragen om te koken in een taal die niemand kent? Een taal die bestaat uit alleen maar witruimte, of waar de instructies geschreven moeten worden als een toneelstuk met Shakespeare-achtige dialogen?

Dat is precies wat dit paper, EsoLang-Bench, doet. Het is een nieuwe test om te kijken of AI echt denkt of dat het alleen maar herinnert.

Hier is het verhaal, vertaald naar simpele taal:

1. Het Probleem: De "Cheat Sheet" van AI

Tot nu toe hebben we AI getest met standaard programmeertalen (zoals Python). De resultaten zijn fantastisch: AI scoort 90-95% goed. Maar er is een groot probleem: AI heeft deze antwoorden waarschijnlijk gewoon uit het hoofd geleerd. Het is alsof de robot de antwoorden op een proefvraag heeft gelezen voordat hij de test kreeg. Hij herkent het patroon, maar hij begrijpt niet echt hoe het werkt.

2. De Oplossing: De "Exotische Talen" Test

De onderzoekers hebben een nieuwe test bedacht genaamd EsoLang-Bench. Ze gebruiken vijf heel rare, vreemde programmeertalen (zoals Brainfuck, Whitespace en Shakespeare).

• Waarom deze talen? Omdat er bijna niemand op internet code schrijft in deze talen. Ze zijn zo onpraktisch dat het voor AI niet loont om ze te leren tijdens zijn training. Er zijn 1.000 tot 100.000 keer minder voorbeelden op internet dan voor Python.
• De Analogie: Stel je voor dat je een student test die alle wiskundebomen van de wereld kent. Vraag je hem een som op te lossen in het Nederlands, doet hij het perfect. Vraag je hem echter om diezelfde som op te lossen in een taal die alleen bestaat uit gebaren en fluiten (en die hij nog nooit heeft gezien), dan moet hij écht nadenken. Hij kan niet meer "kijken" naar een antwoord in zijn geheugen.

3. Wat gebeurde er? De Teleurstellende Resultaten

De onderzoekers lieten de slimste AI's ter wereld (zoals GPT-5, Gemini, Qwen) deze rare talen gebruiken. Het resultaat was schokkend:

• Op de standaardtesten: De AI's scoorden 90%+.
• Op de exotische test: De AI's scoorden 0% tot 11%.

Zelfs de slimste modellen konden de makkelijkste vragen in deze rare talen nauwelijks oplossen. Zodra de vraag iets moeilijker werd (bijvoorbeeld: "tel de priemgetallen"), gaf de AI het helemaal op en scoorde 0%.

4. Waarom faalden ze?

De onderzoekers ontdekten dat de AI's vastzaten in een valstrik:

• Geen "In-Context Learning": Als je de AI een paar voorbeelden gaf (zoals "hier is hoe je dit doet"), hielp dat niet. Het was alsof je iemand die geen Frans spreekt een paar Franse zinnen voordoet en dan verwacht dat hij een heel gesprek kan voeren. De AI kon de basisprincipes niet overbrengen.
• Geheugen vs. Redeneren: De AI's konden de syntaxis (de vorm) van de taal soms raden, maar faalden volledig op de logica. Ze konden geen stappenplannen maken voor iets nieuws. Ze waren als een fotograaf die een foto van een auto heeft, maar als je vraagt "hoe bouw ik een auto?", heeft hij geen idee.

5. De Enige Hulp: De "Live Feedback"

Er was één ding dat een beetje hielp: als de AI code schreef, die code liet uitvoeren door een computer, en de foutmelding terugkreeg ("Je hebt een fout gemaakt bij stap 3"), dan kon de AI soms de fout verbeteren.

Dit is als een kind dat probeert een puzzel te leggen. Als je zegt "dat stukje past niet", probeert het kind een ander stukje. Maar zonder die directe feedback (de computer die zegt "dit werkt niet"), probeerde de AI blindelings en faalde.

Conclusie: Wat betekent dit voor ons?

Deze studie is een harde maar nodige realiteitscheck.

• De AI is geen genie: Hij is een briljante "plagiaat" die heel goed is in het nabootsen van wat hij al kent.
• Echte intelligentie ontbreekt: Als een AI echt zou kunnen redeneren, zou hij in staat moeten zijn om een nieuwe, rare taal te leren door alleen de handleiding te lezen en te proberen, net zoals een mens dat zou doen. Dat kunnen ze (nog) niet.
• Voor de toekomst: We moeten stoppen met AI's te testen met vragen die ze al uit het hoofd hebben geleerd. We moeten ze testen op hun vermogen om nieuwe dingen te leren.

Kort samengevat: De AI's zijn als een acteur die alle rollen uit bekende films perfect kan spelen. Maar als je hem vraagt om een toneelstuk te spelen in een taal die niemand kent, zonder script, blijft hij stomverbaasd staan. Ze kunnen niet echt creëren, ze kunnen alleen reproducteren.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "EsoLang-Bench: Evaluating Genuine Reasoning in Large Language Models via Esoteric Programming Languages", vertaald en samengevat in het Nederlands.

1. Het Probleem: Memoriseren versus Redeneren

Huidige Large Language Models (LLM's) behalen bijna perfecte scores op bestaande benchmarks voor code-generatie (zoals HumanEval en MBPP), vaak met nauwkeurigheden van 85-95%. Het paper stelt echter dat deze resultaten voornamelijk het gevolg zijn van memorisatie van trainingsdata en patroonherkenning, in plaats van genuïne redeneervermogens.

De bestaande benchmarks lijden onder:

• Data-contaminatie: Modellen hebben de oplossingen al gezien tijdens het voor-trainen.
• Benchmark-gaming: Modellen leren de "trucs" van de test in plaats van het onderliggende concept te begrijpen.
• Gebrek aan Out-of-Distribution (OOD) evaluatie: Er is weinig druk om modellen te testen op domeinen die economisch irrationeel zijn om in de trainingsdata op te nemen.

2. Methodologie: EsoLang-Bench

Om dit probleem aan te pakken, introduceren de auteurs EsoLang-Bench, een benchmark die gebruikmaakt van esoterische programmeertalen. Deze talen zijn speciaal geselecteerd omdat ze:

• Econimisch irrationeel zijn voor pre-training: Ze hebben extreem weinig publieke repositories (1.000 tot 100.000x minder dan Python), waardoor het voor bedrijven niet rendabel is om ze in de trainingsdata op te nemen.
• Vergelijkbare computationele primitieven vereisen: Ze testen dezelfde fundamentele logica (lussen, conditionals, state management) als mainstream talen, maar met een radicaal andere syntaxis en semantiek.

De Dataset:

• Omvang: 80 programmeerproblemen verdeeld over 4 moeilijkheidsgraden (Easy, Medium, Hard, Extra-Hard).
• Doel-talen (5 stuks):
  1. Brainfuck: Geheugentape met 8 commando's.
  2. Befunge-98: 2D-stack taal met een niet-lineaire instructie-pointer.
  3. Whitespace: Alleen spaties, tabs en nieuwe regels hebben betekenis.
  4. Unlambda: Pure functionele taal gebaseerd op combinatorische logica (geen variabelen).
  5. Shakespeare: Programma's zijn toneelstukken waar dialogen berekeningen uitvoeren.
• Validatie: Elk probleem heeft een natuurlijke taalbeschrijving en 6 input-output testcases. De moeilijkheid wordt bepaald door de complexiteit van de referentie-oplossing in Python, niet door de prestaties van het model.

Experimenteel Opzet:

• Modellen: Vijf state-of-the-art LLM's (o.a. GPT-5.2, O4-mini, Gemini 3 Pro, Qwen3-235B, Kimi K2).
• Prompting Strategieën:
  • Zero-Shot (alleen documentatie).
  • Few-Shot (3 voorbeelden).
  • Self-Scaffolding (iteratief: code genereren -> interpreter feedback -> zelf corrigeren).
  • Textual Self-Scaffolding (Coder + Critic agent).
  • ReAct Pipeline (Planner + Editor + Critic).
• Agentic Systemen: Evaluatie van systemen met directe toegang tot een interpreter (Codex, Claude Code) voor iteratieve feedback.

3. Belangrijkste Bijdragen

1. Introductie van EsoLang-Bench: Een dataset ontworpen om menselijk leren na te bootsen (leren via documentatie en feedback) in plaats van memorisatie.
2. Empirisch Bewijs voor Capabiliteitskloof: Aantonen dat modellen die 90% scoren op standaard benchmarks, slechts 0-11% scoren op equivalente esoterische taken.
3. Analyse van Prompting Effectiviteit: Het bewijzen dat In-Context Learning (Few-Shot) en zelfreflectie weinig tot geen voordeel bieden bij OOD-taken als de fundamentele kennis ontbreekt.
4. Agentic Architecturen: Het tonen aan dat systemen met directe interpreter-toegang en contextbeheer significant beter presteren, maar nog steeds fundamentele grenzen hebben.

4. Resultaten

De resultaten tonen een dramatisch tekort aan aanpassingsvermogen:

• Algemene Prestaties: Alle geteste modellen scoren 0% op Medium, Hard en Extra-Hard problemen, ongeacht de prompting-strategie. Succes is beperkt tot de "Easy" tier (en dan slechts marginaal).
• Top Prestaties: Zelfs de beste modellen (GPT-5.2 met Self-Scaffolding) bereiken slechts 6,2% gemiddelde nauwkeurigheid over alle talen. Op Befunge-98 (de meest toegankelijke esoterische taal) bereikt GPT-5.2 11,2%.
• Vergelijking met Python: Waar modellen 100% scoren op equivalente Python-taken, zakken ze naar <12% op esoterische taken.
• Invloed van Strategieën:
  • Few-Shot Learning: Geen significant voordeel ten opzichte van Zero-Shot (p=0.505). Dit bevestigt dat voorbeelden geen fundamentele kennis kunnen compenseren als deze ontbreekt in de pre-training.
  • Self-Scaffolding: Werkt het beste onder niet-agentische methoden, vooral omdat directe interpreter-feedback (concrete uitvoeringstraces) effectiever is dan tekstuele kritiek van een tweede model.
  • Agentic Systemen: Systemen met tool-access (Codex, Claude Code) presteren 2-3x beter dan statische prompts (tot 13,8% op Brainfuck), maar blijven steken bij complexe taken zoals decimale I/O.
• Foutanalyse:
  • Syntax vs. Semantiek: Talen met meer online aanwezigheid (Brainfuck, Befunge) leiden tot compilatiefouten van 15-20%, maar hoge logica-fouten (35-60%). Talen met weinig data (Whitespace, Unlambda) leiden tot bijna 100% compilatiefouten.
  • Specifiek Falen: Modellen kunnen vaak de syntaxis van Brainfuck nabootsen, maar falen volledig bij het implementeren van algoritmen voor decimale getallen (parsing en berekening), wat wijst op een gebrek aan fundamenteel begrip van de computationele primitieven.

5. Betekenis en Impact

EsoLang-Bench biedt een onbespeelbare benchmark die onderscheid maakt tussen memorisatie en echt redeneren.

• Evaluatie van Transfer Learning: Het benchmark meet de capaciteit om computationele primitieven toe te passen op volledig nieuwe syntactische domeinen.
• Geloofwaardigheid van AI: De resultaten waarschuwen voor een "valse gevoel van vooruitgang" in de AI-gemeenschap. Hoewel modellen goed lijken op standaard taken, missen ze vaak het fundamentele vermogen om nieuwe talen of logica te leren zonder voorbeelden uit de trainingsdata.
• Toekomstige Richting: De auteurs pleiten voor het gebruik van esoterische talen als standaard voor het testen van OOD-generalisatie en het ontwikkelen van robuustere AI-systemen die niet afhankelijk zijn van data-contaminatie.

Kortom, het paper concludeert dat huidige frontier-modellen uitstekende "patroonmatchers" zijn, maar nog geen betrouwbare "redenaars" die nieuwe computationele concepten vanuit eerste principes kunnen afleiden.