The CompMath-MCQ Dataset: Are LLMs Ready for Higher-Level Math?

Deze paper introduceert CompMath-MCQ, een nieuw benchmarkdataset met 1.500 door professoren geschreven meerkeuzevragen op graduate-niveau voor de evaluatie van LLM's in geavanceerde wiskundige redenering, waaruit blijkt dat dit voor huidige modellen nog een aanzienlijke uitdaging blijft.

De kern

Stel je voor dat je een groep superintelligente robots (de zogenaamde "LLMs" of taalmodellen) wilt testen op hun wiskundekennis. Tot nu toe zijn we ze vooral aan het testen met simpele sommen uit de lagere school of met raadselachtige olympiade-vragen. Het is alsof we ze alleen laten spelen met lego-blokjes of met het oplossen van kruiswoordraadsels.

Maar wat als we ze willen testen op het niveau van een echte universiteitsprofessor? Kunnen ze echt diep wiskundig denken, zoals een onderzoeker die werkt aan complexe algoritmen of data-analyse?

Dat is precies wat dit nieuwe onderzoek doet. De auteurs hebben een nieuwe test ontwikkeld, genaamd CompMath-MCQ. Hier is een uitleg in simpele taal, met wat creatieve vergelijkingen:

1. De Nieuwe Test: Een "Masterclass" in Meerkeuze

Stel je voor dat je een examen moet maken voor een geavanceerde masteropleiding. De vragen gaan over onderwerpen als:

• Lineaire Algebra (het werk met grote tabellen van getallen).
• Optimalisatie (zoeken naar de beste oplossing, zoals de kortste route of de goedkoopste prijs).
• Vector Calculus (wiskunde die beweging en verandering in de ruimte beschrijft).
• Kansrekening (voorspellen van onzekerheid).
• Python-programmering (het schrijven van code om al deze wiskunde te laten werken).

Het unieke aan deze test:

• Geen "cheaten": Alle 1.500 vragen zijn nieuw bedacht door echte professoren. Ze zijn nergens anders op internet te vinden. Dit is alsof je een examen maakt dat niemand voorheen heeft gezien, zodat de robots niet kunnen "leren" uit hun geheugen, maar echt moeten denken.
• Meerkeuze (MCQ): In plaats van dat de robot een heel lang antwoord moet schrijven (wat lastig te controleren is), krijgt hij drie opties. Hij moet er één kiezen. Dit maakt de test eerlijk en makkelijk te vergelijken, alsof je een meerkeuzetoets doet in plaats van een opstel.

2. Hoe weten ze of de vragen goed zijn? (De "Robot-Panel")

Voordat de test echt wordt gebruikt, hebben de auteurs een slimme controle uitgevoerd. Ze hebben de vragen voorgelegd aan acht verschillende robots (zowel dure, gesloten modellen als gratis, open modellen).

• Het idee: Als alle robots op dezelfde vraag vastlopen of allemaal een ander, foutief antwoord kiezen, is er waarschijnlijk iets mis met de vraag zelf (bijvoorbeeld: de vraag is vaag of het juiste antwoord is verkeerd).
• De controle: Vragen die deze robots in de war brachten, zijn door mensen (de professoren) handmatig nagekeken. Ze hebben gekeken of de vraag duidelijk was en of het antwoord echt klopte.
• Vergelijking: Het is alsof je een nieuwe puzzel eerst laat proberen door een groep slimme vrienden. Als ze allemaal vastlopen, weet je dat de puzzel misschien slecht is ontworpen, en niet dat je vrienden dom zijn.

3. Wat zijn de resultaten? (De robots zijn slim, maar niet perfect)

Toen ze de beste robots van vandaag de dag op deze test zetten, zagen ze een interessant plaatje:

• Sterke punten: De robots zijn verrassend goed in Kansrekening en Python-programmering. Dit is alsof ze uitstekend zijn in het spelen van bordspellen met regels of het schrijven van simpele computerprogramma's. Ze scoren hier vaak boven de 90%.
• Zwakke punten: Ze hebben grote moeite met Vector Calculus (wiskunde in de ruimte) en sommige delen van Lineaire Algebra.
  • De analogie: Het is alsof de robots heel goed kunnen tellen en patronen herkennen, maar als ze een complexe, driedimensionale beweging moeten berekenen met veel variabelen, raken ze de draad kwijt. Ze maken vaak foutjes in het teken (+ of -) of vergeten een stap in de berekening.
• De winnaars: De duurste, gesloten modellen (zoals die van OpenAI en Google) deden het het beste, maar zelfs de beste open-source modellen (gratis te gebruiken) komen dicht in de buurt.

4. Waarom is dit belangrijk?

Vroeger dachten we dat robots wiskunde konden doen omdat ze goed waren in simpele sommen. Deze test laat zien dat we nog een lange weg te gaan hebben als we ze echt willen inzetten voor hoogwaardig wetenschappelijk onderzoek.

Het is alsof we een auto hebben die perfect kan rijden op een rechte, lege weg (simpele wiskunde), maar nog niet klaar is om door een drukke, regenachtige stad met complexe afritten te navigeren (geavanceerde, toegepaste wiskunde).

Kortom:
De auteurs hebben een eerlijke, nieuwe test gemaakt om te kijken of robots echt "wiskundig slim" zijn. Het antwoord is: ze zijn op weg, maar voor de allerlastigste, meest creatieve en technische wiskundeproblemen moeten ze nog flink bijleren.

Technische samenvatting

1. Het Probleem

Hoewel Large Language Models (LLMs) sterke prestaties laten zien op wiskundige redeneertaken, is de evaluatie voornamelijk beperkt tot elementaire problemen, olympiade-vragen of formeel bewijzen. Er bestaat een significante lacune in de evaluatie van LLMs op graduate-niveau (master/PhD) en computationele wiskunde. Bestaande benchmarks hebben drie beperkingen:

• Ze focussen vaak op onder-graduate niveau of creatieve, niet-standaard problemen (olympiades).
• Ze gebruiken vaak open-ended antwoorden, wat leidt tot subjectieve evaluatie en inconsistenties.
• Er is vaak sprake van data-lekage, omdat veel bestaande datasets zijn samengesteld uit openbaar beschikbare leerboeken of online bronnen die mogelijk in de trainingsdata van LLMs zijn opgenomen.

Dit maakt het moeilijk om te bepalen of LLMs werkelijk conceptueel begrip en technische competentie bezitten die vereist zijn voor geavanceerd wetenschappelijk onderzoek.

2. Methodologie

De CompMath-MCQ Dataset

De auteurs introduceren CompMath-MCQ, een nieuwe benchmark bestaande uit 1.500 oorspronkelijk geschreven meerkeuzevragen (MCQs).

• Bron: Alle vragen zijn handmatig geschreven door professoren van graduate-cursussen, wat garandeert dat er geen data-lekage is met bestaande trainingscorpora.
• Domeinen: De dataset dekt vijf kerngebieden van toegepaste en computationele wiskunde:
  1. Lineaire Algebra (22,1%)
  2. Numerieke Optimalisatie (22,0%)
  3. Vectoranalyse (19,5%)
  4. Kansrekening (23,3%)
  5. Python voor wetenschappelijk rekenen (13,1%)
• Formaat: Elke vraag heeft drie opties, waarvan er precies één correct is. De distractors (foutieve opties) zijn ontworpen om veelvoorkomende misconcepties of redeneerfouten op graduate-niveau te reflecteren.

Validatie Framework

Om de kwaliteit en consistentie van de dataset te waarborgen, wordt een twee-staps validatieproces toegepast:

1. Automatische screening: Acht verschillende LLMs (zowel gesloten als open-source, variërend van 4B tot 30B parameters) beantwoorden alle vragen. Er worden statistieken berekend over:
   • Foutpercentage per vraag: Hoe vaak geven modellen het verkeerde antwoord?
   • Consensus op verkeerde antwoorden: Neigen modellen naar hetzelfde verkeerde antwoord (wat wijst op een dubbelzinnige vraag of een misleidende distractor)?
   • Statistische anomalie detectie: Een binomiale test flagt vragen die statistisch onwaarschijnlijk zijn onder de null-hypothese.
2. Manuele expert review: Vragen die als statistisch anomalie worden gemarkeerd, worden handmatig gecontroleerd door de auteurs om wiskundige correctheid, eenduidigheid en de juistheid van het correcte antwoord te verifiëren.

Evaluatie Protocol

De evaluatie wordt uitgevoerd met de lm-eval bibliotheek:

• Open-weight modellen: Gebruik maken van log-likelihood ranking. In plaats van tekstgeneratie, wordt de log-kans berekend voor elke van de drie opties. De optie met de hoogste genormaliseerde log-kans wordt als voorspelling gekozen. Dit elimineert parsing-fouten en maakt de evaluatie deterministisch.
• Closed-weight modellen: Omdat token-kansen niet toegankelijk zijn, wordt gebruik gemaakt van prompt-based generatie met strikte instructies om alleen een numeriek label (0, 1 of 2) binnen een XML-tag (<Answer>) te retourneren.

3. Belangrijkste Bijdragen

1. CompMath-MCQ Dataset: Een nieuwe, lekage-vrije benchmark van 1.500 MCQs specifiek gericht op graduate-niveau computationele wiskunde, uitgelijnd met universitaire curricula.
2. Validatie Framework: Een robuust tweestapsproces dat automatische statistische analyse van modeldisagreement combineert met manuele expertreview om de betrouwbaarheid van de dataset te maximaliseren.
3. Baseline Evaluaties: Omvangrijke tests met state-of-the-art LLMs die een realistisch beeld geven van de huidige capaciteiten en beperkingen van modellen op dit niveau.

4. Resultaten

De experimenten met diverse LLMs (zoals GPT-5, Claude Sonnet 4.5, Qwen3, en Llama-3.1) tonen de volgende inzichten:

• Algemene prestaties: Zelfs de beste modellen (GPT-5 en Claude Sonnet 4.5) scoren rond de 90-91% overall, wat aangeeft dat geavanceerde computationele wiskunde nog steeds een aanzienlijke uitdaging is.
• Domeinverschillen:
  • Kansrekening en Python: Modellen presteren het sterkst op deze gebieden (vaak >95%), waarschijnlijk omdat deze onderwerpen goed vertegenwoordigd zijn in pre-training data.
  • Vectoranalyse: Dit is het meest uitdagende domein. Zelfs sterke modellen scoren hier aanzienlijk lager (bijv. ~78-83%). Fouten zijn vaak gerelateerd aan tekenfouten, onjuiste partiële afgeleiden of het verkeerd toepassen van de kettingregel.
  • Lineaire Algebra en Optimalisatie: Vallen ergens tussenin, maar blijven complex door de noodzaak van nauwkeurige symbolische manipulatie.
• Modellenvergelijking:
  • Gespecialiseerde wiskundemodellen (zoals Qwen2.5-Math) presteren vaak beter dan algemene instructiemodellen van vergelijkbare grootte.
  • Code-gerichte modellen (zoals Qwen3-Coder) tonen sterke prestaties, wat de hypothese ondersteunt dat programmeervaardigheid correleert met beter computationeel redeneren ("code-as-thought").
  • Er is een duidelijke kloof tussen open-weight en proprietary modellen, hoewel gespecialiseerde open modellen deze kloof snel dichten.

5. Betekenis en Conclusie

CompMath-MCQ vult een kritieke leemte in de evaluatielandschap van LLMs. Het biedt een standaard, reproduceerbaar en objectief middel om modellen te testen op niveau dat verder gaat dan undergraduate wiskunde.

De belangrijkste conclusie is dat LLMs, ondanks hun succes op elementair niveau en olympiade-vragen, nog steeds moeite hebben met systematische, multi-stap symbolische manipulatie en nauwkeurige boekhouding in complexe domeinen zoals vectoranalyse. De dataset dient als een betrouwbare testomgeving voor toekomstige doorbraken in wiskundig redeneren en benadrukt de noodzaak van modellen die niet alleen "creatief" zijn, maar ook technisch en computationeel accuraat op graduate-niveau.