MathDuels: Evaluating LLMs as Problem Posers and Solvers

Probleemstelling

Bestaande benchmarks voor wiskundig redeneren bij Large Language Models (LLMs), zoals MATH en GSM8K, raken verzadigd. Omdat deze benchmarks statische verzamelingen van vaste problemen zijn, kunnen ze de capaciteiten van geavanceerde modellen niet langer effectief onderscheiden; modellen presteren er bijna perfect op. Zelfs benchmarks gebaseerd op live competitieproblemen (zoals AIME) verliezen hun onderscheidend vermogen zodra nieuwe modellen deze problemen kunnen oplossen.

De kernuitdaging is dat het voor mensen steeds moeilijker wordt om nieuwe, voldoende moeilijke problemen te creëren die de sterkste modellen kunnen onderscheiden. Er is behoefte aan een evaluatiemethode die niet afhankelijk is van een externe, statische voorraad problemen, maar die dynamisch meegroeit met de capaciteiten van de modellen zelf.

Methodologie: Het MathDuels-protocol

De auteurs introduceren MathDuels, een "self-play" benchmark waarbij modellen twee rollen tegelijkertijd vervullen: auteur (het bedenken van problemen) en oplosser (het oplossen van problemen van andere modellen). Het protocol verloopt in vier geautomatiseerde fasen:

1. Generatie (Problem Generation):

   • Elk van de $N$ deelnemende modellen genereert $K$ problemen (in het experiment $K=30$) over zes wiskundige domeinen (analyse, algebra, topologie, discrete wiskunde, statistiek, toegepaste wiskunde).
   • De generatie volgt een drie-staps proces om de moeilijkheid te maximaliseren:
     • Meta-prompting: Het model schrijft eerst een prompt voor het bedenken van een moeilijk probleem.
     • Probleemgeneratie: Het model genereert het probleem en het "gouden antwoord" op basis van die prompt.
     • Moeilijkheidsversterking: Het model probeert het probleem te harden (verharden) om dieper redeneren te eisen.
   • Er is minimale menselijke sturing; de modellen bepalen zelf wat een moeilijk probleem is.

2. Oplossen (Solving):

   • Elk model probeert alle problemen op te lossen die het niet zelf heeft gegenereerd.
   • De uitkomst is binair: correct ($1$) of incorrect ($0$), bepaald door symbolische verificatie van het antwoord.

3. Verificatie (Verification):

   • Een onafhankelijke verifier (een sterk LLM) controleert problemen waarbij er onenigheid is over het antwoord of waar geen enkele solver slaagt.
   • De verifier beoordeelt of het probleem goed gesteld is (uniek, goed gedefinieerd). Slecht gestelde of dubbelzinnige problemen worden verwijderd.
   • Als de auteur een foutief gouden antwoord heeft ingediend maar het probleem wel correct is, corrigeert de verifier het antwoord.

4. Ranking (Rangschikking):

   • De resultaten worden verwerkt met het Rasch-model (uit de Item Response Theory). Dit model schat simultaan de vaardigheid van de oplossers ($s_m$) en de moeilijkheid van de problemen ($d_p$).
   • De kans op een correct antwoord wordt gemodelleerd als: $P(y_{mp}=1) = \sigma(s_m - d_p)$.
   • Author Rating: De kwaliteit van een auteur wordt afgeleid uit de gemiddelde moeilijkheid van de problemen die het model heeft gegenereerd.
   • Composite Rating: De uiteindelijke score is een gewogen gemiddelde van de oplosser-score en de auteur-score, waarbij beide rollen even zwaar wegen.

Belangrijkste Bijdragen

1. Dual-Rol Evaluatie: MathDuels is de eerste benchmark die modellen beoordeelt op zowel het creëren als het oplossen van problemen. Dit onthult dat deze vaardigheden gedeeltelijk ontkoppeld zijn.
2. Dynamische Moeilijkheid: In tegenstelling tot statische benchmarks, evolueert de moeilijkheidsgraad van de benchmark mee met de kracht van de deelnemers. Nieuwe, sterkere modellen genereren problemen die eerdere toppers verslaan, waardoor de benchmark nooit verzadigt.
3. Geautomatiseerde Validatie: Het protocol gebruikt een volledig geautomatiseerd verificatielayer om ongeldige problemen te filteren, wat menselijke tussenkomst overbodig maakt.
4. Publieke Leaderboard: De auteurs hosten een live leaderboard (mathduels.ai) die updates wanneer nieuwe modellen worden vrijgegeven.

Resultaten

De auteurs hebben experimenten uitgevoerd met 19 frontier-modellen (waaronder GPT-5, Gemini 3, Claude 4.6, Grok 4, etc.):

• Ontkoppeling van Vaardigheden: Er is een sterke correlatie tussen het oplossen en het bedenken van problemen, maar ze zijn niet identiek.
  • Voorbeeld: GPT-5.4-high is de beste oplosser, maar Gemini-3.1-Pro-high is de beste auteur (en eindigt als nummer 1 in de totale rangschikking).
  • Modellen zoals Grok-4.20-high hebben een enorme kloof tussen hun oplosser- en auteur-score, wat aantoont dat een model zeer goed kan rekenen maar moeite heeft met het creëren van uitdagende problemen.
• Discriminatievermogen: Ongeveer 39% van de gegenereerde problemen wordt door alle oplossers opgelost, maar de "staart" van moeilijke problemen biedt voldoende signaal voor een betrouwbare rangschikking.
• Adaptieve Moeilijkheid: Problemen gegenereerd door de twee nieuwste en sterkste modellen (Gemini-3.1-Pro en GPT-5.4) verslaan de eerdere top-3 oplossers in 27,6% van de gevallen, terwijl problemen van de rest van de deelnemers dit slechts in 8,0% van de gevallen doen. Dit bewijst dat de benchmark automatisch moeilijker wordt naarmate de deelnemers sterker worden.
• Domeinvariatie: Discrete wiskunde bleek het moeilijkste domein voor oplossers (82,5% nauwkeurigheid), omdat de structuur vaak niet expliciet is in de probleemstelling, terwijl statistiek het makkelijkst bleek (92,2%) omdat het vaak terugvalt op bekende patronen.

Betekenis en Conclusie

MathDuels biedt een oplossing voor het verzadigingsprobleem in LLM-evaluatie door de rol van de menselijke benchmarkbouwer te vervangen door de modellen zelf. De studie toont aan dat het vermogen om complexe, goed gestelde problemen te formuleren een fundamenteel ander aspect van wiskundige competentie is dan het oplossen ervan.

De methode is schaalbaar en domeinonafhankelijk, wat betekent dat het principe ook kan worden toegepast op andere gebieden zoals competitief programmeren of wetenschappelijk vraag-antwoord. Voor de toekomst suggereert de paper dat het uitbreiden van de verificatie naar bewijsgebaseerde validatie (in plaats van alleen antwoordcontrole) nog gedetailleerdere inzichten zou kunnen geven in het redeneervermogen van modellen.