Technisch Overzicht: AdvancedMathBench

1. Probleemstelling

Hoewel Large Language Models (LLMs) een opmerkelijke bekwaamheid hebben getoond in wiskunde op het niveau van de middelbare school en wedstrijdniveau, blijft hun capaciteit in geavanceerde wiskunde (bachelor- en promotieniveau) onvoldoende begrepen. Bestaande benchmarks lijden onder twee primaire beperkingen:

1. Beperkte reikwijdte: De meeste benchmarks richten zich op problemen in wedstrijdstijl of rekenintensieve taken, en missen dekking voor bacheloropleidingen, promotie-examens (doctoral qualifying exams) en onderzoeksniveau.
2. Onvoldoende granulariteit van evaluatie: Huidige evaluaties leunen zwaar op de correctheid van het eindantwoord of grove overeenkomst met oplossingen. Deze aanpak faalt in het beoordelen van de geldigheid van het onderliggende redeneerproces. Een model kan een correct eindantwoord produceren via een gebrekkige logica, of een geldig bewijs kan afwijken van een referentiewerk, waardoor sjabloonmatching onbetrouwbaar wordt.

Consequent is er behoefte aan een rigoureus kader dat niet alleen evalueert of een model een probleem kan oplossen, maar ook of het volledige, natuurlijk-talige wiskundige bewijzen met strikte tussenclaims kan construeren en verifiëren.

2. Methodologie: AdvancedMathBench

De auteurs introduceren AdvancedMathBench, een benchmark-suite ontworpen om LLM's te evalueren op geavanceerde wiskundige bewijsvoering en verificatie. De suite bestaat uit twee complementaire componenten: ProverBench en VerifierBench, ondersteund door een speciale automatische verificatie-pipeline.

2.1 Datacuratie

De constructie van de dataset volgt een meerfasige pipeline (Figuur 2):

• Bronselectie: Problemen zijn verzameld uit vier bronnen: bachelorexamens van vooraanstaande Chinese universiteiten, promotie-examens (QE) van top mondiale instellingen, de S.-T. Yau College Student Mathematics Contest, en tekstboekopdrachten.
• Filtering: Antwoordgerichte formaten (meerkeuze, invulvragen) worden verwijderd. Alleen problemen die strikte bewijsvoering of volledige redeneerprocessen vereisen, worden behouden.
• Pre-screening van moeilijkheidsgraad: Met behulp van verifier onzekerheid (entropie van herhaalde verificatie-uitkomsten door top-tier LLM's) filteren de auteurs triviale problemen uit en behouden zij "plausibele maar foutgevoelige" bewijs-trajecten die onzekerheid induceren.
• Kwaliteitscontrole door experts: PhD-wiskundigen beoordelen probleemstellingen, referentiewerk en kandidaat-bewijzen om duidelijkheid, correctheid en de verwijdering van ambigue of slecht gestelde monsters te waarborgen.

2.2 ProverBench (Bewijsvoering Generatie)

• Samenstelling: Bevat 245 problemen verdeeld in twee splits:
  • UG (Bachelor): 200 problemen die kernonderwerpen beslaan (kansrekening, analyse, algebra, etc.).
  • QE (Promotie-examen): 45 problemen die geavanceerde onderwerpen beslaan (grafentheorie, topologie, toegepaste wiskunde).
• Taak: Modellen moeten stap-voor-stap natuurlijk-talige bewijzen genereren.
• Evaluatie: Omdat bewijzen niet alleen door eindantwoorden gevalideerd kunnen worden, evalueert een automatische verificatie-pipeline (getraind op grootschalige expert-annotaties) het volledige bewijs-traject op correctheid, foutlokalisatie en fijnmazige kwaliteit.

2.3 VerifierBench (Bewijs Verificatie)

• Samenstelling: Bevat 888 probleem-bewijs-grondwaarheid triplets. Elk bewijs is geannoteerd door experts die de geldigheid beoordelen, gedetailleerde analyses leveren en fouten lokaliseren.
• Annotatieprotocol: In tegenstelling tot "alleen de eerste fout"-labeling, analyseren experts de volledige bewijsketen, waarbij onderscheid wordt gemaakt tussen Fatale Fouten (die het globale argument ongeldig maken) en Herstelbare Fouten (lokale slips).
• Taak: Modellen moeten de geldigheid van een bewijs beoordelen, een verificatie-ratio verstrekken en de index van de eerste fout identificeren.
• Evaluatie: Een Meta-Verifier (getraind op expert grondwaarheid) evalueert de outputs van modellen op basis van overeenstemming met experts wat betreft geldigheidsoordelen, foutdekking en de kwaliteit van de ratio.

2.4 Automatische Verificatie-pipeline

Om ProverBench op schaal te evalueren, hebben de auteurs een gespecialiseerde verifier ontwikkeld die getraind is via:

1. Grootschalige Annotatie: Het genereren van diverse bewijs-trajecten en het selecteren van informatieve gevallen via verifier onzekerheid.
2. Positieve-sample Augmentatie: Het repareren van foutieve bewijzen met behulp van expert-suggesties om de trainingsdistributie te balanceren en te voorkomen dat de verifier te pessimistisch wordt.
3. RL met Meta-verificatie Beloning: Het trainen van de verifier met behulp van Reinforcement Learning (GRPO), waarbij de beloning wordt bepaald door de alignment van een Meta-Verifier met expert-ratio's, en niet enkel door binaire correctheid.
4. Pessimistische Verificatie: Een bewijs wordt alleen geaccepteerd als alle parallelle verificatie-passes het als correct beoordelen, wat een hoge precisie bij het accepteren van geldige bewijzen garandeert.

3. Belangrijkste Resultaten

3.1 Bewijsvoering Generatie (ProverBench)

• Prestatiekloof: Frontier-modellen worstelen aanzienlijk met geavanceerde bewijzen. Het best presterende model, GPT-5.5-xhigh, behaalt slechts 64,5% op de UG-split en 48,9% op de moeilijkere QE-split.
• Moeilijkheidsgraad-gradiënt: Er is een substantiële prestatiedaling van UG naar QE-niveau bij alle modellen. Bijvoorbeeld, Gemini-3.1-Pro-Preview daalt van 46,5% (UG) naar 17,8% (QE).
• Vergelijking: Scores op ProverBench liggen aanzienlijk lager dan op antwoordgerichte benchmarks (bijv. HMMT) of wedstrijd-stijl bewijs-benchmarks (bijv. USAMO), wat aangeeft dat bestaande benchmarks er niet in slagen de beperkingen van modellen in geavanceerde redenering bloot te leggen.

3.2 Bewijs Verificatie (VerifierBench)

• Verificatie Bottleneck: Het beste model, DeepSeek-V4-Pro, bereikt een Balanced F1 van 65,1 onder Meta-Verificatie.
• Overschatting door Ruwe Evaluatie: Simpele binaire geldelijkheidscontroles (Ruwe scores) overschatten de prestaties aanzienlijk. De overstap naar Meta-Verificatie (die ratio's evalueert) verlaagt de gemiddelde Balanced F1 met 9,0 punten.
• Falen in Foutdetectie: Modellen vertonen een sterke bias naar het overmatig accepteren van plausibele maar ongeldige bewijzen. Veel modellen behalen hoge True Positive Rates (TPR > 90%) maar zeer lage True Negative Rates (TNR < 40%), wat aangeeft dat ze er niet in slagen subtiele logische hiaten te detecteren.
• Verifier Prestaties: De automatische verifier van de auteurs presteert beter dan algemene LLM-as-Judge baselines, en behaalt een 73,9 Balanced F1 op held-out voorbeelden vergeleken met ~61-63% voor frontier-modellen die als judge optreden.

4. Belangrijkste Bijdragen

1. AdvancedMathBench Suite: Een uitgebreide benchmark die de bachelor- en promotieniveaus van wiskunde dekt met een focus op natuurlijk-talige bewijsvoering en verificatie, waarmee een gat wordt opgevuld dat achtergelaten is door wedstrijd-stijl en antwoordgerichte benchmarks.
2. Expert-Aligned Verificatie-pipeline: Een schaalbaar, automatisch verificatiesysteem getraind op grootschalige expert-annotaties dat fijnmazige foutlokalisatie en ratio-beoordeling biedt, en beter presteert dan standaard LLM judges.
3. Dual-Task Evaluatie: De introductie van VerifierBench om expliciet de capaciteit van een model te testen om bewijzen te bekritiseren en te verifiëren, wat onthult dat huidige modellen aanzienlijk beter zijn in het genereren van plausibele argumenten dan in het detecteren van subtiele fouten daarin.
4. Methodologische Rigor: Het gebruik van pessimistische verificatie en ratio-bewuste beloningen om ervoor te zorgen dat evaluatiemetrieken werkelijke wiskundige geldigheid reflecteren in plaats van oppervlakkige patroonherkenning.

5. Betekenis en Claims

Het artikel beweert dat AdvancedMathBench een rigoureuze basis biedt voor het diagnosticeren van de capaciteiten van LLM's in geavanceerde wiskundige redenering. De resultaten geven aan dat:

• Frontier-modellen ver van verzadiging zijn wat betreft geavanceerde wiskundige redenering; er is aanzienlijke ruimte voor verbetering, met name op promotieniveau.
• Bewijsverificatie een belangrijke bottleneck blijft. Modellen accepteren vaak onterecht ongeldige bewijzen die plausibel lijken, wat suggereert dat huidige "verifiers" nog niet betrouwbaar genoeg zijn voor autonome wiskundige ontdekking zonder menselijk toezicht.
• Evaluatiemethodologie ertoe doet: Vertrouwen op eindantwoorden of binaire geldelijkheidsoordelen leidt tot een onnauwkeurige schatting van de capaciteiten van modellen. Procesmatige beoordeling, inclus_ief de kwaliteit van de ratio en foutlokalisatie, is essentieel voor een echt begrip van wiskundige redenering.

De auteurs concluderen dat toekomstig werk zich moet richten op het ontwikkelen van verifier-aware bewijsvoering en bewijsverifiers die in staat zijn om betrouwbaar subtiele wiskundige fouten te identificeren, in plaats van enkel plausibele conclusies te produceren.