💬 NLP

Reliable Fine-Grained Evaluation of Natural Language Math Proofs

Dit paper introduceert ProofBench, het eerste expert-geannoteerde dataset voor fijnmazige beoordeling van wiskundige bewijzen, en presenteert ProofGrader, een geavanceerde evaluator die aanzienlijk nauwkeuriger presteert dan bestaande methoden bij het scoren van door LLM's gegenereerde bewijzen.

Oorspronkelijke auteurs: Wenjie Ma, Andrei Cojocaru, Neel Kolhe, Bradley Louie, Robin Said Sharif, Haihan Zhang, Vincent Zhuang, Matei Zaharia, Sewon Min

Gepubliceerd 2026-03-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Wenjie Ma, Andrei Cojocaru, Neel Kolhe, Bradley Louie, Robin Said Sharif, Haihan Zhang, Vincent Zhuang, Matei Zaharia, Sewon Min

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een groep zeer slimme robots (deze "Large Language Models" of LLM's) hebt die wiskundige problemen oplossen. Voor simpele rekenvragen zijn ze fantastisch: ze geven het juiste antwoord en dat is makkelijk te controleren. Maar wat als je ze vraagt om een bewijs te schrijven? Een bewijs is een lang verhaal waarin ze stap voor stap uitleggen waarom iets waar is.

Het probleem is: hoe controleer je of zo'n lang verhaal wel klopt?

Dit artikel, geschreven door onderzoekers van onder andere UC Berkeley en Google DeepMind, gaat over het bouwen van een super-slome beoordelaar die deze bewijzen kan nakijken. Ze noemen hun project PROOFBENCH en hun beste beoordelaar PROOFGRADER.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Gouden Ezel" vs. De "Gouden Ketting"

Stel je voor dat een robot een wiskundig probleem oplost.

Bij een simpele som (bijv. "Hoeveel is 2+2?") is het antwoord een gouden ezel. Of hij is er (4) of hij is er niet (3). Dat is makkelijk te checken.
Bij een bewijs is het antwoord een gouden ketting. Als de ketting één schakel mist, is de hele ketting waardeloos, ook al zijn de andere schakels goud.

Tot nu toe hadden we geen goede manier om die ketting te inspecteren. Menselijke experts (wiskundig olympiade-jurys) kunnen het wel, maar dat is traag en duur. Robots die het proberen, maken vaak fouten: ze zien een schakel die eruitziet als goud, maar is eigenlijk plastic, of ze missen een hele schakel.

2. De Oplossing: PROOFBENCH (De "Gouden Standaard")

Om een goede robot-beoordelaar te bouwen, heb je eerst een perfecte "antwoordenboekje" nodig. De auteurs hebben PROOFBENCH gemaakt.

Wat is het? Een enorme verzameling van 145 moeilijke wiskundeproblemen (uit wedstrijden zoals de IMO en USAMO) en 435 bewijzen die door de slimste robots zijn geschreven.
De magie: Menselijke experts hebben elk bewijs niet alleen als "goed" of "slecht" gemarkeerd, maar ze hebben een cijfer gegeven van 0 tot 7.
- Analogie: In plaats van alleen te zeggen "Je hebt een onvoldoende", zeggen ze: "Je hebt een 4. Je had de eerste drie stappen perfect, maar bij stap 4 maakte je een logische fout, en stap 5 was net iets te vaag."

3. De Test: Hoe maak je de beste robot-beoordelaar?

De onderzoekers hebben geëxperimenteerd met verschillende manieren om hun robot-beoordelaar (PROOFGRADER) te trainen. Ze hebben gekeken naar drie belangrijke ingrediënten:

A. De "Hoofd" (Het Brein)

Welke robot moet de beoordeling doen?

Vergelijking: Het is alsof je vraagt aan een basisschoolleerling of aan een professor om een proefwerk te nakijken.
Resultaat: Je hebt een heel slim brein nodig (zoals OpenAI's o3). Als je een minder slimme robot gebruikt, maakt die zelf weer fouten in het nakijken.

B. De "Hulpmiddelen" (De Context)

Mag de robot alleen naar het bewijs kijken, of mag hij ook naar het antwoordenboekje en de beoordelingslijst (marking scheme) kijken?

Zonder hulpmiddelen: De robot raadt maar wat. Hij denkt vaak dat een bewijs goed is omdat het er "slim" uitziet, terwijl het vol fouten zit.
Met hulpmiddelen: De robot krijgt een checklist (de beoordelingslijst) en het ideale bewijs (het antwoord van de mens).
- Analogie: Het is het verschil tussen een chef die een gerecht proeft zonder recept, en een chef die het recept en de smaaktest van de meesterkok naast zich heeft liggen. Met het recept kan de chef precies zien welke kruiden er misten.
Conclusie: De combinatie van een slim brein + het recept + de checklist werkt het beste.

C. De "Meerdere Meningen" (Ensembling)

Wat als je één robot vraagt om te beoordelen, versus als je vijf robots vraagt en hun gemiddelde neemt?

Resultaat: Net als bij een jury in een talentenjacht, is het gemiddelde van vijf oordelen veel betrouwbaarder dan het oordeel van één persoon. Het maakt de beoordeling stabieler en minder wisselvallig.

4. Het Resultaat: PROOFGRADER

De winnaar van hun experimenten is PROOFGRADER.

Dit is een systeem dat een slimme robot (o3) gebruikt, die het bewijs bekijkt met een checklist en het ideale bewijs ernaast.
Het geeft een cijfer van 0 tot 7.
Hoe goed is het? Het zit bijna op het niveau van een menselijke expert. Als een mens een bewijs een 6 geeft, geeft PROOFGRADER vaak een 5 of 7. Dat is een enorme prestatie voor een computer.

5. Waarom is dit belangrijk? (De "Best-of-N" Test)

Stel je voor dat je een robot 16 keer een probleem laat oplossen. Je wilt weten welke van die 16 oplossingen de beste is, zodat je die kunt gebruiken om de robot nog slimmer te maken.

Een simpele robot die alleen zegt "Goed" of "Slecht", kiest vaak een slechte oplossing omdat hij niet ziet dat er een beter goed antwoord tussen zit.
PROOFGRADER kan zien dat oplossing A een "6" is en oplossing B een "4". Hij kiest dus de "6".
Het effect: Door PROOFGRADER te gebruiken, kunnen onderzoekers de robots veel sneller en beter leren. Het is alsof je een trainer hebt die precies weet welke oefening je moet doen om je sportprestatie te verbeteren, in plaats van iemand die alleen zegt "Goed gedaan" of "Niet goed".

Samenvatting in één zin

De onderzoekers hebben een "super-jury" gebouwd die wiskundige bewijzen van robots kan nakijken met de precisie van een menselijke professor, waardoor we nu veel beter kunnen leren van de fouten en successen van deze slimme machines.

1. Het Probleem

Recente vooruitgang in Large Language Models (LLMs) voor wiskundig redeneren is grotendeels gefocust op taken met eenvoudig te verifiëren eindantwoorden (zoals numerieke uitkomsten). Het genereren en verifiëren van natuurtaalkundige wiskundige bewijzen blijft echter een groot uitdaging.

Gebrek aan betrouwbare evaluatie: Veel bewijsproblemen hebben geen enkel, snel te controleren eindantwoord. Zelfs als een antwoord bestaat, is het controleren van dat antwoord onvoldoende om de validiteit van het redeneringstraject te beoordelen, omdat er substantiële tussenstapfouten kunnen optreden.
Beperkingen van bestaande methoden:
- Menselijke grading: Accuraat maar traag en duur.
- Formele bewijzen (bijv. Lean): Bieden absolute zekerheid, maar zijn losgekoppeld van de natuurlijke taal die in het onderwijs en onderzoek wordt gebruikt. Het automatisch vertalen van natuurlijke taal naar formele talen is kwetsbaar en moeilijk.
- LLM-as-a-judge: Veelbelovend, maar de uitkomsten zijn zeer gevoelig voor het ontwerp van de evaluator (modelkeuze, context, instructies), wat momenteel slecht begrepen wordt.

Er is een kritieke kloof in een betrouwbare, fijnmazige (fine-grained) evaluator voor door LLMs gegenereerde bewijzen.

2. Methodologie

De auteurs introduceren een systematische methodologie om hoogwaardige evaluatoren te ontwikkelen en valideren.

A. PROOFBENCH: Een Expert-geannoteerde Dataset

Om dit onderzoek te ondersteunen, hebben de auteurs PROOFBENCH ontwikkeld, het eerste expert-geannoteerde dataset voor fijnmazige bewijsevaluatie.

Omvang: 145 problemen uit zes grote wiskundewedstrijden (USAMO, IMO, Putnam, etc.) uit de periode 2022–2025.
Generatoren: 435 door LLMs gegenereerde oplossingen van state-of-the-art modellen: Gemini-2.5-Pro, OpenAI o3 en DeepSeek-R1.
Grading-schaal: Een 0–7 schaal (in plaats van binair goed/fout), gebaseerd op de standaarden van topwiskundewedstrijden. Dit staat een nuanceerders beoordeling van bewijskwaliteit toe.
Annotatieproces:
1. Marking Scheme Generatie: Een LLM (Gemini-2.5-Pro) genereert per probleem een specifiek beoordelingskader (rubric) op basis van referentieoplossingen.
2. Expert Grading: Experts (met Olympiade-ervaring) beoordelen de LLM-oplossingen aan de hand van deze kaders, waarbij ze ruimte laten voor alternatieve geldige oplossingspaden.

B. Systematisch Onderzoek naar Evaluator-ontwerp

De auteurs onderzoeken de ontwerpruimte van evaluatoren langs vier hoofdaspecten:

Backbone Model: Verschillende LLMs (O3, GPT-5, Gemini, etc.) als basis voor de evaluator.
Context: De input die aan de evaluator wordt gegeven:
- REF+MS: Referentieoplossing + Beoordelingskader (Marking Scheme).
- MS: Alleen Beoordelingskader.
- REF: Alleen Referentieoplossing.
- NONE: Geen context (alleen instructies).
Instructies: De prompt-strategie (bijv. strikt volgen van het kader vs. flexibel toepassen).
Workflow: Enkele pass (single-pass) vs. geavanceerde methoden zoals ensemble (meerdere runs middelen) en gestage workflows (bijv. eerst binair, dan fijnmazig).

C. PROOFGRADER

Op basis van de bevindingen wordt PROOFGRADER gepresenteerd als de optimale evaluator. Deze combineert:

Een sterke redenerende backbone (OpenAI o3).
Rijke context (Referentieoplossing + Beoordelingskader).
Flexibele instructies (NORM) die alternatieve oplossingen toestaan.
Eenvoudige ensemble-methode (gemiddelde van meerdere onafhankelijke runs) om variantie te verlagen.

3. Belangrijkste Resultaten

Evaluatieprestaties

Nauwkeurigheid: PROOFGRADER bereikt een Mean Absolute Error (MAE) van 0,926 ten opzichte van expert-scores. Dit is significant beter dan naieve baselines (zonder context of met zwakkere modellen).
Factoren van invloed: De kracht van het backbone-model is de belangrijkste factor, gevolgd door de aanwezigheid van context (vooral het beoordelingskader), en ten slotte de instructiestijl.
Ensemble vs. Staged: Het middelen van meerdere runs (ensemble) verbetert de stabiliteit en nauwkeurigheid aanzienlijk. Gestage workflows (bijv. eerst fouten zoeken, dan scoren) helpen zwakkere modellen, maar kunnen sterke modellen (zoals o3) juist vertragen of verslechteren.

Downstream Utility: Best-of-N Selectie

De auteurs testen de praktische bruikbaarheid in een "Best-of-N" selectietask (het kiezen van het beste bewijs uit een set van $N$ gegenereerde oplossingen).

Bij $N=16$ bereikt PROOFGRADER een gemiddelde score van 4,14/7.
Dit sluit 78% van de kloof tussen een naieve binale evaluator (score 2,48) en de menselijke oracle (score 4,62).
PROOFGRADER presteert beter dan computationeel intensieve vergelijkingsmethoden (zoals "Knockout" toernooien), wat aantoont dat een sterke, context-rijke scorefunctie belangrijker is dan herhaaldelijke paar-voor-paar vergelijkingen.

Analyse van Fouten

Over-crediting: De evaluator geeft soms te veel punten aan oplossingen die er compleet uitzien of geavanceerde terminologie gebruiken, maar fundamentele logische fouten bevatten.
Under-crediting: De evaluator straft soms te streng voor vroege misstappen in een anderszins correct bewijs, of eist te veel micro-justificaties.
Context is cruciaal: Zonder referentieoplossing of beoordelingskader neigt de evaluator ernaar om lage kwaliteit bewijzen te overschatten (gemiddeld +1,7 punten te hoog voor slechte bewijzen).

4. Bijdragen

PROOFBENCH: Introductie van het eerste uitgebreide, expert-geannoteerde dataset voor fijnmazige bewijsevaluatie over meerdere wedstrijden en jaren.
Systematisch Onderzoek: Een grondige studie naar de ontwerpfactoren van evaluatoren, wat leidt tot de ontdekking dat sterke backbones gecombineerd met specifieke beoordelingskaders en ensemble-methoden essentieel zijn.
PROOFGRADER: Een state-of-the-art evaluator die bijna menselijke prestaties benadert in het selecteren van hoogwaardige bewijzen, wat het potentieel heeft om het trainen van bewijsgenererende modellen te verbeteren.

5. Betekenis en Toekomstperspectief

Dit werk vult een cruciale lacune in de ontwikkeling van AI voor wiskunde. Door een betrouwbare, fijnmazige evaluator te bieden, maken de auteurs het mogelijk om:

Modelcapaciteiten op een eerlijke manier te beoordelen.
Betere beloningssignalen (reward signals) te genereren voor Reinforcement Learning (RL) in bewijstaken.
Hoogwaardige trainingsdata te selecteren via rejection sampling.

De studie benadrukt dat voor complexe wiskundige taken, waar geen enkel "juist antwoord" bestaat, de kwaliteit van de evaluatie (het oordeel) minstens zo belangrijk is als de kwaliteit van de generatie zelf. PROOFGRADER biedt een schaalbare oplossing die dicht bij menselijke expertise komt, zonder de kosten en het tijdsverlies van volledige menselijke grading.