Unmasking Reasoning Processes: A Process-aware Benchmark for Evaluating Structural Mathematical Reasoning in LLMs

Probleemstelling

Recente grote taalmodellen (LLMs) bereiken bijna verzadigde nauwkeurigheid op bestaande wiskundige redeneerbenchmarks (zoals GSM8K, AIME, etc.). Dit roept twijfel op over hun vermogen om échte redeneercompetentie te demonstreren. De auteurs stellen dat deze hoge scores voornamelijk het gevolg zijn van:

1. Template-gebaseerde berekening: Veel datasets bevatten problemen die op standaardformules of oppervlakkige rekenoperaties zijn gebaseerd.
2. Focus op eindantwoorden: Bestaande evaluaties kijken alleen naar of het eindantwoord correct is, niet naar de kwaliteit of structuur van het redeneerproces.
3. Data-overlap: Veel problemen komen uit openbaar onderwijsmateriaal, wat het risico vergroot dat modellen de antwoorden uit het trainingscorpus hebben "uit het hoofd geleerd" in plaats van te redeneren.

Hierdoor worden fundamentele redeneervaardigheden zoals meervoudige constraint-coördinatie, constructieve logische synthese en ruimtelijke inferentie onderbelicht. Modellen kunnen vaak het juiste antwoord "gokken" of via een gebrekkige redeneringsketen het juiste resultaat bereiken, wat door traditionele metrics onzichtbaar blijft.

Methodologie

Om dit gat te dichten, introduceren de auteurs een nieuwe benadering die zich richt op het proces in plaats van alleen het resultaat.

1. REASONINGMATH-PLUS (De Benchmark)

• Dataset: Een zorgvuldig samengestelde verzameling van 150 problemen die specifiek zijn ontworpen om structurele redenering te testen.
• Inhoud: De problemen focussen op intuïtieve logica, combinatoriek, getaltheorie en ruimtelijk redeneren. Ze zijn beschikbaar in zowel Chinees als Engels met identieke semantiek en moeilijkheidsgraad.
• Minimale Redeneerskeletten (Minimal Reasoning Skeletons): Elk probleem is geannoteerd met een menselijk ontworpen, beknopt reeks van essentiële tussenstappen (gemiddeld 5 stappen). Dit skelet fungeert als een "gouden standaard" voor de logische structuur, zonder de oppervlakkige formulering van het model te beperken.

2. Evaluatie Framework

De auteurs stellen een tweeledig evaluatiesysteem voor:

• Branch A: HCRS (Hazard-aware Chain-based Rule Score)

  • Dit is een deterministische, regelgebaseerde scorefunctie.
  • Een "Judge" (LLM) vergelijkt elke stap van het model met het minimale redeneerskelet.
  • Penalties: Het systeem past straffe straffen toe op:
    • Format Deviation: Afwijkingen van de verwachte lengte of structuur.
    • Hazard Penalty: Een "gevaarsgebaseerde" straf voor vroege fouten. Als een fout vroeg in de keten optreedt, wordt de straf zwaarder, omdat vroege fouten vaak leiden tot een volledig falend proces (propagatie-effect).
  • De uiteindelijke score is een combinatie van de geldigheid van de stappen minus deze straffen.

• Branch B: PRM (Process Reward Model)

  • Een geleerd model dat is getraind om de geldigheid van redeneerstappen te voorspellen, zelfs zonder toegang tot het menselijke skelet (alleen op basis van de vraag en het eindantwoord).
  • Dit biedt een schaalbare, "outcome-conditioned" verificatiemethode die de semantische consistentie van het proces meet.

Belangrijkste Bijdragen

1. REASONINGMATH-PLUS: Een nieuwe benchmark die zich richt op structurele redenering in plaats van alleen rekenvaardigheid, met parallelle meertalige ondersteuning.
2. Minimale Redeneerskeletten: Een innovatieve annotatiestandaard die de essentiële logische stappen definieert, waardoor een gedetailleerde analyse van afwijkingen mogelijk is.
3. HCRS Scorefunctie: Een nieuwe, deterministische methode die vroege fouten zwaarder weegt dan latere fouten, wat beter overeenkomt met hoe mensen redeneerfouten beoordelen.
4. Dual-Perspective Framework: Een combinatie van regelgebaseerde diagnose (HCRS) en geleerde verificatie (PRM) om zowel structurele als semantische kwaliteit te meten.

Resultaten

De auteurs hebben 14 toonaangevende LLMs (waaronder GPT-5, Gemini, Claude, Qwen, DeepSeek) getest op deze benchmark. De resultaten tonen een schokkend verschil tussen traditionele en procesbewuste evaluaties:

• Verzameling van "Lucky Guesses": Modellen behalen een gemiddelde nauwkeurigheid van het eindantwoord van 5,8/10. Echter, wanneer hun redeneerproces wordt beoordeeld met HCRS, daalt het gemiddelde naar 4,36/10 (met een beste score van 5,14/10).
• Structuur vs. Antwoord: Veel modellen die een correct antwoord geven, doen dit via gebrekkige of niet-logische redeneerpaden. Ongeveer 6,6% van de correcte antwoorden bleek te zijn voortgekomen uit "gelukkige gissingen" of gebroken redenering (HCRS-score ≤ 3).
• Ranking Verschil: De ranglijst verandert aanzienlijk. Modellen die hoog scoorden op eindantwoorden, zakken door in de proces-ranglijst, terwijl modellen met een robuustere logische structuur (zoals Gemini-2.5-Pro) hun positie behouden of verbeteren.
• Validatie: De HCRS-methode en het getrainde PRM tonen een hoge correlatie met menselijke beoordelingen (Pearson-correlatie rond 0,64), wat aantoont dat de methode betrouwbaar is.

Betekenis en Conclusie

Dit paper is van groot belang omdat het aantoont dat eindantwoord-nauwkeurigheid een misleidende metric is voor de werkelijke redeneerkracht van LLMs.

• Diagnose: Het blootlegt dat veel modellen "schijnredeneren" (hoge scores op oppervlakkige benchmarks) in plaats van echt te redeneren.
• Toekomstige Richting: Het biedt een nieuwe standaard voor het evalueren van AI, waarbij de nadruk ligt op de coherentie en structuur van het denkproces.
• Robuustheid: Door straffen toe te passen op vroege fouten (Hazard Penalty), creëert het framework een realistischere maatstaf voor de betrouwbaarheid van complexe redeneertaken.

Kortom, REASONINGMATH-PLUS en de bijbehorende evaluatiemethoden bieden een transparantere en strengere manier om de echte intelligentie van taalmodellen te meten, verder dan het simpelweg "gokken" van het juiste antwoord.