Technische Samenvatting: CROWDMATH: Een dataset van crowdsourced wiskundige onderzoeksdiscussies

Probleemstelling

Huidige benchmarks voor Large Language Models (LLM's) in wiskundig redeneren evalueren voornamelijk prestaties op goed gespecificeerde problemen met definitieve eindantwoorden, stapsgewijze afleidingen of volledige bewijzen (bijv. competitie-stijl problemen of formeel bewijs leveren). Hoewel deze datasets sterke capaciteiten vertonen in het produceren van correcte oplossingen voor gesloten problemen, slagen ze er niet in om collaboratieve open-probleemoplossing te vatten. In deze setting wordt wiskundige vooruitgang verdeeld over meerdere deelnemers en berichten, waarbij deelargumenten, identificatie van fouten, reparatie van redeneringen en de geleidelijke synthese van incrementele bijdragen in een volledig bewijs betrokken zijn. Bestaande modellen hebben moeite met het volgen van de functionele betekenis van individuele bijdragen binnen deze evoluerende, multi-turn discourse.

Methodologie

Dataset Constructie: CROWDMATH

De auteurs introduceren CROWDMATH, een dataset bestaande uit 164 door experts geannoteerde progressieketens afkomstig van het MIT PRIMES–Art of Problem Solving (AoPS) CrowdMath-programma (2016–2025). Dit programma is een collaboratief onderzoekinitiatief waarbij deelnemers uit de middelbare school en de bacheloropleiding originele, onopgeloste problemen in discrete wiskunde en combinatoriek oplossen, wat vaak leidt tot peer-reviewed publicaties.

• Databron: De dataset is afkomstig van publieke forumthreads waar deelnemers discussiëren over open problemen.
• Annotatieschema: Elk bericht is geannoteerd met functionele rollen ten opzichte van het evoluerende oplossingsproces. Het schema omvat:
  • Progress (Vooruitgang): Partiële ideeën, lemma's of strategieën.
  • Proof (Bewijs): Voltooiing van een bewijs of de definitieve ontbrekende stap.
  • Erroneous (Foutief): Claims die fatale wiskundige fouten bevatten.
  • FindError (Fout vinden): Identificatie van fouten in eerdere berichten.
  • Question/Answer (Vraag/Antwoord): Verhelderende vragen en reacties.
  • Result (Resultaat): Nieuwe wiskundige bevindingen die voorheen niet bekend waren.
• Proces: Annotatie vond plaats in twee fasen: (1) het identificeren van alle in een thread vastgestelde wiskundige resultaten, en (2) het labelen van individuele berichten op basis van hun bijdrage aan die resultaten. Berichten werden geanonimiseerd en de data werd gestructureerd in "progress chains" die een specifiek resultaat volgen van de probleemstelling tot het definitieve bewijs, waarbij temporele afhankelijkheden behouden blijven.
• Statistieken: De dataset beslaat 164 ketens over 10+ wiskundige onderwerpen (bijv. pursuit-evasion games, metrische dimensie van grafen). De lengte van de ketens varieert van 1 tot 25 berichten, met een gemiddelde van 2,7 berichten per resultaat.

Evaluatietaken

De auteurs evalueerden zes frontier-modellen (GPT-5.4, Claude Opus 4.6, Grok 4.20, DeepSeek V3.2, Gemini 2.5 Flash, Qwen3-235B) op twee taken afgeleid van de annotaties:

1. Post-Role Classification (Berichtrol-classificatie): Gegeven een thread-prefix en een doelbericht, moet het model het bericht classificeren in een van vier functionele rollen: Progress, Result (bewijs voltooiing), Erroneous, of FindError. Dit test het vermogen van het model om de functionele betekenis van een bijdrage te begrijpen.
2. Next-Post Prediction (Volgende-bericht-voorspelling): Gegeven een thread-prefix, moet het model het werkelijke volgende bericht voorspellen uit een set van vier kandidaten (één echt bericht, drie distractoren gesampled uit andere threads). Dit test het vermogen van het model om de lokale flow en logische continuïteit van de discussie te volgen.

Belangrijkste Resultaten

1. Moeite met het identificeren van functionele betekenis

Modellen presteerden slecht op Post-Role Classification, met macro-F1-scores tussen de 0,33 en 0,42.

• Specifieke faalmodus: Modellen hadden consequent moeite met het onderscheiden van Progress (partiële bijdragen) en Result (voltooiing van een bewijs). Terwijl de precisie voor de Result-klasse relatief hoog was (modellen bestempelden niet-bewijs berichten zelden foutief als Bewijs), was de recall laag. Modellen bestempelden berichten die een bewijs voltooiden vaak slechts als "Progress", waardoor ze de voltooiing van het argument niet herkenden.
• Implicatie: Huidige modellen missen het discourse-niveau redeneren om de significantie van een bericht binnen de bredere collaboratieve traject te beoordelen.

2. Succes in lokale flow-voorspelling

Modellen presteerden aanzienlijk beter op Next-Post Prediction, met accuratessen tussen de 82,7% en 87,7% (vergeleken met een random baseline van 25%).

• Implicatie: Frontier-modellen kunnen de oppervlakkige flow van wiskundige discourse effectief volgen en de directe volgende stap in een gesprek voorspellen, wat suggereert dat ze de lokale context en logische progressie van een enkele thread begrijpen.

Betekenis en Claims

Het artikel beweert dat CROWDMATH een kritieke kloof blootlegt tussen het oplossen van goed gespecificeerde wiskundige problemen en het begrijpen van collaboratieve wiskundige vooruitgang.

• Proces vs. Product: Hoewel modellen vaak correcte eindantwoorden kunnen produceren of een lineaire afleiding kunnen volgen, hebben ze moeite om wiskundige vooruitgang te begrijpen als een evoluerend, niet-lineair, collaboratief proces dat fouten, correcties en partiële ideeën omvat.
• Verschuiving in Benchmarking: De auteurs betogen dat een verschuiving in evaluatie van de correctheid van het eindantwoord naar "progress-aware reasoning" noodzakelijk is om wiskundige intelligentie holistischer te benchmarken.
• Beperkingen: De auteurs merken op dat de dataset resultaat-gecentreerd is (exclusief afgebroken ideeën of doodlopende wegen), vertrouwt op grofmazige labels op berichtniveau en de discourse reflecteert van student-deelnemers in plaats van professionele onderzoekers.

Concluderend stelt het artikel dat huidige frontier-modellen nog niet volledig hebben geleerd van het discourse-niveau redeneren dat vereist is om te volgen hoe wiskundige ideeën zich in de loop van de tijd ontwikkelen in een collaboratieve setting, ondanks hun bekwaamheid in het oplossen van geïsoleerde, goed gedefinieerde problemen.