Categorizing Mathematical Concepts with LLM Voting Ensembles in Mathswitch

Technische Samenvatting: Categorisering van Wiskundige Concepten met LLM Voting Ensembles in Mathswitch

Probleemstelling
Het Mathswitch-project beoogt wiskundige concepten te verbinden over uiteenlopende bronnen (bijv. Wikidata, Wikipedia, MathWorld, Agja-Unimath) door records te importeren en die verwijzen naar dezelfde idee te koppelen. Omdat Mathswitch de verzameling wiskundige concepten benadert via SPARQL-queries over de collaboratief bewerkte Wikidata-graaf, is de geïmporteerde data echter inherent ruisgevoelig. Deze ruis manifesteert zich op twee manieren: items die duidelijk niet-wiskundig zijn maar wel aan querypatronen voldoen door onjuiste tagging, en werkelijk ambigue termen die zowel een wiskundige als een niet-wiskundige betekenis hebben. Het artikel behandelt de uitdaging om deze ruis te filteren om de betrouwbaarheid van het kruisverwijzingsnetwerk te waarborgen, zonder dat daarvoor een handmatig gelabelde trainingsdataset nodig is, die moeilijk te produceren is vanwege de vereiste gespecialiseerde domeinkennis voor randgevallen.

Methodologie
De auteurs stellen een geautomatiseerde categorisatie-pipeline voor en evalueren deze, bestaande uit drie stadia:

1. Data Retrieval (Gegevensextractie): SPARQL-queries worden uitgevoerd tegen Wikidata om kandidaat-items op te halen op basis van eigenschapspaden (bijv. items die instanties zijn van onderwerpen die door wiskunde worden bestudeerd). Het systeem haalt ook de bijbehorende Engelse Wikipedia-artikeltekst en externe identificatoren (MathWorld, nLab, etc.) op.
2. LLM Voting Ensemble: In plaats van een dedicated classifier te trainen, maakt het systeem gebruik van een voting ensemble van Large Language Models (LLMs) die fungeren als "rechters".
   • Input: Elk kandidaat-item wordt gepresenteerd aan meerdere onafhankelijke LLM's met een gestructureerde prompt die de naam van het item, de beschrijving, geëxtraheerde trefwoorden en de artikeltekst bevat.
   • Taak: Elke rechter beantwoordt een binaire vraag ("Is het gegeven concept een wiskundig concept?") en geeft een betrouwbaarheidsscore (0–100).
   • Ensemble: Het systeem gebruikt een heterogeen arsenaal aan modellen (specifiek DeepSeek-R1 14B, Gemma-3 12B en Qwen-2.5 14B, gehost via Ollama) om een lokale uitvoering te garanderen. Een meerderheidsstem bepaalt de uiteindelijke classificatie.
   • Feedback Loop: Items die door een meerderheid als niet-wiskundig worden geclassificeerd, worden automatisch toegevoegd aan de SPARQL-uitsluitingslijst voor opeenvolgende imports, wat een zelfverfijnende datapipeline creëert.
3. Netwerkconstructie: Gefilterde items worden gegroepeerd in verenigde concepten met behulp van een Union-Find algoritme om records uit verschillende bronnen samen te voegen.

Belangrijkste Resultaten
Het systeem werd geëvalueerd op een dataset van 16.385 items die in april 2026 zijn geïmporteerd.

• Positieve Controle: Op een steekproef van 1.000 items waarvan bekend is dat ze MathWorld-identificatoren hebben (verondersteld wiskundig te zijn), bereikte het ensemble een nauwkeurigheid van 98,2%.
• Robuustheid tegen Oppervlaktekenmerken: Wanneer verwijzingen naar "MathWorld" uit de promptcontext werden verwijderd, daalde de nauwkeurigheid met slechts ~1 procentpunt, wat aangeeft dat de modellen vertrouwen op semantische inhoud in plaats van database-identificatoren als shortcuts.
• Negatieve Controle: Op een steekproef van 500 natuurkundige concepten classificeerde het ensemble 86% correct als niet-wiskundig. De weinige items die als wiskundig werden geclassificeerd (4,8%), werden geïdentificeerd als legitieme grensgevallen (bijv. differentiële vergelijkingen, symmetriegroepen) waar natuurkunde en wiskunde overlappen.
• Foutanalyse: De auteurs analyseerden 48 items waarbij het ensemble afweek van de MathWorld-label, en categoriseerden de fouten in drie verschillende typen:
  1. Degeneratieve Beschrijvingen: Items met tautologische of lege beschrijvingen (bijv. "Wiener sausage" beschreven als enkel "mathematical concept") zorgden ervoor dat modellen, met name Gemma, foutief classificeerden op basis van oppervlakkige namen.
  2. Bias door Beperkte Scope: Eén model (Gemma) weigerde regelmatig items met een toegepaste context (bijv. Pauli-matrices in kwantummechanica), waarbij het deze zag als toepassingen in plaats van zuivere wiskunde.
  3. Mismatch in Redactionele Scope: Items die unaniem door de rechters werden afgewezen maar wel in MathWorld aanwezig zijn (bijv. signaalverwerkingstools), suggereren dat de redactionele scope van MathWorld breder is dan de werkingsdefinitie van de rechters van "wiskundig concept".

Betekenis en Claims
Het artikel claimt dat een LLM voting ensemble dient als een praktisch en effectief filter voor ruisgevoelige gegevens over wiskundige concepten die uit Wikidata zijn geïmporteerd. De betekenis van het werk ligt niet in het bereiken van perfecte nauwkeurigheid, maar in het aantonen dat:

• Een zero-shot ensemble-aanpak een hoge betrouwbaarheid (98,2%) kan bereiken zonder gelabelde trainingsdata.
• De specifieke foutmodi van het ensemble scheidbaar en actiegericht zijn. De auteurs identificeren dat de meeste fouten voortkomen uit upstream datakwaliteitsproblemen (degeneratieve beschrijvingen) of definitieverschillen (redactionele scope), in plaats van fundamentele gebreken in de LLM-aanpak.
• Het systeem een feedbackloop biedt waarbij categorisatie-resultaten direct de data-inname verfijnen, wat de kwaliteit van toekomstige imports verbetert.

De auteurs blijven bescheiden en merken op dat de evaluatie vertrouwt op MathWorld-identificatoren als een proxy voor de grondwaarheid (die zelf ruisgevoelig is op de grenzen) en dat de steekproef van 1500 items zonder identificatoren geen grondwaarheid mist voor het berekenen van fout-positieveven. Zij concluderen dat hoewel het ensemble een levensvatbaar filter is, toekomstig werk zich moet richten op het verrijken van degeneratieve beschrijvingen en het verfijnen van de definitie van wiskundige concepten om beter aan te sluiten bij de referentiecorpus.