Transparent AI for Mathematics: Transformer-Based Large Language Models for Mathematical Entity Relationship Extraction with XAI

Deze studie presenteert een transparant AI-kader voor wiskundige entiteitsrelatie-extractie (MERE) dat transformer-modellen, met name BERT met een nauwkeurigheid van 99,39%, combineert met SHAP-gebaseerde uitlegbaarheid om betrouwbare inzichten te bieden in de interpretatie van wiskundige tekst.

De kern

Wiskunde voor iedereen: Hoe een slimme computer leest wat je denkt

Stel je voor dat je een wiskundige opgave leest, zoals: "Een man koopt tien mango's en verdeelt ze gelijk over vijf kinderen." Voor een mens is het duidelijk: dit gaat over delen. Maar voor een computer is dit een raadsel. Het ziet alleen woorden en cijfers, zonder te snappen dat "verdelen" en "gelijk" een wiskundige operatie aanduiden.

Deze paper beschrijft hoe onderzoekers een slimme computer hebben getraind om precies dit te doen: wiskundige problemen lezen en begrijpen, alsof het een slimme leraar is. En het allerbelangrijkste? Ze hebben de computer ook "eerlijk" gemaakt, zodat we precies kunnen zien waarom hij een antwoord geeft.

Hier is hoe het werkt, in gewone taal:

1. Het Grote Raadsel: Woorden in Wiskunde

Wiskundige teksten zijn vaak lastig voor computers. Ze zitten vol met speciale termen (zoals "wortel trekken" of "faculteit") en complexe relaties.

• De Analogie: Stel je voor dat wiskundige teksten een vreemde taal zijn. De "operatoren" (zoals +, -, : , ×) zijn de werkwoorden, en de "operanden" (de getallen of hoeveelheden) zijn de onderwerpen.
• Het Doel: De onderzoekers wilden een computer bouwen die deze vreemde taal kan vertalen naar een logisch verband. Ze noemen dit MERE: het extraheren van relaties tussen wiskundige entiteiten. Kortom: de computer moet zien wie de "vrienden" zijn in de zin en wat ze met elkaar doen.

2. De Superheld: BERT (De Lezende Robot)

Om dit te doen, gebruikten ze een heel slimme technologie genaamd BERT.

• De Analogie: BERT is als een superleesclub die miljoenen boeken heeft gelezen. Het is een "transformator" (een type AI) die niet alleen van links naar rechts leest, maar ook van rechts naar links. Hierdoor begrijpt het de context perfect.
• Wat deden ze? Ze gaven BERT duizenden wiskundige zinnen en lieten hem oefenen om te raden: "Is dit optellen, aftrekken, vermenigvuldigen, delen, een wortel of een faculteit?"
• Het Resultaat: De computer werd zo goed, dat hij in 99,39% van de gevallen het juiste antwoord gaf. Dat is bijna net zo goed als een menselijke wiskundeleraar!

3. Het "Zwarte Doos"-Probleem en de Magische Lantaarn

Vaak werken deze slimme computers als een zwarte doos. Je geeft een vraag in, en je krijgt een antwoord, maar je weet niet hoe de computer tot dat antwoord kwam. Dat is eng voor mensen: "Kan ik dit vertrouwen?"

Om dit op te lossen, gebruikten de onderzoekers een techniek genaamd SHAP (een vorm van "Uitlegbare AI" of XAI).

• De Analogie: Stel je voor dat de computer een detective is die een zaak oplost. SHAP is als een magische lantaarn die op het moment van het antwoord schijnt.
  • Als de computer zegt: "Dit is delen!", dan verlicht de lantaarn de woorden in de zin.
  • Rood licht: Woorden die de computer hielpen om het juiste antwoord te kiezen (zoals "verdelen" of "elk kind").
  • Blauw licht: Woorden die de computer juist niet als bewijs gebruikte.
• Waarom is dit cool? Hierdoor kunnen we zien dat de computer echt begrijpt dat "verdelen" betekent dat je moet delen, en niet zomaar raadt. Het maakt de computer eerlijk en transparant.

4. Wat hebben ze ontdekt?

De onderzoekers keken naar de "magische lantaarn" en zagen interessante dingen:

• Voor wortels (zoals √) en delen is de computer heel zeker. Woorden als "wortel", "vierkant" of "verdelen" zijn zo sterk dat de computer ze bijna nooit verwarren.
• Voor optellen en aftrekken is het lastiger. De computer moet naar meer context kijken (zoals "totaal" of "minder"), omdat deze woorden vaker voorkomen in andere zinnen.
• De computer leert dus niet alleen uit het hoofd, maar begrijpt de betekenis van de zinnen.

5. Waarom is dit belangrijk?

Dit onderzoek is niet alleen leuk voor wiskundigen, maar heeft grote gevolgen voor de toekomst:

• Slimme Onderwijsapps: Denk aan apps die niet alleen het antwoord geven, maar ook uitleggen waarom het antwoord klopt, gebaseerd op wat de computer in de tekst zag.
• Automatisch Controleren: Het kan helpen bij het controleren van complexe wiskundige bewijzen in wetenschappelijke papers.
• Vertrouwen: Omdat we kunnen zien hoe de computer denkt (dankzij de SHAP-lantaarn), vertrouwen we hem meer.

Conclusie

Kortom, deze paper laat zien dat we computers niet alleen slim kunnen maken om wiskunde te "rekenen", maar ook om wiskunde te "lezen" en te "begrijpen". En door de computer een spiegel voor te houden (met SHAP), zorgen we ervoor dat hij geen zwarte doos blijft, maar een transparante partner wordt in het leren en ontdekken van wiskunde.

Het is alsof we de computer een bril hebben opgezet, zodat hij de wereld van wiskunde niet alleen ziet, maar ook begrijpt en ons kan uitleggen wat hij ziet.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Transparent AI for Mathematics: Transformer-Based Large Language Models for Mathematical Entity Relationship Extraction with XAI", vertaald en samengevat in het Nederlands.

Titel: Transparante AI voor Wiskunde: Transformer-gebaseerde Large Language Models voor Wiskundige Entiteitsrelatie-extractie met XAI

1. Probleemstelling

Het begrijpen van wiskundetekst is een uitdagende taak voor kunstmatige intelligentie vanwege de aanwezigheid van gespecialiseerde entiteiten (zoals getallen en variabelen) en complexe relaties tussen deze entiteiten (operatoren). Traditionele systemen hebben moeite om de brug te slaan tussen natuurlijke taal en wiskundige notatie.
De kernvraag is hoe men wiskundige problemen kan interpreteren als een Mathematical Entity Relation Extraction (MERE)-taak. Hierbij worden operanden behandeld als entiteiten en operatoren als de relaties tussen hen. Een specifiek probleem is het gebrek aan transparantie ("black-box" aard) bij complexe deep learning-modellen, wat het vertrouwen in geautomatiseerde systemen voor onderwijs en onderzoek beperkt.

2. Methodologie

De auteurs stellen een end-to-end framework voor dat bestaat uit drie hoofdfasen:

• Dataverzameling en Preprocessing:

  • De dataset is samengesteld uit twee bronnen: Bangla MER (voor wiskundige entiteitsherkenning) en Somikoron (voor wiskundige uitspraken).
  • Er zijn 3.284 unieke wiskundige uitspraken geselecteerd en gelabeld met zes relaties: Optellen, Aftrekken, Vermenigvuldigen, Delen, Worteltrekken en Faculteit.
  • Preprocessing: Ruwe tekst wordt schoongemaakt (verwijderen van leestekens), stopwoorden worden verwijderd, en er wordt lemmatisatie en stemming toegepast om tokens te reduceren. Getallen als "vijfduizend en veertig" worden behandeld als één enkele entiteit.

• Modelbouw en Training:

  • Verschillende transformer-architecturen (BERT, ELECTRA, RoBERTa, ALBERT, DistilBERT, XLNet) worden getest.
  • BERT (Bidirectional Encoder Representations from Transformers) wordt gekozen als het beste model. Het model wordt fijngefineerd (fine-tuned) op de specifieke MERE-taak.
  • De input bestaat uit wiskundige tekst die wordt getokeniseerd, waarna een volledig verbonden laag (fully connected layer) en een Softmax-laag de relatieklasse voorspellen.
  • Hyperparameters (zoals learning rate, batch size, max lengte) worden geoptimaliseerd.

• Explainable AI (XAI) met SHAP:

  • Om het model transparant te maken, wordt SHAP (Shapley Additive Explanations) geïntegreerd.
  • SHAP berekent de bijdrage van elk input-token (woord) aan de uiteindelijke voorspelling. Dit helpt te begrijpen welke woorden (bijv. "gedeeld", "wortel", "plus") het meest bepalend zijn voor de classificatie van een relatie.
  • Dit verlegt de focus van een "black-box" naar een interpreteerbaar model.

3. Belangrijkste Bijdragen

1. Nieuwe Benadering: Het formuleren van wiskundige probleemoplossing als een entiteitsrelatie-extractieprobleem, waarbij operatoren worden gezien als relaties tussen entiteiten.
2. Specifieke Dataset: Het creëren en publiceren van een op maat gemaakt dataset voor wiskundige relatie-extractie in het Engels, gebaseerd op bestaande bronnen maar specifiek gelabeld voor deze taak.
3. Transparante AI: Het integreren van SHAP in een transformer-based model voor wiskundige tekst, wat inzicht geeft in feature-importance en modelgedrag.
4. State-of-the-Art Prestaties: Het aantonen dat BERT superieur is aan andere transformer-modellen voor deze specifieke taak.

4. Resultaten

• Prestaties: Het BERT-model bereikte een nauwkeurigheid (accuracy) van 99,39%. De micro- en macro-average F1-scores waren respectievelijk 99,36% en 99,27%. Dit is significant hoger dan de andere geteste modellen (zoals RoBERTa en XLNet, die rond de 97% bleven).
• Confusiematrix: De analyse toonde aan dat de meeste relaties perfect worden voorspeld. De meeste fouten (misclassificaties) kwamen voor bij de relatie "Optellen" (verward met "Aftrekken") en "Delen" (verward met "Vermenigvuldigen").
• XAI-analyse (SHAP):
  • De SHAP-plots bevestigden dat het model leert op basis van semantische aanwijzingen in plaats van alleen getallen.
  • Voor specifieke operaties zijn specifieke sleutelwoorden cruciaal: "root" en "square" voor worteltrekken, "divided" en "equally" voor delen.
  • Voor complexere operaties zoals optellen en aftrekken is het model afhankelijk van een bredere context van woorden (zoals "totaal", "meer", "minder").
  • De analyse toonde aan dat het model geen "black box" is, maar dat de voorspellingen logisch kunnen worden verklaard door de bijdrage van specifieke woorden.

5. Betekenis en Toekomstperspectief

• Toepassingen: Dit werk legt de basis voor geautomatiseerde wiskundige probleemoplossing, het bouwen van kennisgrafieken voor wiskundige content, en intelligente educatieve systemen die uitleg kunnen geven bij hun antwoorden.
• Vertrouwen: Door XAI toe te passen, wordt vertrouwen gewekt in geautomatiseerde systemen, wat essentieel is voor toepassingen in het onderwijs en wetenschappelijk onderzoek.
• Beperkingen en Toekomst: Huidige beperkingen zijn de eenvoud van de dataset (alleen basisbewerkingen) en de rekenkracht die nodig is voor BERT en SHAP tegelijkertijd. Toekomstig werk zal zich richten op complexere wiskundige domeinen (algebra, calculus), langere sequenties en het optimaliseren van het model voor efficiëntie.

Conclusie:
Deze studie bewijst dat transformer-gebaseerde modellen, specifiek BERT, uitzonderlijk goed zijn in het extraheren van relaties uit wiskundige tekst. Door deze modellen te combineren met SHAP, creëren de auteurs een robuust en transparant systeem dat niet alleen hoge nauwkeurigheid biedt, maar ook inzichtelijk maakt waarom een bepaalde wiskundige relatie wordt geïdentificeerd.