🔬 physics

Evaluating NLP Embedding Models for Handling Science-Specific Symbolic Expressions in Student Texts

Deze studie evalueert de prestaties van diverse NLP-embeddingmodellen op natuurkundespecifieke symbolische expressies in teksten van studenten, waarbij wordt onthuld dat hoewel OpenAI's GPT-text-embedding-3-large andere modellen overtreft, onderzoekers zorgvuldig modellen moeten selecteren om bias te voorkomen en nauwkeurigheid te waarborgen bij het analyseren van wetenschappelijke taal die vergelijkingen bevat.

Oorspronkelijke auteurs: Tom Bleckmann, Paul Tschisgale

Gepubliceerd 2026-08-11

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Tom Bleckmann, Paul Tschisgale

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren begrijpen wat studenten denken. Je overhandigt de robot een stapel essays, maar dit zijn niet zomaar essays over geschiedenis of verhalen; ze gaan over natuurkunde. In de natuurkunde is de taal een vreemde mix van gewone woorden en een geheime code gemaakt van symbolen, zoals $E=mc^2$ of $F=ma$. Deze symbolen zijn de "specerijen" van het gerecht; zonder hen valt de betekenis van de zin uit elkaar. Als een student schrijft: "De energie is behouden," is dat oké, maar als ze schrijven " $E = \text{const}$ ", dan is dat de precieze wetenschappelijke waarheid.

Om de robot te helpen deze essays te lezen, gebruiken wetenschappers speciale digitale hulpmiddelen die "embedding models" worden genoemd. Denk aan deze modellen als een enorme, onzichtbare bibliotheek waar elk woord, elke zin of elk symbool een unieke ID-kaart krijgt. De truc is dat de bibliotheek zo is ingericht dat dingen met een vergelijkbare betekenis vlak naast elkaar staan. Als je een kaart hebt voor "hond" en een kaart voor "puppy", zijn zij buren. Als je een kaart hebt voor "appeltaart", zit je in een heel andere gang. Het doel is om te zien of deze digitale bibliothecarissen kunnen uitzoeken of een natuurkundige formule vlak naast het concept staat dat het vertegenwoordigt, zelfs als de formule er voor een mens die de code niet kent uitziet als een rommel van letters en wiskundige tekens. Dit is belangrijk omdat als de robot in de war raakt door de wiskundige symbolen, hij kan denken dat een briljante student gewoon aan het gokken is, of hij kan een kernidee volledig missen.

De Grote Symbolische Confrontatie

In dit onderzoek besloten twee onderzoekers, Tom en Paul, de digitale bibliothecarissen op de proef te stellen. Ze wilden zien welke "embedding model" het beste was in het begrijpen van natuurkundige formules die verborgen zitten in essays van studenten. Ze verzamelden 100 echte voorbeelden van symbolen geschreven door Duitse studenten—dingen zoals " $m \cdot g \cdot h = 1/2 \cdot m \cdot v^2$ "—en vroegen zes verschillende AI-modellen om er betekenis aan te geven.

Om de modellen te testen, speelden ze een matchingsspel. Ze gaven de modellen een natuurkundig symbool (zoals een formule voor energie) en vroegen het model vervolgens om de "beste vriend" te vinden in een lijst met tekstopties. De lijst bevatte:

De Correcte Vertaling: Een gewone Engelse zin die de formule uitlegt.
De Foutieve Vertaling: Een zin die er vergelijkbaar uitziet, maar de betekenis fout weergeeft.
Het Juiste Concept: Het eigenlijke natuurkundige idee dat de formule vertegenwoordigt (zoals "behoud van energie").
Het Verkeerde Concept: Een natuurkundig idee dat gerelateerd is, maar niet het juiste is (zoals "behoud van impuls").
De Wildcard: Een volkomen willekeurige zin over een "recept voor appeltaart" om te zien of het model totaal in de war raakt.

Ze maten hoe goed de modellen presteerden door te controleren of de "correcte" matches dichter bij elkaar lagen in de digitale bibliotheek dan de "foutieve" matches. Ze probeerden deze modellen ook te gebruiken om een grote stapel antwoorden van studenten (meer dan 3.000) te beoordelen, om te zien of de keuze van het model de uiteindelijke cijfers zou veranderen.

De Resultaten: Wie Won de Race?

De resultaten waren duidelijk, hoewel het geen totale overmacht was. Eén model, GPT-text-embedding-3-large (een krachtig hulpmiddel van OpenAI), kwam consequent als winnaar uit de bus. Het was het beste in het beseffen dat een natuurkundige formule en de correcte Engelse uitleg ervan "beste vrienden" zijn. In het matchingsspel had het ongeveer 91% van de tijd het juiste antwoord bij het vergelijken van correcte versus incorrecte vertalingen, en 83% van de tijd voor concepten.

De paper waarschuwt echter dat dit geen "beslissende" overwinning was. De kloof tussen de winnaar en de andere modellen was "matig". Sommige andere modellen, zoals de Duits-specifieke modellen, deden het redelijk, maar een paar anderen hadden grote moeite. Zo presteerde een model dat specifiek voor natuurwetenschappelijk onderwijs was getraind, in sommige tests zelfs slechter dan willekeurig gokken, wat suggereert dat alleen trainen op wetenschappelijke woorden niet genoeg is als het model niet heeft geleerd hoe het met de symbolen zelf moet omgaan.

Toen ze de modellen testten op de grote taak van het beoordelen van 3.322 antwoorden van studenten, behield de winnaar de kroon. Het beste model verbeterde de beoordelingsnauwkeurigheid met 0,16 punten vergeleken met het slechtste model. Hoewel dat getal klein klinkt, leggen de auteurs uit dat in een echte school met duizenden studenten dat kleine verschil er toe kan leiden dat er ongeveer 1.600 extra antwoorden uit 10.000 correct worden beoordeeld. Dat zijn veel studenten die de juiste feedback krijgen!

De Addertjes en de Toekomst

De onderzoekers wezen ook op een aantal belangrijke "maar". Ten eerste is het winnende model een "proprietary" (eigendom) hulpmiddel, wat betekent dat het geld kost om te gebruiken en op de server van een bedrijf leeft, niet op je eigen computer. Dit roept vragen op over kosten en privacy voor scholen. Ten tweede keek de studie alleen naar natuurkunde. We weten niet of deze modellen chemische formules of complexe wiskundige symbolen net zo goed zouden afhandelen.

Ten slotte merken de auteurs op dat hun test eigenlijk een "worst-case scenario" was. Ze testten de modellen op symbolen zonder de omliggende zinnen. In het echte leven schrijven studenten volledige paragrafen, wat de modellen meer aanwijzingen geeft. De modellen kunnen in de echte wereld dus nog beter zijn dan deze studie heeft aangetoond.

De essentie? Als je een systeem bouwt om wetenschappelijke essays te beoordelen, kun je niet zomaar een willekeurig teksthulpmiddel pakken. Je moet er een kiezen die de wiskunde kan lezen, anders geef je per ongeluk een onvoldoende aan een student die de les eigenlijk perfect begreep. De studie suggereert dat hoewel de huidige beste tools goed zijn, we nog steeds betere, gratis en openbare tools moeten boueren die de geheime code van de wetenschap net zo goed kunnen hanteren als de woorden zelf.

Technische Samenvatting: Evaluatie van NLP-embeddingmodellen voor wetenschapsspecifieke symbolische expressies

Probleemstelling
Natural Language Processing (NLP) embeddingmodellen zijn standaardinstrumenten geworden in educational data mining voor het transformeren van studententekst naar numerieke vectoren om semantische inhoud te vangen. Er bestaat echter een aanzienlijke kloof in het verwerken van wetenschappelijke taal, die frequent symbolische expressies (formules, vergelijkingen, standaardnotaties) combineert met natuurlijke taal. Huidige embeddingmodellen, die primair zijn getraind op algemene tekstcorpora, hebben moeite met het verwerken van deze gemengde inputs. Bestaand onderzoek negeert deze uitdaging vaak of verwijdert symbolische expressies volledig, wat het risico op vertekende bevindingen en verminderde prestaties in automatische beoordeling met zich meebrengt. Specifiek is er een gebrek aan empirisch begrip over hoe hedendaagse embeddingmodellen verschillen in hun vermogen om natuurkundespecifieke symbolische expressies te interpreteren zoals ze voorkomen in authentieke, ongecureerde studentresponsen, inclusclusief variaties in notatie.

Methodologie
De studie maakt gebruik van twee complementaire benaderingen om zes NLP-embeddingmodellen (inclusief Duits-specifieke, meertalige, open-source en propriëtaire modellen) te evalueren met behulp van een corpus van $N=100$ symbolische expressies geëxtraheerd uit authentieke Duitse studentresponsen bij natuurkundetaken (conceptmapping en probleemoplossing).

Gelijkenis-gebaseerde analyse:
- Dataconstructie: Voor elke symbolische expressie ( $SE_i$ ) werden vijf categorieën tekstparen gemaakt: (1) Correcte letterlijke vertalingen ($LT$), (2) Incorrecte letterlijke vertalingen ($ILT$), (3) Correcte gerelateerde concepten ($RC$), (4) Incorrecte gerelateerde concepten ($IRC$), en (5) Off-topic verklaringen ($OT$).
- Metriek: Cosinus-gelijkenis werd berekend tussen de embedding van de symbolische expressie en de embeddings van de gekoppelde tekstcategorieën.
- Statistische evaluatie:
  - ROC-curves: Receiver Operating Characteristic-curves en Area Under the Curve (AUC)-scores werden berekend om het vermogen van de modellen te kwantificeren om correcte en incorrecte paren te onderscheiden (bijv. $LT$ vs. $ILT$).
  - Paarsgewijze vergelijking: Een gepaarde eenzijdige Wilcoxon signed-rank test werd gebruikt om te bepalen of de gelijkenisscores voor correcte paren significant hoger waren dan voor incorrecte paren. Effectgroottes werden gemeten met behulp van de gematchte-paren rang biseriale correlatiecoëfficiënt.
Integratie in Machine Learning-pipeline:
- Taak: Een gesuperviseerde classificatietaak met behulp van een Support Vector Machine (SVM) om studentproposities (concept A – verbindingszin – concept B) te categoriseren in vier kwaliteitsniveaus (fout, oppervlakkig, eenvoudig, gedetailleerd).
- Variabele: Het NLP-embeddingmodel werd gevarieerd terwijl de classifier (SVM) en de data (3.322 proposities, waarvan 17% symbolische expressies bevat) constant bleven.
- Metriek: Classificatieprestaties werden gemeten met behulp van Cohen's $\kappa$ , waarbij de resultaten voor puur tekstuele responsen werden vergeleken met responsen die symbolische expressies bevatten.

Belangrijkste Resultaten

Modelprestatie-hiërarchie: OpenAI's GPT-text-embedding-3-large presteerde consistent beter dan alle andere modellen in beide evaluatiebenaderingen.
- In de gelijkenis-gebaseerde analyse behaalde het de hoogste AUC-scores voor het onderscheiden van correcte van incorrecte letterlijke vertalingen ($AUC = 0,73$) en gerelateerde concepten ($AUC = 0,74$).
- In de instantie-gebaseerde vergelijking identificeerde het in 91% van de gevallen de hogere gelijkenis van correcte paren voor $LT$ vs. $ILT$ en 83% voor $RC$ vs. $IRC$, met hoge statistische significantie ( $p < 0,001$ ).
Prestaties van andere modellen:
- GPT-text-embedding-ada-002 en German Semantic STS V2 vertoonden een matige prestatie, significant beter dan willekeurig gokken in sommige vergelijkingen, maar inferieur aan het topmodel.
- G-SciEdBERT (fijn afgestemd voor wetenschapsonderwijs) en Gbert-large presteerden slecht en faalden vaak om correcte van incorrecte paren significant beter te onderscheiden dan door toeval. Opvallend genoeg vertaalde de wetenschapsspecifieke fine-tuning zich niet naar een betere behandeling van symbolische expressies.
- Verschillende open-source modellen presteerden dicht bij willekeurig gokken ( $AUC \approx 0,50$ ) bij het onderscheiden van correcte van incorrecte gerelateerde concepten.
Impact op classificatie: In de machine learning-pipeline leverde GPT-text-embedding-3-large de hoogste Cohen's $\kappa$ op. Het prestatieverschil was het meest uitgesproken voor responsen met symbolische expressies, waar het topmodel het zwakste model overtrof met $\Delta\kappa = 0,16$ . Voor puur tekstuele responsen was de $\Delta\kappa = 0,22$ .

Significantie en Claims
Het artikel beweert dat hoewel het prestatievoordeel van het beste model (GPT-text-embedding-3-large) "matig in plaats van beslissend" is, het praktisch significant is voor grootschalige educatieve toepassingen. Een verschil van 0,16 in Cohen's $\kappa$ kan resulteren in de correcte classificatie van honderden extra studentresponsen in grote datasets, wat de kwaliteit van automatische feedback direct beïnvloedt.

De studie onderstreept dat:

Selectie Matters: Onderzoekers en praktijkbeoefenaars moeten embeddingmodellen zorgvuldig selecteren wanneer zij werken met wetenschappelijke taal, aangezien standaardmodellen of zelfs wetenschappelijk gefinetunede open-source modellen kunnen falen in het vatten van de semantiek van symbolische expressies.
Trade-offs Bestaan: Hoewel propriëtaire modellen momenteel superieure prestaties bieden, brengt het gebruik ervan afwegingen met zich mee wat betreft kosten, gegevensprivacy en afhankelijkheid van externe leveranciers.
Behoefte aan Gespecialiseerde Modellen: Er is een dringende behoefte aan open-source embeddingmodellen die expliciet zijn getraind op wetenschappelijke teksten om symbolische expressies robuust te kunnen verwerken, in plaats van te vertrouwen op algemeen taalbegrip.
Ondergrens Schatting: De gerapporteerde prestatie-indicatoren vertegenwoordigen een ondergrens-schatting, aangezien de studie bewust contextuele informatie wegliet om de inherente capaciteiten te testen; de prestaties in real-world applicaties met volledige zinscontext kunnen hoger zijn.

De auteurs concluderen dat het voorgestelde evaluatiekader een geschikte basis biedt voor het benchmarken van toekomstige embeddingmodellen, inclusief de komende generaties van grote aanbieders, en voor het sturen van hun toepassing in data mining-contexten die wetenschappelijke taal bevatten.

De Grote Symbolische Confrontatie

De Resultaten: Wie Won de Race?

De Addertjes en de Toekomst

Meer zoals dit