Technische Samenvatting: Het testen van de validiteit van op embeddings gebaseerde gelijkenis en clustering voor handgeschreven natuurkunde-oplossingen

Probleemstelling

In het natuurkundig onderwijs vereist betekenisvolle beoordeling het analyseren van het oplossingspad—niet alleen het eindantwoord—om conceptueel inzicht, wiskundige modellering en de coördinatie van diagrammen en vergelijkingen te evalueren. Hoewel er geautomatiseerde systemen bestaan, beperken deze vaak de antwoorden tot meerkeuzevragen of gesloten algebraïsche antwoorden, waardoor de breedte van het redeneren van studenten niet wordt gevangen. Handgeschreven oplossingen blijven de gouden standaard voor examens met een hoge inzet, maar zijn arbeidsintensief om op grote schaal te nakijken.

Recente vooruitgang in Large Language Models (LLM's) en tekst-embeddings biedt een computationeel efficiënt alternatief voor het organiseren en vergelijken van grote collecties tekst. Op embeddings gebaseerde methoden brengen tekst in kaart naar hoogdimensionale vectorruimten, waardoor gelijkenissen tussen paren goedkoop berekend kunnen worden via vectoroperaties (bijv. cosinusgelijkenis) in plaats van dure, paargewijze LLM-aanroepen. Er bestaat echter een kritieke validiteitskloof: hoewel embeddings clusters kunnen produceren, is het onduidelijk of de geometrie van de embedding-ruimte beoordelingsrelevante onderscheidende kenmerken behoudt. Specifiek: komt nabijheid in de embedding-ruimte overeen met gelijkenis in door mensen toegekende scores, of groeperen embeddings simpelweg oplossingen op basis van oppervlakkige kenmerken?

Methodologie

De studie evalueerde de validiteit van op embeddings gebaseerde gelijkenis en clustering met behulp van een dataset van 992 handgeschreven student-probleemoplossingen van een examen technische thermodynamica met een hoge inzet aan de ETH Zürich. De methodologie omvatte een meerfasig experimenteel ontwerp:

1. Datapreparatie en Transcriptie

Handgeschreven oplossingen werden getranscribeerd naar tekst met behulp van een multimodale LLM (GPT-5.4) onder vijf verschillende transcriptiecondities om de mate van normalisatie en interpretatie te variëren:

• ASCII Verbatim: Minimale normalisatie; behoudt idiosyncratische notatie en lay-out in gewone ASCII.
• LaTeX-georiënteerd: Wiskundige expressies omgezet naar LaTeX; proza blijft in gewone tekst.
• Formula Narrative: Formules en symbolische stappen genarreerd in natuurlijke taal, waarbij de oorspronkelijke variabelen behouden blijven.
• Solution Narrative: Een beknopte narratieve beschrijving van het zichtbare oplossingsproces van de student, zonder evaluatieve termen te gebruiken.
• Hybrid Structured: Een gestructureerde representatie met vaste koppen (bijv. probleemlabels, formules, diagrammen, ogenschijnlijk methode) die letterlijke inhoud combineert met structurele organisatie.

Cruciaal was dat de transcriptie-prompts het model expliciet verboden om problemen op te lossen, fouten te corrigeren of scores toe te kennen.

2. Generatie van Embeddings

Elk van de vijf tekstuele representaties werd verwerkt met behulp van negen embedding-mechanismen:

• Algemeen doel: OpenAI text-embedding-3-large.
• Jina Embeddings v4: Verschillende adapters (text-retrieval, text-matching) en kwantisatieniveaus (F16, Q8, Q4).
• Wiskunde-gespecialiseerd: Qwen 2.5-Math modellen (1.5B en 7B parameters), waarbij de hidden states van de laatste laag werden gemiddeld (mean-pooled) om vectoren te creëren.

Dit resulteerde in een totaal van 44.640 bruikbare embedding-vectoren (9 mechanismen × 5 representaties × 992 reacties).

3. Evaluatiemetrieken

Door mensen toegekende scores dienden als de externe referentiestandaard, maar werden niet gebruikt tijdens de generatie van embeddings of clustering. Twee primaire analyses werden uitgevoerd:

• Paarsgewijze Gelijkenis: Correlatie (Pearson en Spearman) tussen embedding-gelijkenis en het negatieve absolute verschil in menselijke scores.
• Hiërarchische Clustering: Agglomeratieve clustering (average en complete linkage) werd uitgevoerd op afstandmatrices afgeleid van embeddings. De kwaliteit van de clusters werd gemeten door de gewogen standaarddeviatie van de score binnen de clusters en de dekking van studenten in "nuttige" clusters (grootte ≥ 5).

4. Synthetische Validatie

Een synthetische dataset van uitspraken over de arbeid van een Carnot-motor werd gemaakt om te testen of embeddings clusteren op basis van conceptuele correctheid (foutfamilies) of oppervlakkige formulering (stating-paren). Dit "speelgoed-systeem" maakte een gecontroleerde examinatie mogelijk of embeddings zich gedragen als experts (groeperen op principe) of novicen (groeperen op oppervlakkige kenmerken).

Belangrijkste Resultaten

1. Zwakke Correlatie tussen Embedding en Score-gelijkenis

Over alle modellen en representaties heen vertoonde de embedding-gelijkenis een consistente maar bescheiden relatie met de score-gelijkenis.

• De beste Spearman-correlatie was 0,198 (Hybrid structured + Qwen 7B + cosinusgelijkenis).
• Zelfs de hoogste gelijkenis-percentielen behielden een aanzienlijke scorevariatie; paren met een hoge embedding-gelijkenis hadden niet noodzakelijkerwijs vergelijkbare scores.
• De relatie was niet lineair genoeg om te dienen als een betrouwbare proxy voor beoordelingsequivalentie.

2. Clustering levert Score-verrijkte maar niet Score-equivalente Groepen op

Hiërarchische clustering produceerde groepen die iets homogener waren in score dan willekeurige groeperingen, maar de variatie bleef hoog.

• De beste configuratie (Formula narrative + Jina Retrieval Q8 + gecentreerde cosinus + complete linkage) bereikte een gewogen standaarddeviatie van de score binnen nuttige clusters van 2,547 punten.
• Het scorebereik binnen deze "beste" clusters was ongeveer 7 tot 9 punten, wat aangeeft dat clusters een brede mix van prestatieniveaus bevatten.
• Impact van Transcriptie: Narratieve en gestructureerde representaties presteerden over het algemeen beter dan letterlijke (ASCII/LaTeX) transcripties, wat suggereert dat het omzetten van symbolisch werk in semantisch expliciete tekst de embeddings helpt om enige beoordelingsrelevante structuur te vangen.
• Impact van Model: Verschillen tussen embedding-mechanismen waren marginaal; geen enkel model presteerde beslissend beter dan de anderen over alle condities heen.

3. Het "Novice" Gedrag van Embeddings

De analyse van de synthetische data onthulde een cruciale beperking: embeddings neigden uitspraken te clusteren op basis van oppervlakkige formulering in plaats van conceptuele correctheid.

• In de force-directed layouts clusterden correcte uitspraken en hun foutieve varianten (die dezelfde woordpatronen delen) bij elkaar.
• Daarentegen werden uitspraken die dezelfde conceptuele fout deelden maar een andere formulering hadden, vaak van elkaar gescheiden.
• Dit gedrag weerspiegelt de "novice" categorisatiestijl in het natuurkundig onderwijs (groeperen op oppervlakkige kenmerken) in plaats van de "expert" stijl (groeperen op onderliggende principes).

Betekenis en Claims

Het paper concludeert dat state-of-the-art tekst-embeddings geen gevalideerde, ongesuperviseerde basis bieden voor het nakijken van handgeschreven natuurkunde-oplossingen.

• Validiteitsbeperking: Hoewel de embedding-geometrie "score-verrijkt" is (bevat een bepaald signaal gerelateerd aan menselijke scores), is het niet "score-equivalent". Hoge embedding-gelijkenis impliceert geen beoordelingsequivalentie.
• Rol in Beoordeling: Embeddings zijn geschikt voor exploratieve organisatie, zoals het doorzoeken van grote respons-sets, het selecteren van exemplaren, het identificeren van ongebruikelijke oplossingen of het ondersteunen van human-in-the-loop review workflows. Ze zijn niet voldoende voor autonome beoordeling zonder externe validatie tegen de specifieke beoordelingsconstruct.
• Oppervlakte versus Concept: De studie suggereert dat huidige embedding-mechanismen zich als novicen gedragen, sterk beïnvloed door oppervlakkige kenmerken (notatie, lay-out, formulering) in plaats van de diepe conceptuele structuur die vereist is voor natuurkunde-beoordeling.
• Toekomstige Richting: De auteurs stellen dat rubric-bewuste LLM-beoordelingen of confidence-gefilterde human-in-the-loop systemen veelbelovender zijn dan het louter vertrouwen op ongesuperviseerde embedding-geometrie. De studie benadrukt dat clusteringresultaten moeten worden behandeld als hypothesen voor menselijke inspectie in plaats van definitieve beoordelingscategorieën.