Synthetic Student Responses: LLM-Extracted Features for IRT Difficulty Parameter Estimation

Technische Samenvatting: Synthetische Studentenrespons voor IRT-moeilijkheidschatting

Probleemstelling
De ontwikkeling van educatieve assessments staat voor een aanzienlijke flessenhals: het bepalen van de moeilijkheidsgraad van nieuwe vragen vereist traditioneel tijdrovende pre-testen met echte studenten, gevolgd door statistische analyse (Item Response Theory, of IRT). Dit proces creëert vertragingen en kosten die docenten en ontwikkelaars van grootschalige assessments hinderen. Hoewel bestaand onderzoek probeert moeilijkheid direct uit tekst te voorspellen met behulp van machine learning, behandelen de meeste benaderingen dit als een direct regressieprobleem, waarbij het fundamentele mechanisme van hoe moeilijkheidsgraad in de praktijk wordt vastgesteld — namelijk door patronen in studentenresponsen — wordt omzeild. Bovs wordt er vaak vertrouwd op conventionele linguïstische kenmerken of embeddings, waardoor het potentieel van Large Language Models (LLMs) om diepe pedagogische inzichten te extraheren onderbenut wordt.

Methodologie
De auteurs stellen een tweefasige aanpak voor die het studentenrespons-proces simuleert om moeilijkheidsparameters af te leiden zonder nieuwe studententesten.

1. Data en Feature Engineering:

   • Dataset: De studie maakt gebruik van een dataset van Zapien, een adaptief wiskundig platform in Chili, die 251.851 studentenresponsen bevat voor 4.696 unieke wiskundevragen.
   • Benchmark: De grondwaarheid (ground truth) voor de moeilijkheidsparameters werd vastgesteld met behulp van een 1-Parameter Logistic (1PL) IRT-model op de volledige dataset.
   • Feature Extractie: Het model integreert vijf databronnen:
     • Vraagtekst Embeddings: Contextuele vectoren gegenereerd door ModernBERT, die de probleemstelling en antwoordopties combineren.
     • Linguïstische/Structurele Kenmerken: Metrieken zoals het aantal woorden, de aanwezigheid van LaTeX en de gelijkenis tussen opties.
     • LLM-geëxtraheerde Pedagogische Kenmerken: Met behulp van Google's Gemini-modellen extraheert het systeem complexe attributen, waaronder het aantal oplossingsstappen, niveaus van Bloom's Taxonomie, potentiële misconcepties, cognitieve complexiteit en de plausibiliteit van distractoren.
     • Student Embeddings: Een geleerd 8-dimensionaal vector voor elke student om individuele bekwaamheidsprofielen te vangen.

2. Fase 1: Neuraal Netwerk voor Correctheidspredictie:
   Een neuraal netwerk wordt getraind om de waarschijnlijkheid te voorspellen dat een specifieke student een specifieke vraag correct beantwoordt. De architectuur concateneert student embeddings, vraagtekst embeddings en de geëngineerde feature vectoren (verwerkt via dense lagen met ReLU-activatie en dropout). De output is een waarschijnlijkheidsscore voor elk student-vraag paar.

3. Fase 2: IRT Parameter Schatting:
   Het getrainde model wordt toegepast op een holdout-set van 470 ongeziene vragen. Het genereert een "synthetische" responsmatrix door te voorspellen hoe de 1.875 studenten uit de trainingsdata deze nieuwe vragen zouden beantwoorden. Deze waarschijnlijkheidsoutputs worden gebinariseerd (getreshold bij 0,5) om correcte/incorrecte uitkomsten te simuleren. Een 1PL IRT-model wordt vervolgens gefit aan deze synthetische matrix om de moeilijkheidsparameters ($\beta$) voor de ongeziene vragen te schatten.

Belangrijkste Resultaten

• Voorspellingsnauwkeurigheid: Het neurale netwerk behaalde een F1-score van 0,8350 en een AUC-ROC van 0,7789 in het voorspellen van de correctheid van studenten op de holdout-set.
• Moeilijkheidsschatting: De afgeleide moeilijkheidsparameters vertoonden een Pearson-correlatie van 0,7791 en een Spearman rangcorrelatie van 0,7606 met de benchmark-parameters berekend uit echte studentendata.
• Feature Ablatie:
  • Modellen die alleen tekst embeddings gebruikten, bereikten een Pearson-correlatie van ~0,68.
  • Het toevoegen van traditionele linguïstische en structurele kenmerken leverde een verwaarloosbare verbetering op.
  • De inclusie van LLM-geëxtraheerde pedagogische kenmerken was de cruciale factor, wat de correlatie verhoogde naar ~0,78. Dit suggereert dat AI-afgeleide inzichten in cognitieve belasting en oplossingscomplexiteit meer voorspellend zijn voor moeilijkheid dan oppervlakkige tekstmetrieken.
• Efficiëntie: Een op RMSE gebaseerde efficiëntie-evaluatie toonde aan dat de nauwkeurigheid van het model (RMSE van 1,1857) vergelijkbaar is met een traditionele 1PL IRT-analyse met ongeveer 5.818 echte studentenresponsen (ongeveer 22,8% van de beschikbare data voor die items).

Betekenis en Claims
Het artikel claimt dat het mogelijk is om IRT-moeilheidsparameters nauwkeurig te schatten zonder nieuwe studentenpre-tests uit te voeren door het studentenrespons-proces te modelleren. De primaire bijdrage is de demonstratie dat het combineren van semantische embeddings met LLM-geëxtraheerde pedagogische kenmerken (zoals oplossingsstappen en misconcepties) aanzienlijk beter presteert dan traditionele tekstgebaseerde benaderingen.

De auteurs beargumenteren dat deze simulatie-gebaseerde aanpak een meer interpreteerbaar en robuust alternatief biedt voor directe regressie, omdat het de werkelijke educatieve processen weerspiegelt waarbij moeilijkheid voortkomt uit patronen in studentenprestaties. De studie suggereert dat deze methode de middelenlast en de tijd die nodig is voor het ontwikkelen van hoogwaardige assessments aanzienlijk kan verminderen, terwijl de psychometrische validiteit behouden blijft.

Beperkingen
De auteurs erkennen enkele beperkingen:

• Generaliseerbaarheid: De data is specifiek voor de Chileense educatieve context, wat de toepasbaarheid op andere regio's kan beperken.
• LLM Stabiliteit: De probabilistische aard van LLM's introduceert potentiële variabiliteit in feature extractie, ondanks aggregatiestrategieën.
• Interpreteerbaarheid: Het neurale netwerk fungeert als een "black box", waardoor het moeilijk is om de bijdrage van specifieke kenmerken definitief te isoleren buiten de ablatiestudie.
• Gevoeligheid: Resultaten kunnen variëren op basis van de specifieke LLM-leverancier en de gebruikte inference-parameters.