Using an LLM to Investigate Students' Explanations on Conceptual Physics Questions

Technische Samenvatting: Het gebruik van een LLM om de verklaringen van studenten te onderzoeken bij conceptuele natuurkundevragen

Probleemstelling
Op onderzoek gebaseerde meerkeuze (MC) toetsen, zoals de Energy and Momentum Conceptual Survey (EMCS), zijn standaardinstrumenten voor het evalueren van conceptueel begrip in de natuurkunde vanwege hun schaalbaarheid. De auteurs betogen echter dat MC-formaten aanzienlijke beperkingen hebben: ze brengen de diverse manieren waarop studenten redeneren over natuurkundige concepten niet aan het licht, onthullen niet welke specifieke conceptuele bronnen studenten activeren, en kunnen onbedoeld verkeerde associaties versterken door herhaalde blootstelling aan afleiders. Hoewel open-ended schriftelijke antwoorden diepere pedagogische inzichten bieden, is het beoordelen ervan op grote schaal (bijvoorbeeld in cursussen met $N > 1.000$) prohibitief arbeidsintensief en vatbaar voor inconsistenties. De studie adresseert de behoefte aan een schaalbare, consistente methode om de schriftelijke verklaringen van studenten te beoordelen om deze onderliggende conceptuele bronnen te identificeren.

Methodologie
De studie werd uitgevoerd in een eerste-semester natuurkundecursus op basis van calculus aan een grote Amerikaanse universiteit, waarbij 1.131 studenten betrokken waren. De onderzoekers administreerden de EMCS als pre-test en post-test. Voor de post-test werden drie specifieke vragen (Q05, Q16 en Q23) omgezet van hun oorspronkelijke MC-formaat naar open-ended schriftelijke prompts. Deze vragen werden geselecteerd op basis van literatuur die lage winsten op de post-test en slechte prestaties aangeeft, wat suggereert dat studenten op deze items vaak onproductieve conceptuele bronnen activeren.

Studenten kregen de instructie om te antwoorden met behulp van het Claim-Evidence-Reasoning (CER)-kader, een methode die ze gedurende het semester hadden geoefend. De data-analyse maakte gebruik van het GPT-4o Large Language Model (LLM) van OpenAI. Het LLM werd geprompt via een gestructureerd sjabloon dat fungeerde als een "ervaren natuurkundedocent" met een specifieke rubriek om:

1. De juistheid van de claim (antwoord) van de student te evalueren.
2. De juistheid van het bewijs en de redenering te evalueren.
3. Emergente categorieën toe te wijzen aan onjuiste verklaringen op basis van distincte conceptuele patronen (tot zes categorieën).
4. "Chain of thought"-prompting te gebruiken om stap voor stap de natuurkundige principes te doorlopen voordat er een score wordt gegeven.

Om de prestaties van het LLM te valideren, analyseerde een menselijke beoordelaar (HG) onafhankelijk een willekeurige steekproef van 20% ($N=231$) van de antwoorden. De studie mat overeenstemming met behulp van Cohens kappa en vergeleek het percentage correcte classificaties. Het LLM werd ook getest op consistentie over meerdere runs met een temperatuurinstelling van 0,5.

Belangrijkste Resultaten

• Beoordelingsnauwkeurigheid: Het LLM toonde een hoge overeenstemming met menselijke beoordelaars. Het verschil in algehele juistheid (claim ondersteund door correcte redenering) was opmerkelijk laag en varieerde van 0% tot 3% over de drie vragen. De gemiddelde Cohens kappa tussen het LLM en de menselijke beoordelaar was 0,77 (substantiële tot bijna perfecte overeenstemming), met scores per individuele vraag van 0,74, 0,65 en 0,89.
• Emergente Categorieën: Het LLM slaagde erin om emergente categorieën voor onjuiste verklaringen te genereren die niet vooraf waren gedefinieerd. Bijvoorbeeld, bij Q05 identificeerde het LLM categorieën zoals "Toepassing van botsingstype verkeerd" en "Verkeerd identificeren van botsingstype", die niet aanwezig waren in de oorspronkelijke MC-afleiders.
• Het Onthullen van Verborgen Misvattingen: De analyse onthulde gevallen waarin studenten de juiste claim (antwoord) gaven op basis van onjuiste of onproductieve redenering. In het MC-formaat zouden deze studenten als correct zijn gemarkeerd; echter, het LLM identificeerde de gebrekkige conceptuele bronnen (bijvoorbeeld het verkeerd toepassen van behoud van impuls in de context van een onelastische botsing) die leidden tot het juiste antwoord door toeval of gebrekkige logica.
• Consistentie: Het LLM produceerde consistente emergente categorieën over meerdere runs, met een lage standaardafwijking in het percentage studenten dat als volledig correct werd gemarkeerd.

Betekenis en Aanspraken
De auteurs claimen twee primaire bijdragen:

1. Betrouwbaarheid: Behoorlijk geprompte LLM's (specifiek GPT-4o) kunnen de algehele juistheid van de schriftelijke antwoorden van studenten betrouwbaar beoordelen, inclusief zowel het antwoord als de ondersteunende verklaring, met overeenstemmingsniveaus die vergelijkbaar zijn met die van menselijke beoordelaars. Dit suggereert dat LLM's de bottleneck van het beoordelen van open-ended natuurkundevragen op grote schaal kunnen verlichten.
2. Diepte van Inzicht: Op LLM gebaseerde analyse onthult emergente categorieën van onjuiste redenering die niet worden vastgelegd door de vaste opties van traditionele MC-toetsen. De studie toont aan dat LLM's een "veelheid aan denkmanieren" en specifieke conceptuele bronnen (zowel productief als onproductief) kunnen blootleggen die verborgen blijven in standaard MC-formaten.

Het paper concludeert dat hoewel MC-toetsen voldoende zijn om het percentage studenten met correcte concepties te kwantificeren, LLM's een veelbelovende weg bieden voor educatoren om specifieke misverstanden te isoleren en de rijkdom van het redeneren van studenten te onderzoeken in cursussen met een grote inschrijving. De auteurs merken een beperking op met betrekking tot de subset van gebruikte vragen (vanwege zorgen over studentenmoeheid) en stellen dat toekomstig werk erop gericht zal zijn om deze analyse uit te breiden tot de volledige EMCS en complexere natuurkundetoetsen.