Using LLMs to Detect Growth in Computational Thinking in Introductory Physics

Technische Samenvatting: Het gebruik van LLM's voor het detecteren van groei in Computationeel Denken in Introductiecursussen Natuurkunde

Probleemstelling
Nu computationele vaardigheden een "derde pijler" van het natuurkundig onderwijs worden naast experiment en theorie, staan docenten voor de uitdaging om authentiek Computationeel Denken (CT) te bevorderen in plaats van oppervlakkige programmeervaardigheden. Hoewel open vragen met tekstuele antwoorden een rijk venster bieden op het redeneren van studenten en de integratie van natuurwetten met code, is het evalueren hiervan op schaal arbeidsintensief en kampt het vaak met problemen wat betreft de interbeoordelaarsbetrouwbaarheid. Daarentegen missen meerkeuzevragen de diepgang om mentale modellen te vangen. De toenemende beschikbaarheid van generatieve AI compliceert beoordeling verder door studenten in staat te stellen cognitieve inspanning te omzeilen. Deze studie adresseert de behoefte aan een schaalbare, betrouwbare methode voor het evalueren van complexe, open vragen over CT in grootschalige natuurkundecursussen, waarbij specifiek wordt onderzocht of Large Language Models (LLM's) effectief menselijke evaluatie van de groei in CT-praktijken kunnen evenaren.

Methodologie
De studie maakte gebruik van een pre-test/post-test ontwerp met 936 studenten in een calculus-gebaseerde engineering-natuurkundecursus aan een grote universiteit in het Midwesten. De cursus integreerde computationele aspecten zwaar, waarbij wekelijkse Python-gebaseerde labs vereist waren.

1. Instrumentontwikkeling: Drie open vragen werden ontwikkend op basis van de Weintrop et al. taxonomie van CT, die vier domeinen beslaan: Data-praktijken (DP), Computationele Probleemoplossende Praktijken (CPP), Modellerings- en Simulatiepraktijken (MSP) en Systeemdenken-praktijken (STP).
   • V25: Interpreteerde een door Python gegenereerde energie versus positie grafiek (DP, CPP, STP).
   • V26: Volgde de algoritmische logica in een Python-script voor een elastische botsing (CPP, STP).
   • V27: Stelde parameters voor in een slee-simulatie voor (MSP, STP).
2. Menselijke Baseline: Een gespecialiseerde rubriek werd ontwikkeld om responsen te scoren op een schaal van 0–2 voor elke CT-praktijk en Natuurkundige Correctheid. Drie onderzoekers codeerden onafhankelijk een subset van 50 studenten (300 responsen) om een "ground truth" vast te stellen via meerderheidsstemming nadat consensus over operationele definities was bereikt. De interbeoordelaarsbetrouwbaarheid (Fleis' $\kappa$) werd berekend.
3. LLM-Validatie: Een multimodale LLM (GPT-5.4-mini) werd via API ingezet. Het model ontving de afbeelding van de enquête, de prompt-tekst en de student-respons. Met behulp van een gestructureerde prompt die het model de rol van een expert in natuurkundig onderwijsonderzoek toeweegde en de exacte menselijke rubriek verstrekte, genereerde de LLM rechtvaardigingen en scores. Om consistentie te waarborgen, werd de temperatuur ingesteld op 0.2, en werd elke respons geëvalueerd over drie onafhankelijke runs, waarbij de uiteindelijke score werd bepaald door meerderheidsstemming.
4. Analyse: De scores van de LLM op de subset van 50 studenten werden vergeleken met de menselijke baseline om de overeenstemming te berekenen. Vervolgens werd de gevalideerde LLM-pipeline toegepast op de volledige dataset ($N=936$) om groeitrends te detecteren.

Belangrijkste Resultaten

• Menselijke Betrouwbaarheid: Menselijke codeurs bereikten substantiële overeenstemming bij expliciete taken (MSP $\kappa=0.80$, DP $\kappa=0.80$) en Natuurkundige Correctheid ($\kappa=0.73$). De overeenstemming was lager voor de complexere constructie van Systeemdenken (STP) ($\kappa=0.51$), wat de inherente cognitieve belasting reflecteert.
• Studentengroei (door mensen gegradeerd): Analyse van de door mensen gegradeerde subset onthulde significante groei in Data-praktijken ($d=1.03$), Computationele Probleemoplossing ($d=0.52$) en Systeemdenken ($d=0.45$). Natuurkundige Correctheid vertoonde kleine tot matige groei ($d=0.31$). Er werd geen significante groei waargenomen in Modellerings- en Simulatiepraktijken ($d=0.00$), wat werd toegeschreven aan een "plafondeffect" waarbij studenten de cursus binnenkwamen met voldoende voorkennis om hoog te scoren op de initiële prompt.
• LLM-Prestaties: De LLM vertoonde substantiële overeenstemming met menselijke beoordelaars bij goed gedefinieerde praktijken (DP $\kappa=0.90$, MSP $\kappa=0.78$, CPP $\kappa=0.69$). De overeenstemming was lager voor complexe, meercomponenten-constructen (Natuurkundige Correctheid $\kappa=0.53$, STP $\kappa=0.48$), wat de lagere betrouwbaarheid weerspiegelt die ook bij menselijke codeurs werd waargenomen.
• Schaalbaarheid: Bij toepassing op de volledige dataset reproduceerde de LLM succesvol de macroscopische trends geïdentificeerd door menselijke beoordelaars, waarbij significante groei in DP en CPP over V25 en V26 werd gedetecteerd, en het gebrek aan groei in MSP op V27 werd bevestigd.

Belangrijkste Bijdragen

• Validatie van LLM's voor CT-beoordeling: De studie toont aan dat LLM's kunnen dienen als een levensvatbaar, schaalbaar mechanisme voor het evalueren van open-ended CT-beoordelingen, waarbij ze overeenstemmingsniveaus bereiken die vergelijkbaar zijn met menselijke experts, met name voor duidelijk gedefinieerde praktijken.
• Empirisch Bewijs van CT-groei: Het onderzoek levert kwantitatief bewijs voor studentengroei in specifieke CT-domeinen (DP, CPP, STP) binnen een computationeel intensief natuurkundecurriculum, terwijl het ook de moeilijkheid benadrukt van het meten van groei in gebieden waar studenten over een hoge voorkennis beschikken.
• Identificatie van Beoordelingslimieten: De studie identificeert dat zowel menselijke als AI-beoordelaars moeite hebben met complexe, geïntegreerde constructen zoals Systeemdenken, wat suggereert dat huidige rubrieken en prompts mogelijk verfijning nodig hebben om onderscheid te maken tussen het identificeren van systeemcomponenten en het verklaren van hun interacties.

Betekenis en Claims
De auteurs beweren dat LLM's een praktische oplossing bieden voor het schaalbaarheidsprobleem in kwalitatief natuurkundig onderwijsonderzoek. De studie stelt dat LLM's niet louter automatisering van het nakijken bewerkstelligen, maar ook betrouwbaar belangrijke pedagogische trends (zoals groei in datapraktijken) kunnen detecteren over grote populaties. De auteurs blijven echter bescheiden over de evaluatie van hoog geïntegreerde constructen; zij concluderen dat hoewel LLM's vergelijkbaar presteren met menselijke experts, de variantie in scoring voor complexe constructen zoals STP voortkomt uit de inherente moeilijkheid van de constructie zelf, in plaats van een tekortkoming van het model. Bijgevolg betogen de auteurs dat LLM's effectief zijn voor schaalbare formatieve beoordeling, maar dat ze zorgvuldige rubriekontwerp en menselijk toezicht vereisen bij het evalueren van complex redeneren. De studie claimt niet dat LLM's het probleem van het beoordelen van complex redeneren hebben opgelost, maar stelt dat ze een levensvatbaar pad bieden voor het opschalen van de evaluatie van studenten-CT in cursussen met grote aantallen studenten.