Teaching Students to Question the Machine: An AI Literacy Intervention Improves Students' Regulation of LLM Use in a Science Task

Technische Samenvatting: Studenten leren de machine in twijfel te trekken

Probleemstelling
Generatieve Kunstmatige Intelligentie (GenAI) en Large Language Models (LLM's) worden snel geïntegreerd in de leerpraktijken van studenten, met name in STEM-contexten. Hoewel deze tools kansen bieden voor adaptieve ondersteuning, vormen ze een risico op "cognitieve offloading", waarbij studenten denkstappen delegeren aan het model in plaats van zich bezig te houden met kritische evaluatie of zelfgereguleerde nieuwsgierigheid. Er bestaat een kritiek gat in het begrip van hoe men de toegepaste dimensie van AI-geletterdheid in de brede middenbouw kan ondersteunen: het vermogen om prompts te monitoren, reacties te evalueren en te beslissen wanneer men een interactie moet herzien, verwerpen of voortzetten. Voorlopig onderzoek wijst uit dat middelbare scholieren in de brugklas/onderbouw vaak moeite hebben met het selecteren van effectieve prompts of het uitdagen van onbevredigende antwoorden, terwijl gecontroleerd klaslokaalbewijs over korte, schaalbare interventies om deze tekorten in gedragsregulatie aan te pakken, beperkt blijft.

Methodologie
De auteurs voerden een quasi-experimentele klasstudie uit met 116 studenten (groepen 8–9, leeftijd 13–15 jaar) op een Franse middelbare school. Vanwege roosterbeperkingen was individuele randomisatie niet haalbaar; studenten werden op klassen niveau aan condities toegewezen.

• Interventie: De interventiegroep volgde twee dagen vóór de testfase een tweeuurige workshop over AI-geletterdheid. De workshop combineerde conceptuele inhoud (hoe LLM's werken en falen) met praktische activiteiten gericht op het behoud van de autonomie (agency) van de student. Cruciaal was dat de workshop niet de specifieke wetenschappelijke taken oefende die in het experiment werden gebruikt. In plaats daarvan werd de nadruk gelegend op het trainen van studenten om te evalueren of initiële prompts overeenkwamen met de doelstellingen van de taak, of de reacties die doelstellingen voldeden, en hoe zij prompts konden herzien of vervolgvragen konden stellen.
• Controlegroep: De controlegroep voltooide dezelfde testsessie zonder de workshop bij te wonen.
• Taak: Beide groepen voltooiden zes wetenschappelijke probleemoplossende taken met behulp van een LLM. Voor elke taak kregen studenten een voorgestelde prompt gepresenteerd die ofwel goed gespecificeerd was (bevattende belangrijke contextuele elementen) ofwel ondergespecificeerd (het weglaten van cruciale informatie). Studenten beslisten of ze de prompt accepteerden, interacteerden met de LLM, evalueerden de reactie, stelden optioneel een vervolgvraag en schreven een definitief antwoord.
• Maten:
  • Gedragsindicatoren: Promptacceptatie (controle op query-niveau), correctheidsoordelen over AI-reacties (evaluatie van respons) en de frequentie van vervolgvragen (interactiecontrole).
  • Prestatie: Kwaliteit van het definitieve antwoord, gescoord op een 0–2 rubric, geaggregeerd naar een 0–20 schaal.
  • Zelfrapportage: Vragenlijsten vooraf en na de workshop die GenAI-percepties (houding, vertrouwen, ethiek, etc.) en algemeen metacognitief bewustzijn (Jr. MAI) maten.
• Analyse: Generalised Linear Models (GLM) met cluster-robuuste standaardfouten werden gebruikt voor gedragsindicatoren. De prestaties van de uiteindelijke taak werden geanalyseerd met Mann–Whitney tests. Signaaldetectie-indices ($d'$ en $\beta$) werden berekend om prompt-discriminatie te meten. GPT-4o werd gebruikt als "LLM-als-beoordelaar" voor de scoring, gevalideerd tegen menselijke annotatoren.

Belangrijkste Bijdragen

1. Gedragsfocus: De studie operationaliseert AI-geletterdheid niet louter als declaratieve kennis, maar als "regulatie van de LLM-interactie"—een proces van taakniveau monitoring en controle specifiek voor generatieve AI.
2. Interventieontwerp: Het demonstreert een klaslokaal-haalbare, tweeuur dure workshop die zich richt op toegepaste regulatieskills (het behouden van agency) in plaats van enkel conceptuele kennis, zonder de specifieke testinhoud vooraf te oefenen.
3. Methodologische Rigor: De studie maakt gebruik van robuuste statistische controles, incluserend signaaldetectietheorie om sensitiviteit te scheiden van responsbias, en valideert automatische scoring tegen menselijke annotatoren.

Resultaten

• Regulatiegedrag: Studenten in de interventiegroep vertoonden significant meer adaptieve interactiegedragingen vergeleken met de controlegroep:
  • Ze waren minder geneigd ondergespecificeerde prompts te accepteren (51,5% vs. 66,7%).
  • Hun correctheidsoordelen waren gevoeliger voor de specificatie van de prompt (interactie-effect significant).
  • Ze stelden aanzienlijk vaker vervolgvragen na het accepteren van ondergespecificeerde prompts (59,2% vs. 27,9%).
• Taakprestatie: De interventiegroep behaalde marginaal hogere scores op de uiteindelijke taakprestatie (Gemiddelde = 11,38) vergeleken met de controlegroep (Gemiddelde = 10,29), hoewel de absolute scores voor beide groepen beperkt bleven.
• Werkingsmechanisme: Signaaldetectie-analyse toonde aan dat hoewel de sensitiviteit ($d'$) voor de kwaliteit van de prompt numeriek hoger was in de interventiegroep, dit niet statistisch significant was. Echter, de link tussen het opmerken van een probleem (prompt-discriminatie) en het nemen van een regulerende actie (herformuleren of vervolgvragen stellen) was sterker in de interventiegroep.
• Zelfrapportage vs. Gedrag: Noch de GenAI-zelfrapportages, noch de algemene metacognitieve bewustzijnsscores voorspelden de gedragsregulatie of de uiteindelijke taakprestatie op robuuste wijze. Bovendien produceerde de workshop slechts zwakke, niet-significante veranderingen in de gerapporteerde houdingen, wat suggereert dat gedragsveranderingen kunnen optreden zonder onmiddellijke verschuivingen in de zelf waargenomen competentie.

Betekenis en Claims
Het artikel beweert dat beknopte, in het klaslokaal uitvoerbare AI-geletterdheidsinstructie de kortetermijnregulatie van door LLM's ondersteunde probleemoplossing bij middelbare scholieren kan vormen. De auteurs benadrukken dat de workshop erin slaagde een "regulerende houding" over te dragen (de controle behouden over prompting en evaluatie) naar nieuwe taken.

De auteurs zijn echter bescheiden in hun conclusies:

• De studie toont verbeterde regulatie tijdens de taak aan, niet duurzame leerwinst of langetermijnretentie.
• De bescheiden verbetering in scores geeft aan dat toegang tot GenAI alleen onvoldoende is voor hoogwaardige antwoorden; studenten kampen nog steeds met aanzienlijke uitdagingen bij het synthetiseren van informatie en het evalueren van modeloutputs.
• De bevindingen suggereren dat zelfrapportage-metingen slechte indicatoren zijn voor toegepaste AI-geletterdheid en dat toekomstig onderwijs de nadruk moet leggen op gedragsmatige metingen en praktische regulatieskills in plaats van puur declaratieve kennis.
• De studie benadrukt de noodzaak van langduriger onderzoek om te bepalen of deze regulerende gewoonten overstappen naar nieuwe domeinen en in de loop van de tijd standhouden.