Tracing GenAI Literacy: Uncovering Student-AI Interaction Patterns in Academic Writing through Epistemic Network Analysis
Deze studie maakt gebruik van Learning Analytics en Epistemic Network Analysis op interactielogs van 162 studenten om aan te tonen dat GenAI-geletterdheid effectief gekarakteriseerd kan worden door onderscheidende vraagpatronen, zoals iteratieve verfijning versus directe opdrachten, waarmee een datagestuurd alternatief wordt geboden voor traditionele zelfgerapporteerde beoordelingen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een klas studenten probeert te leren hoe ze een onderzoeks-samenvatting schrijven, maar je hebt een superintelligente, magische robotassistent (Generatieve AI) gegeven om hen te helpen. De grote vraag is niet alleen of ze de robot kunnen gebruiken, maar hoe ze met de robot praten. Behandelen ze de robot als een verkoopautomaat die antwoorden uitspuugt, of behandelen ze de robot als een denkpartner met wie ze ideeën kunnen debatteren en verfijnen?
Dit artikel is als een detectiveverhaal waarin de onderzoekers (Angxuan Chen en Jiyou Jia van Peking University) probeerden het mysterie van "AI-geletterdheid" op te lossen door te kijken naar hoe 162 universiteitsstudenten daadwerkelijk met de robot interactie hadden, in plaats van hen alleen te vragen: "Hoe goed ben je in het gebruiken van AI?"
Hier is de onderverdeling van hun onderzoek:
Het Probleem: De "Fake It Till You Make It" Valstrik
Normaal gesproken vragen scholen aan studenten om een enquête in te vullen: "Op een schaal van 1 tot 10, hoe goed ben je in het gebruik van AI?" De onderzoekers realiseerden zich dat dit is alsof je een bestuurder vraagt: "Weet je hoe je moet rijden?" en hun woord erop neemt. Het vertelt je niet of ze daadwerkelijk weten hoe ze op de snelweg moeten invoegen of dat ze alleen denken dat ze het weten.
De onderzoekers wilden het daadwerkelijke rijden zien, niet alleen het zelfvertrouwen van de bestuurder. Ze wilden het "proces" zien van hoe studenten de AI gebruikten tijdens het schrijven van een abstract voor een artikel.
De Opzet: Een Strikte Speelplaats
Om eerlijke gegevens te krijgen, zetten de onderzoekers een lastig spel op:
- De Taak: Studenten moesten een academisch abstract schrijven.
- Het Gereedschap: Ze gebruikten een aangepast platform dat verbonden was met een krachtige AI (DeepSeek).
- De Regels: De studenten konden niet zomaar het werk van de AI kopiëren en plakken. Ze moesten korte prompts typen (minder dan 30 woorden), en het systeem dwong hen om met de AI te blijven praten om het eindresultaat te krijgen. Dit betekende dat ze de conversatie gaande moesten houden.
Het Detectietool: "Epistemic Network Analysis" (ENA)
Om het gedrag van de studenten te begrijpen, gebruikten de onderzoekers een speciaal hulpmiddel genaamd Epistemic Network Analysis (ENA).
Zie ENA als een dansvloerkaart.
- In plaats van alleen te tellen hoe vaak een student een vraag stelde (zoals het tellen van passen), kij je met ENA naar de verbindingen tussen de bewegingen.
- Het trekt lijnen tussen de dingen die studenten direct na elkaar deden. Vroegen ze bijvoorbeeld om een feit en vroegen ze daarna direct om een correctie? Of vroegen ze om een conceptversie, vroegen ze vervolgens om een verfijning, en vroegen ze daarna om een verduidelijking?
- Dit creëert een visuele "handtekening" of "vingerafdruk" van hoe hun brein werkte terwijl ze met de AI praatten.
De Bevindingen: Twee Heel Verschillende Dansers
Toen de onderzoekers naar de "dansvloerkaarten" keken, zagen ze twee totaal verschillende interactiestijlen op basis van het AI-geletterdheidsniveau van de studenten:
1. De Groep met een Lage Geletterdheid (De "Verkoopautomaat"-gebruikers)
- Het Patroon: Deze studenten behandelden de AI voornamelijk als een zoekmachine of een verkoopautomaat.
- De Bewegingen: Ze zouden zeggen: "Schrijf dit voor mij" (Generatiecommando) en als het resultaat vreemd was, zouden ze vragen: "Is dit waar?" (Feitencheck).
- De Metafoor: Stel je voor dat iemand een burger bestelt, een hap neemt, en als de burger niet lekker smaakt, onmiddellijk aan de kok vraagt: "Heb je de juiste ingrediënten erin gedaan?" Ze reageren op de output in plaats van het proces te sturen. Ze vertrouwen erop dat de AI het zware werk doet en controleren alleen of het resultaat "echt" is.
2. De Groep met een Hoge Geletterdheid (De "Co-auteur"-gebruikers)
- Het Patroon: Deze studenten behandelden de AI als een denkpartner of een co-auteur.
- De Bewegingen: Ze zouden zeggen: "Maak deze zin academischer klinkend" (Verbetering), dan vragen: "Wat betekent deze term eigenlijk?" (Verduidelijking), en dan: "Hoe kan ik je de volgende keer beter vragen om een beter resultaat te krijgen?" (Meta-commando).
- De Metafoor: Stel je een chef en een sous-chef voor. De chef zegt: "Laten we dit anders kruiden," vraagt dan: "Wat doet dit specifieke kruid met de smaak?" en vraagt vervolgens: "Hoe kunnen we de kruidenkast vragen om de perfecte hoeveelheid?" Ze zitten in een lus van Betekenisgeving → Verfijning. Ze zijn constant aan het bijstellen, bevragen en verbeteren samen met de AI.
De Conclusie: Het Gaat Om het Gesprek, Niet Om de Score
De onderzoekers ontdekten dat deze twee groepen niet alleen verschillende scores op een test hadden; ze hadden fundamenteel andere manieren van denken terwijl ze het hulpmiddel gebruikten.
- Lage Geletterdheid ziet eruit als een transactie: "Ik geef jou een commando, jij geeft mij een resultaat."
- Hoge Geletterdheid ziet eruit als een samenwerking: "Ik geef jou een gedachte, we verfijnen het samen, en ik leer hoe ik betere vragen kan stellen."
Het artikel concludeert dat we niet alleen kunnen vertrouwen op enquêtes om te zien of iemand "AI-geletterd" is. In plaats daarvan kunnen we hun "dansbewegingen" (hun interactielogs) bekijken om te zien of ze alleen maar op knoppen drukken of daadwerkelijk kritisch nadenken. Dit helpt onderwijzers te begrijpen dat ware AI-geletterdheid niet gaat over het kennen van de naam van het hulpmiddel; het gaat over hoe je de structuur van je gesprek met het hulpmiddel vormgeeft om te leren en te creëren.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.