Benefits and Challenges of Integrating a Generative AI Assisted Reading Guide in an Undergraduate Journal Club Assignment

Dit artikel onderzoekt de voordelen en uitdagingen van het gebruik van een door generatieve AI ondersteunde leesgids in een undergraduate journal club, waarbij studenten aangeven dat de tool hun begrip en discussies verbetert, maar ook zorgen uiten over de nauwkeurigheid van de AI en het effect op hun eigen leerproces.

De kern

🧠 De "Slimme Reisgids" voor Wetenschapsartikelen

Stel je voor dat je een wetenschappelijk artikel moet lezen. Dit is vaak als proberen een kaart te lezen in een vreemd land, waar iedereen een taal spreekt die je niet kent, en de straten zijn vernoemd naar dingen die je nog nooit hebt gezien. Voor studenten is dit vaak een nachtmerrie: ze raken verdwaald in moeilijke woorden en begrijpen de boodschap niet.

De auteurs van dit artikel (Ashley en Anne) hebben een oplossing bedacht: een reisgids met een slimme assistent. Deze assistent is ChatGPT (een vorm van kunstmatige intelligentie of AI).

🗺️ Het Experiment: Twee manieren om te reizen

De onderzoekers lieten studenten twee keer een wetenschappelijk artikel lezen, maar op twee verschillende manieren:

1. De "Zwarte Doos" aanpak (Week 1): Studenten kregen het artikel en moesten het zelf lezen. Ze mochten Google gebruiken als ze een woord niet kenden, maar ze kregen geen specifieke instructies. Dit is alsof je de kaart alleen krijgt en zelf moet raden hoe je bij de bestemming komt.
2. De "Slimme Reisgids" aanpak (Week 2): Studenten kregen een speciaal stappenplan. Ze moesten het artikel lezen, maar mochten ChatGPT gebruiken als een persoonlijke tolk. Ze konden vragen stellen als: "Wat betekent dit woord?", "Leg deze figuur uit" of "Samenvat dit in simpele taal".

🗣️ Wat deden de studenten met de AI?

De onderzoekers keken naar de gesprekken die de studenten met ChatGPT hadden. Het was als luisteren naar wat studenten tegen hun slimme telefoon zeiden:

• De "Woordenboek-gebruikers" (Meest populair): De meeste studenten gebruikten de AI als een super-snel woordenboek. "Wat is een 'neuraal netwerk'?" of "Wat betekent 'proteïne'?". Dit hielp hen om niet vast te lopen.
• De "Samenvatting-vragers" (Een beetje gevaarlijk): Sommige studenten vroegen de AI: "Vertel me alles over dit artikel, ik heb geen tijd om het te lezen." Dit is als iemand die de film niet kijkt, maar alleen de samenvatting leest. De onderzoekers vonden dit riskant, want je leert dan niet echt zelf lezen.
• De "Dromers": Sommige studenten stelden vragen die verder gingen dan het artikel zelf: "Hoe kan dit helpen bij het vinden van medicijnen?" Dit toonde aan dat ze echt begrepen wat ze lasen.

📊 Wat vonden de studenten?

Na de proef namen ze een korte enquête af. Hieruit kwamen twee duidelijke kanten naar voren:

De Voordelen (De zonneschijn):

• Minder stress: Studenten zeiden dat ze zich minder angstig voelden. Het artikel was niet meer een onoverkomelijke berg, maar een pad dat ze konden bewandelen.
• Beter gesprek: In de klasgesprekken (de "journal club") was de sfeer veel levendiger. Omdat iedereen het artikel beter begreep, konden ze dieper praten in plaats van alleen maar te zeggen: "Ik snap er niks van."
• Persoonlijke uitleg: De AI kon uitleggen op het niveau van de student. Voor een beginner was het simpel, voor een gevorderde was het gedetailleerd.

De Uitdagingen (De wolken):

• Het "Hallucineren" risico: Sommige studenten waren bang dat de AI leugens vertelde. "Zegt de AI wel de waarheid?" was een grote zorg.
• De "Kruk"-gevoel: Een paar studenten zeiden: "Als ik de AI gebruik, leer ik het zelf niet meer. Het is als een kruk die me draagt, maar als ik hem weg haal, kan ik niet meer lopen." Ze maakten zich zorgen dat ze te afhankelijk zouden worden.
• Te veel informatie: Soms gaf de AI zo'n lang en ingewikkeld antwoord dat het juist verwarrender werd.

🏁 De Conclusie: Een hulpmiddel, geen vervanging

De onderzoekers concluderen dat AI een fantastische hulpmiddel kan zijn, net als een GPS in je auto.

• Goed gebruik: De GPS helpt je om niet verdwaald te raken in moeilijke straten (moeilijke woorden), zodat je kunt genieten van het uitzicht (de wetenschap).
• Slecht gebruik: Als je de GPS laat rijden in plaats van zelf te sturen, leer je nooit hoe je zelf moet navigeren.

De boodschap voor leraren:
Leerlingen moeten leren hoe ze AI slim gebruiken. Ze moeten weten dat ze de AI moeten gebruiken om te begrijpen, niet om het werk voor hen te doen. Als docenten dit uitleggen en waarschuwen voor de valkuilen (zoals onjuiste informatie), kunnen studenten de kracht van AI gebruiken om beter wetenschappers te worden, zonder hun eigen denkvermogen te verliezen.

Kortom: AI is als een slimme studiegenoot die altijd wakker is en alles weet, maar je moet zelf blijven denken en controleren of hij het ook echt goed heeft.

Technische samenvatting

Probleemstelling

Het lezen van wetenschappelijke literatuur is een cruciale vaardigheid voor STEM-studenten, maar vormt een aanzienlijke hindernis vanwege de unieke opmaak, gespecialiseerde jargon en de noodzaak om data en figuren in context te interpreteren. Er bestaat vaak een discrepantie tussen het waargenomen leesvermogen van studenten en hun daadwerkelijke begrip. Studenten worstelen vaak met het identificeren van hypothesen en bewijsvoering, wat kan leiden tot academische angst en een verminderde doorstroming in STEM-vakgebieden. Hoewel er bestaande interventies zijn (zoals "figure facts" of gescaffoldde werkbladen), blijft de taalbarrière een groot probleem. Studenten overslaan vaak onbekende termen of gebruiken zoekmachines, wat leidt tot slechte leerresultaten. Generatieve AI (zoals ChatGPT) biedt potentie om deze barrières te verlagen door real-time definities en context te bieden, maar er is een risico op "outsourcing" van denken of het gebruik van AI om het lezen van de tekst volledig te omzeilen.

Methodologie

De auteurs voerden een follow-upstudie uit bij 29 tweedejaars studenten in een seminariecursus chemie/biochemie aan de Cal Poly San Luis Obispo. Het onderzoek vergeleek twee iteraties van een "journal club" opdracht:

1. Iteratie 1 (Controle): Studenten lazen een toegewezen artikel zelfstandig zonder specifieke instructies of gebruik van Large Language Models (LLM). Ze hadden daarna een groepsdiscussie.
2. Iteratie 2 (Interventie): Studenten gebruikten een ChatGPT-ondersteunde leesgids voor een ander artikel. Deze gids combineerde actieve leesstrategieën (gebaseerd op McGuire's Teach Students How to Learn) met interactie met ChatGPT.

De Leesgids bestond uit vier stappen:

• Preview: Analyse van titel, abstract, koppen en figuren.
• Gidsgelezen lezen: Actief markeren en noteren.
• ChatGPT-clarificatie: Studenten moesten context geven over hun achtergrond en het artikel, en vervolgens vragen stellen over onbekende termen, concepten of methodologieën.
• Samenvatting: Het schrijven van een samenvatting op basis van notities en de ChatGPT-transcripten.

Data-analyse:

• Transcript-analyse: 21 geanonimiseerde ChatGPT-transcripten werden gecodeerd met een hybride coderingsschema (gebaseerd op een eerdere studie en nieuwe emergente thema's).
• Enquête: 25 studenten vulden een enquête in over hun ervaring, inclusief vragen over hun eerdere leeservaring, strategieën bij onbekende termen, en de impact op de klasdiscussie.

Belangrijkste Bijdragen

• Ontwikkeling en validatie van een gestructureerde AI-gids: Het artikel presenteert een specifiek protocol dat studenten leert AI te gebruiken als een ondersteunend hulpmiddel voor actieve leesstrategieën, in plaats van als een vervanging voor het lezen.
• Empirische data over AI-interacties: Het biedt gedetailleerde inzichten in hoe studenten daadwerkelijk met ChatGPT interageren bij het lezen van wetenschappelijke artikelen, inclusief de verschuiving van puur definities vragen naar complexere vragen over toepassing en figuren.
• Identificatie van productieve vs. niet-productieve gebruik: Het onderscheidt tussen het gebruik van AI voor verduidelijking (productief) en het gebruik voor het laten samenvatten van het hele artikel om het lezen te vermijden (niet-productief).

Resultaten

1. Analyse van ChatGPT-interacties:
De gemiddelde student had 4,8 interacties met ChatGPT. De meest voorkomende coderingen waren:

• Context/Background (95%): Studenten gaven hun academische achtergrond door om de antwoorden te personaliseren.
• Definitie & Uitleg (71%): Vragen om definities van jargon (bijv. "Wat is een three-track neural network?") en vervolgvragen voor verdieping. Dit werd gezien als een productief gebruik.
• Samenvatting (33%): Studenten vroegen om samenvattingen van het hele artikel. Dit werd als een potentieel probleem gezien, omdat studenten hierdoor de tekst zelf konden overslaan.
• Toepassing (19% - Emergent): Studenten stelden vragen over de bredere implicaties en toekomstige toepassingen van de technologie in het artikel.
• Vereenvoudiging & Figuren (14%): Vragen om de taal te vereenvoudigen of uitleg over specifieke figuren.

2. Enquêteresultaten:

• Positieve ervaring: 88% van de studenten gaf aan ChatGPT in de toekomst te willen gebruiken voor het lezen van literatuur.
• Voordelen: Studenten rapporteerden betere begrip van onbekende concepten, heldere uitleg en contextuele informatie die aansloot bij hun achtergrond.
• Uitdagingen:
  • Nauwkeurigheid: 5 studenten uitte zorgen over "hallucinaties" en onjuiste informatie.
  • Afhankelijkheid: 3 studenten vonden dat ChatGPT fungeerde als een "kruk" die niet hielp bij het leren van de leesvaardigheid op lange termijn.
  • Prompting: Studenten vonden het soms moeilijk om de juiste vragen te stellen om het gewenste antwoord te krijgen.
• Impact op discussies: De instructeur observeerde dat de discussies in de AI-iteratie levendiger waren en langer duurden. 13 studenten vonden de discussie beter met ChatGPT (betere voorbereiding), terwijl 5 studenten het zonder ChatGPT beter vonden (diepere eigen inspanning).

3. Vergelijking met eerdere studie:
In vergelijking met een eerdere studie (1,5 jaar eerder) waren studenten nu meer sceptisch over de nauwkeurigheid van AI en de ethische implicaties. Er was een toename in het gebruik van "samenvatting"-vragen, wat wijst op een risico dat studenten de tekst niet zelf lezen.

Betekenis en Conclusie

De studie concludeert dat een ChatGPT-ondersteunde leesgids effectief kan zijn om studenten te helpen wetenschappelijke literatuur te begrijpen en de kwaliteit van klasdiscussies te verhogen. Het stelt studenten in staat om onbekende termen direct te verduidelijken, waardoor ze zich kunnen richten op hogere orde denkprocessen.

Echter, de studie waarschuwt voor twee belangrijke valkuilen:

1. Vermijden van lezen: Studenten gebruiken AI soms om de tekst zelf niet te hoeven lezen (via samenvattingen).
2. Scepticisme en Ethiek: Studenten zijn zich bewust van de beperkingen van AI (nauwkeurigheid, "hallucinaties") en de impact op hun eigen leerproces.

Aanbeveling: Docenten die generatieve AI in hun curriculum willen integreren, moeten dit expliciet bespreken. Het is essentieel om studenten te leren hoe ze AI productief en ethisch gebruiken (als hulpmiddel voor verduidelijking) in plaats van als vervanging voor kritisch denken en actief lezen. De focus moet liggen op het ontwikkelen van een genuanceerde houding ten opzichte van AI-tools.