Explainable Dual-view Workflow Discovery for GenAI-supported Learning in Higher Education

In het moderne klaslokaal is een nieuw soort tutor gearriveerd, één die vragen kan beantwoorden, paragrafen kan opstellen en complexe teksten in enkele seconden kan samenvatten. Deze technologie, bekend als generatieve kunstmatige intelligentie, wordt snel een standaardinstrument voor universiteitsstudenten. Er blijft echter een eenvoudige vraag onbeantwoord: helpt het louter gebruiken van dit instrument een student echt om te leren, of creëert het slechts de illusie van activiteit? Decennialang hebben onderzoekers in leeranalyse begrepen dat het verhaal van leren niet te vinden is in een eindcijfer of een simpele telling van hoe vaak een hulpmiddel is geopend. In plaats daarvan ligt het ware verhaal in de sequentie van acties—het ritme van lezen, denken, schrijven en herzien in de loop van de tijd. Net zoals een arts naar de bloedstroom kijkt in plaats van naar een enkel snapshot om de gezondheid te begrijpen, moeten onderwijzers zien hoe een student door een taak beweegt om te begrijpen hoe zij werkelijk leren.

Een team van onderzoekers van de University of Florida en de University of Miami zette zich in om een specifieke puzzel in dit landschap op te lossen. Ze wilden weten hoe studenten hun werk daadwerkelijk organiseren wanneer ze generatieve AI gebruiken om complexe informatieproblemen op te lossen. De studie richtte zich op 278 studenten die ingeschreven stonden voor een cursus waarin zij een onderwerp moesten onderzoeken en een voorstel moesten schrijven. De onderzoekers keken niet alleen naar hoe vaak een student een vraag aan de AI stelde. In plaats daarvan bouwden ze een gedetailleerde kaart van elke actie die de studenten ondernamen, van het lezen van een brondocument tot het typen van een zin, het markeren van een passage of het chatten met de AI. Ze behandelden deze acties als een tijdlijn en zochten naar patronen die zich bij verschillende studenten herhaalden.

De onderzoekers ontdekten dat het kijken naar de tijdlijn van acties alleen niet voldoende was. Een student kan veel tijd besteden aan lezen en vragen stellen, terwijl een andere student evenveel tijd besteedt aan schrijven en herzien. Om een volledig beeld te krijgen, combineerde het team twee verschillende manieren om naar de data te kijken. De eerste manier volgde de volgorde van gebeurtenissen, zoals een film van het werk van de student. De tweede manier keek naar de algemene gewoonten van de student, zoals hoeveel ze schreven na het ontvangen van AI-feedback of hoe vaak ze hun werk herzien. Door deze twee perspectieven samen te voegen, konden de onderzoekers onderscheidende soorten werkgewoonten identificeren die niet zichtbaar waren wanneer naar één van beide perspectieven afzonderlijk werd gekeken.

De analyse onthulde twee zeer verschillende manieren waarop studenten hun werk met behulp van AI benaderden. De eerste groep, bestaande uit 145 studenten, volgde een pad van exploratie. Deze studenten besteedden een aanzienlijke hoeveelheid tijd aan het lezen van materialen, het navigeren door het platform en het chatten met de AI. Ze stelden veel vragen en verzamelden veel informatie. De gegevens toonden echter aan dat zij moeite hadden om deze informatie om te zetten in geschreven werk. Hun groei in schrijfvaardigheid was laag en ze namen de suggesties van de AI niet op in hun concepten. Ze waren actief, maar hun activiteit bleef gescheiden van het eindproduct.

De tweede groep, bestaande uit 133 studenten, volgde een pad van integratie. Deze studenten gebruikten de AI ook, maar hun workflow vertoonde een ander patroon. Ze gebruikten de AI om hen te helpen bij het schrijven, herzien en verbeteren van hun argumenten. Wanneer zij een reactie van de AI ontvingen, lazen zij deze niet alleen; ze verwerkten het in hun schrijven, verwijderden zwakke zinnen en bouwden sterkere claims op. De gegevens toonden aan dat deze groep een veel hogere mate van groei in schrijven en herziening vertoonde. Zij behandelden de AI als een partner in het schrijfproces in plaats van enkel als een bron van informatie.

De belangrijkste bevinding van de studie is dat de frequentie van het gebruik van de AI niet bepaalt hoe goed een student leert. Een student die veel met de AI chat, leert niet noodzakelijkerwijs meer dan een student die minder chat. Het cruciale verschil is wat er na de chat gebeurt. Leren vindt plaats wanneer de feedback van de AI wordt opgenomen in het schrijfproces. De onderzoekers ontdekten dat de studenten die de AI succesvol in hun schrijfproces integreerden, een duidelijke workflow vertoonden die gericht was op groei in schrijven en herziening, terwijl de exploratieve groep een ander patroon vertoonde van hoge betrokkenheid bij lezen en chatten, maar een lage absorptie. Opvallend genoeg gaven de gegevens aan dat de exploratieve groep een iets hogere gemiddelde score voor het voorstel behaalde dan de geïntegreerde groep, wat suggereert dat hoge scores uit verschillende workflowstrategieën kunnen voortkomen en dat de relatie tussen het type workflow en het eindcijfer complex is.

Deze ontdekking daagt de algemene aanname uit dat meer interactie met een hulpmiddel gelijkstaat aan beter leren. De studie suggereert dat de educatieve waarde van generatieve AI pas ontstaat wanneer het onderdeel wordt van een gereguleerde cyclus van het gebruik van bewijslast, interpretatie van feedback en schrijven. Voor studenten die vastzitten in de exploratiefase, zal het simpelweg aanmoedigen om de AI vaker te gebruiken niet helpen. In plaats daarvan hebben zij ondersteuning nodig die hen helpt hun onderzoek en vragen om te zetten in geschreven argumenten. Voor studenten die de tool al integreren, moet de focus verschuiven naar het waarborgen dat zij de kwaliteit van de suggesties van de AI evalueren en hun eigen argumenten verfijnen.

De onderzoekers gebruikten een methode waarmee zij deze patronen duidelijk konden zien zonder te vertrouwen op complexe wiskundige modellen die moeilijk te interpreteren zijn. Ze concentreerden zich op de feitelijke gedragingen die door het systeem werden vastgelegd, zoals de snelheid van schrijfhandelingen, het volume van het geproduceerde werk en de frequentie van herziening. Zij vonden dat de belangrijkste factoren voor een succesvol voorstel de snelheid van schrijfacties, het volume van het geproduceerde werk en de frequentie van herziening waren. Deze factoren waren belangrijker dan de specifieke inhoud van de chat of het aantal keren dat een student op een knop klikte.

Deze studie biedt een nieuwe manier voor onderwijzers om te begrijpen hoe studenten leren met AI. Het gaat verder dan eenvoudige metrieken zoals het "aantal chats" om te kijken naar de kwaliteit van de interactie. De bevindingen suggereren dat effectief lesgeven met AI vereist dat studenten worden geholpen bij het overbruggen van de kloof tussen het verzamelen van informatie en het produceren van tekst. Het is niet genoeg om het instrument te hebben; studenten moeten leren de output van het instrument te verweven in hun eigen denken en schrijven. Door deze verschillende workflowpatronen te begrijpen, kunnen onderwijzers betere ondersteuningssystemen ontwerpen die studenten begeleiden van passieve exploratie naar actieve, geïntegreerde leerprocessen. De studie concludeert dat de toekomst van AI in het onderwijs niet afhangt van de technologie zelf, maar van hoe goed studenten in staat zijn de feedback ervan te absorberen in hun eigen groei.