FORGE: A Framework for Orchestrated Role-based Generation in Education
Dit artikel introduceert FORGE, een design science-framework dat de samenwerking tussen docent en AI in het hoger onderwijs structureert via vier rollen en zeven dimensies, en demonstreert via casestudy's hoe de richtlijnen geïmproviseerde prompting transformeren naar een overdraagbare, op rollen gebaseerde workflow voor het genereren van educatief materiaal.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de klaslokalen van het hoger onderwijs is een stille revolutie gaande, aangedreven door een nieuw soort computerprogramma dat bekend staat als een groot taalmodel. Deze systemen kunnen enorme hoeveelheden tekst lezen en schrijven in menselijke taal, wat velen doet afvragen hoe ze de manier waarop docenten hun cursussen voorbereiden zouden kunnen veranderen. Jarenlang heeft het meeste onderzoek zich gericht op hoe studenten deze hulpmiddelen gebruiken, waarbij vaak de zorgen werden geuit over academische integriteit of hoe te detecteren wanneer een student er een beroep op heeft gedaan. Er vindt echter een parallelle en even belangrijke verschuiving plaats achter de schermen: instructeurs beginnen dezezelfde hulpmiddelen te gebruiken om hen te helpen bij het schrijven van examens, het ontwerpen van projecten en het maken van lesplannen. De uitdaging is dat zonder een gedeelde methode voor dit werk, elke docent in essentie zijn eigen manier uitvindt om de computer om hulp te vragen. Sommigen vragen om een volledige conceptversie, anderen om een enkele zin, en weinigen hebben een duidelijk systeem om te beslissen wanneer ze de machine moeten vertrouwen en wanneer ze met hun eigen deskundige oordeel moeten ingrijpen.
Deze onzekerheid is van belang omdat het creëren van goed onderwijsmateriaal een complexe taak is. Het vereist niet alleen het genereren van tekst, maar ook het waarborgen dat een vraag het juiste concept test, dat de moeilijkheidsgraad precies goed is, en dat de inhoud overeenkomt met wat er daadwerkelijk in de klas is onderwezen. Als een docent simpelweg een computer vraagt om een examen te schrijven en het eerste resultaat accepteert, kan het materiaal op subtiele manieren gebrekkig zijn, waardoor een student het zou kunnen exploiteren of waardoor het niet meet wat de docent beoogde te meten. De kernvraag is dan ook niet of computers dit materiaal kunnen schrijven, maar hoe een mens en een machine effectief kunnen samenwerken om iets te produceren dat zowel van hoge kwaliteit als betrouwbaar is.
Om dit te beantwoorden, ontwikkelden onderzoekers Emmanuel Gonzalez en Paul T. Grogan aan de Arizona State University een nieuwe manier van werken genaamd FORGE. Ze stelden niet alleen een theorie voor; ze testten deze in een echte bacheloropleiding voor engineering. Ze observeerden hoe een instructeur een computerprogramma gebruikte om twee zeer verschillende soorten opdrachten te maken: een standaard meerkeuze-examen en een complex, open einde termproject. Door elke individuele instructie die de docent aan de computer gaf en hoe de computer reageerde te registreren, brachten zij een duidelijke set regels voor samenwerking in kaart. Hun werk suggereert dat succesvolle mens-computer samenwerking in het onderwijs afhangt van het toekennen van specifieke rollen aan de computer, het weten wanneer men om ideeën moet vragen versus wanneer men bevelen moet geven, en het begrijpen dat de mens de uiteindelijke beoordelaar van kwaliteit moet blijven.
De onderzoekers ontdekten dat de manier waarop een docent met de computer interacteert, sterk afhangt van wat zij proberen te creëren. Wanneer het doel convergent materiaal is, zoals een examen waarbij de antwoorden vaststaan en het format vooraf bekend is, ziet het proces eruit als een langdurige, gedetailleerde verfijning. In de studie besteedde de instructeur bijna al haar tijd — ongeveer vierennegentig procent van het actieve werk — aan het controleren en corrigeren van de concepten van de computer in plaats van het vragen om nieuwe inhoud. De computer genereerde een vraag, en de docent merkte een subtiele fout op, zoals een codefragment dat per ongeluk het antwoord weggeeft, en vroeg de computer om het opnieuw te proberen. Deze cyclus van generatie en correctie ging door totdat het materiaal perfect was. De computer fungeerde als een snelle schrijver, maar de mens fungeerde als een strikte redacteur, die ervoor zorgde dat elk detail voldeed aan de specifieke standaarden van de cursus.
In contrast hiermee, toen de docent werkte aan divergent materiaal, zoals de specificaties voor het termproject waarbij de uiteindelijke vorm nog niet bekend was, was het proces anders. Hier besteedden de computer en de docent meer tijd aan het uitzoeken wat het project überhaupt moest worden. De docent vroeg de computer om opties en ideeën, en ging een heen-en-weer gesprek aan om te beslissen welke onderwerpen opgenomen moesten worden en hoe de opdracht gestructureerd moest worden. In dit scenario fungeerde de computer meer als een brainstormpartner, die suggesties aanbood die de docent kon accepteren, verwerpen of aanpassen. De docent besteedde een groter deel van haar tijd, ongeveer zesentwintig procent van de prompts, aan het stellen van open vragen om mogelijkheden te verkennen, in plaats van enkel fouten te corrigeren. Dit toonde aan dat het type materiaal het ritme van het werk dicteert: sommige taken vereisen een vaste hand om een bekende vorm te polijsten, terwijl andere een flexibele geest nodig hebben om een nieuwe vorm te ontdekken.
Een belangrijke bevinding van de studie is dat de computer er niet op kan worden vertrouwd om het laatste woord te hebben over wat pedagogisch verantwoord is. De onderzoekers identificeerden vier verschillende rollen die in deze samenwerking gespeeld kunnen worden: een Lezer die informatie verzamelt, een Schrijver die inhoud creëert, een Criticus die controleert op fouten, en een Orchestrator die de uiteindelijke beslissingen neemt. In beide gevallen nam de menselijke instructeur de rol van de Orchestrator op zich. Ze ontdekten dat hoewel de computer taken kon afhandelen zoals het formatteren van tekst of het controleren van spelling, de computer consequent diepere problemen miste. Bijvoorbeeld, in één instantie schreef de computer een vraag over een computerprogramma, maar de code die het bevatte, bevatte het antwoord recht voor de ogen van de student. De computer merkte deze fout niet op omdat het de context miste van wat de vraag precies moest testen. Alleen de menselijke instructeur, die de leerdoelen kende, kon het probleem zien en de computer de opdracht geven dit te herstellen.
De studie onthulde ook dat de manier waarop een docent tegen de computer spreekt, net zo belangrijk is als wat zij vragen. De onderzoekers maakten onderscheid tussen twee interactiestijlen: conversationeel en directief. Wanneer de docent nog aan het beslissen was hoe de opdracht eruit moest zien, gebruikte zij een conversationele stijl, waarbij zij de computer om opties en afwegingen vroeg. Zodra het plan vaststond, schakelde zij over naar een directieve stijl, waarbij zij duidelijke opdrachten gaf om specifieke problemen op te lossen. De meest effectieve docenten in de studie wisten wanneer zij tussen deze modi moesten schakelen. Zij hielden zich niet aan één manier van communiceren; zij pasten hun aanpak aan op basis van de vraag of zij nieuwe ideeën verkenden of een bestaand concept verfijnden. Deze flexibiliteit voorkwam dat het werk stagneerde of een verkeerde wending nam.
Misschien wel de belangrijkste les uit dit werk is dat de mens de integrator van het systeem moet blijven. De computer kan inhoud met ongelooflijke snelheid genereren, maar begrijpt niet het bredere doel van de cursus of de specifieke behoeften van de studenten. De onderzoekers observeerden dat wanneer de docent een stap terug deed en de computer het hele proces liet beheren, de resultaten vaak gebrekkig waren. Maar wanneer de docent in de loop bleef, het werk constant controleerde en de computer met specifieke instructies aanstuurde, was het eindmateriaal van hoge kwaliteit. De studie suggereert dat het beste gebruik van deze hulpmiddelen niet is om de docent te vervangen, maar om te fungeren als een krachtige assistent die het zware werk van het opstellen van concepten afhandelt, waardoor de docent vrij is om zich te concentreren op het oordeel en de expertise die alleen een mens kan bieden.
De onderzoekers testten deze ideeën op twee specifieke opdrachten binnen één enkele cursus, dus de bevindingen zijn gebaseerd op een beperkte set gegevens. Zij beweren niet dat deze methode werkt voor elke docent of elk vakgebied, maar ze laten wel zien dat een gestructureerde aanpak mogelijk is. Door duidelijke rollen te definiëren en te weten wanneer men vragen moet stellen versus wanneer men bevelen moet geven, kunnen docenten het chaotische proces van het gebruik van kunstmatige intelligentie omzetten in een betrouwbare workflow. De studie concludeert dat docenten, met het juiste kader, de wijze waarop zij met deze hulpmiddelen werken kunnen beschrijven, de effectieve elementen kunnen behouden en die lessen kunnen meenemen naar de volgende opdracht. Dit brengt het gebruik van kunstmatige intelligentie in het onderwijs van een reeks gelukkige gokjes naar een geoefende, herhaalbare vaardigheid die de kwaliteit van het leermateriaal voor iedereen kan verbeteren.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.