Supervised Practice Time and the AI-Code Workflow: Evidence from Finance Undergraduates at a Regional Chinese University

In de moderne klaslokalen van de financiële wereld heeft een stille revolutie plaatsgevonden. Decennialang betekende het leren analyseren van markten het beheersen van de syntaxis van computercode, een barrière die veel studenten ervan weerhield de diepere logica van de economie te bereiken. Vandaag de dag kan een nieuw soort kunstmatige intelligentie die code direct schrijven, waardoor gewone Engelse zinnen worden omgezet in werkende programma's. Deze verschuiving heeft de uitdaging verplaatst van het schrijven van de instructies naar het beheren van het proces: de juiste vragen stellen, het script uitvoeren, de resultaten controleren en de fouten herstellen. De centrale vraag voor onderwijzers is niet langer of studenten commando's kunnen typen, maar of ze deze nieuwe digitale assistent effectief kunnen aansturen. Als de machine het zware werk van het schrijven kan doen, moet de student dan nog steeds het ambacht oefenen, en zo ja, hoe?

Een team van onderzoekers probeerde dit te beantwoorden door studenten te observeren aan een regionale universiteit in China. Ze richtten zich op één enkele variabele: de tijd van gesuperviseerde beoefening. Dit is de tijd die een student doorbrengt werkend op een computer met een instructeur aanwezig in de ruimte, in plaats van alleen maar naar een demonstratie te kijken of alleen thuis te werken. De onderzoekers vroegen zich af of het hebben van die extra tijd, begeleid door een docent, studenten zou helpen om beter te worden in het aansturen van de AI. Ze rekruteerden vier intacte klassen van financiële bachelorstudenten, in totaal 138 studenten, en verdeelden hen in twee groepen. De ene groep kreeg toestemming om bij elke les hun eigen laptops mee te brengen, waardoor zij de cyclus van het aansturen van de AI, het uitvoeren van de code en het controleren van de output konden oefenen terwijl de docent toekeek. De andere groep volgde een standaardprogramma, waarbij zij alleen toegang hadden tot computers tijdens specifieke, geplande labsessies, en de rest van de tijd besteedden aan het kijken naar de instructeur die het werk op een scherm demonstreerde.

De studie ontvouwde zich over twee semesters. In het eerste semester werkten de studenten met een financieel modelleringsprogramma genaamd MATLAB. Ze kregen te maken met vier praktische toetsen waarbij ze realistische problemen moesten oplossen, zoals het berekenen van de prijs van een obligatie of het analyseren van trends op de aandelenmarkt. De regels waren strikt: de code moest zonder fouten draaien en een specifiek numeriek antwoord produceren. De resultaten toonden een duidelijke divergentie. Aan het begin presteerden beide groepen vergelijkbaar, met scores die rond de onderkant van de schaal schommelden. Echter, naarmate de weken verstreken en de taken complexer werden, begon de groep met meer gesuperviseerde praktijkervaring voorop te lopen. Tegen de laatste toets scoorden de studenten die met hun laptops in de klas hadden geoefend ongeveer elf punten hoger dan degenen die alleen hadden gekeken. Dit gat was niet slechts een statistische uitschieter; het vertegenwoordigde een verschuiving in de gehele klassenverdeling. De studenten met meer praktijkervaring liepen veel minder snel vast bij de eerste stap en waren eerder in staat de volledige reeks taken te voltooien.

De onderzoekers volgden twee van de klassen vervolgens naar een tweede semester, waarin ze een ander softwareprogramma aanpakten genaamd Stata voor bedrijfskundige financiële problemen. Een van deze klassen ontving een extra ronde van de "bring your own device"-regeling, terwijl de andere groep vasthield aan het standaardprogramma. Ondanks dat dit een nieuwe softwaretool en een nieuwe set problemen was, herhaalde het patroon zich. De klas met de extra gesuperviseerde uren presteerde aanzienlijk beter, met name op de moeilijkere taken die vereisten dat meerdere stappen aan elkaar werden gekoppeld. De studenten met meer praktijkervaring waren bijna twee keer zo waarschijnlijk om de meest moeilijke taken te voltooien vergeleken met hun leeftgens met minder tijd om de workflow onder toezicht te oefenen.

Om te begrijpen waarom dit gebeurde, vroegen de onderzoekers de studenten rechtstreeks. De antwoorden wezen op een menselijke eigenschap in plaats van een technische. Wanneer werd gevraagd wat hen tegenhield in het leren van de AI-workflow, gaf de grote meerderheid van de studenten, in beide groepen, aan dat het een gebrek aan zelfmotivatie was. Ze gaven toe dat ze zonder de structuur van een klas en de aanwezigheid van een docent simpelweg niet uit zichzelf de cyclus van het aansturen en controleren zouden hebben geoefend. De gesuperviseerde uren fungeerden als een substituut voor die ontbrekende drijfveer, waardoor de beoefening plaatsvond wanneer dat anders niet zou zijn gebeurd. De studie suggereert dat de waarde van deze extra uren niet lag in de technologie zelf, maar in de omgeving die de studenten ertoe aanzette de technologie te gebruiken.

Echter, de studie onthulde ook een nieuwe flessenhals die ontstond zodra de studenten de code aan het draaien kregen. De grootste moeilijkheid die zij rapporteerden, was niet langer het schrijven van de prompt of het oplossen van een syntactische fout; het was het beoordelen of het antwoord dat de AI gaf, daadwerkelijk correct was. Zododra de code een resultaat produceerde, hadden de studenten moeite om te verifiëren of dat resultaat wel zinvol was in de echte wereld. Dit is een kritieke hindernis, aangezien kunstmatige intelligentie vloeiende, overtuigende antwoorden kan produceren die subtiel onjuist zijn. De onderzoekers merkten op dat hoewel de extra praktijkuren de studenten hielpen om de code te laten draaien, dit het probleem van het weten of de output juist was, niet volledig oploste. Deze verificatiestap vereist volgens hen een diepte aan domeinkennis die de meeste studenten niet bezaten en die zij ook niet op eigen initiatief na de lessen zouden ontwikkelen.

De bevindingen bieden een helder, zij het genuanceerd beeld van hoe onderwijs zich aanpast aan kunstmatige intelligentie. De studie vond dat het simpelweg geven van toegang tot computers of AI-tools niet voldoende was om de vaardigheden van studenten te verbeteren. In plaats daarvan toonde het aan dat de structuur van de leeromgeving diepgaand van belang is. Wanneer studenten de kans krijgen om de volledige cyclus van het aansturen van een AI te oefenen onder het toeziend oog van een instructeur, leren zij de workflow effectiever te navigeren. Het voordeel groeit naarmate de taken moeilijker worden, wat suggereert dat het vermogen om deze tools te beheren een vaardigheid is die wordt opgebouwd door herhaling en begeleiding. Toch laat het onderzoek een vraag open: hoe leren we studenten om de fouten te herkennen die zelfs een perfect ogende code kan verbergen? De studie concludeert dat terwijl gesuperviseerde praktijk het probleem oplost van het laten werken van de machine, de moeilijkere uitdaging van weten wanneer de machine het goed heeft, een taak blijft voor toekomstig onderzoek.