The comparative evaluation of explanations for algorithmic programming problems provided by a Human vs. ChatGPT: an exploratory online user study

In het klaslokaal wordt de relatie tussen een leerling en een docent al lang gedefinieerd door de uitwisseling van kennis, waarbij een menselijke gids complexe ideeën afbreekt in begrijpelijke stappen. Vandaag de dag is er een nieuw soort gids de kamer binnengekomen: kunstmatige intelligentie. Deze systemen kunnen tekst genereren, wiskundige problemen oplossen en computercode schrijven met een snelheid die die van menselijke experts evenaart. Maar een cruciale vraag blijft voor zowel docenten als ouders: wanneer een leerling probeert te leren, doet het er dan toe wie de uitleg geeft? Is er een fundamenteel verschil tussen een oplossing die door een persoon is gecreëerd en een die door een machine is gegenereerd, en kan een leerling het verschil zien? Deze vraag staat centraal in een recente studie die onderzoekt hoe leerlingen percepties hebben van uitleg bij moeilijke programmeertaken, specifiek wanneer die uitleg wordt geleverd door een digitaal personage in plaats van door een levend persoon.

De onderzoekers, een team van wetenschappers van universiteiten in Kazachstan, zetten zich scharpe om de grenzen van deze opkomende technologie te testen met een groep van zevenendertig middelbare scholieren. Dit waren geen beginners; de deelnemers waren vijftien tot zeventien jaar oud en kwamen van een gespecialiseerde school die bekend staat om het trainen van leerlingen voor wiskunde- en wetenschapswedstrijden. Ze hadden al jarenlang geleerd programmeren, waarbij velen al in de basisschool waren begonnen. Het doel was om te zien of deze ervaren jonge programmeurs het verschil konden zien tussen oplossingen geschreven door een menselijke instructeur en oplossingen geproduceerd door een groot taalmodel, een type kunstmatige intelligentie dat in staat is om tekst en code te genereren. Om de test eerlijk te maken en elke bias op basis van iemands stem of uiterlijk te voorkomen, gebruikten de onderzoekers een 3D-geanimeerd personage, of avatar, om de uitleg te geven. Dit digitale figuur sprak met een door de computer gegenereerde stem, waardoor de leerlingen niet konden vertrouwen op menselijke aanwijzingen zoals toon of emotie om de bron van het antwoord te raden.

Het experiment was gestructureerd als een reeks uitdagingen. De leerlingen kregen vijf verschillende programmeerproblemen te zien, elk vergezeld van een oplossing en een uitleg. Deze problemen waren afkomstig van een populair online platform dat wordt gebruikt door competitieve programmeurs. Voor elk probleem werd de uitleg gegeven door dezelfde 3D-avatar, maar de bron van de code varieerde. In sommige gevallen kwamen de code en de uitleg van een menselijke expert die het probleem op de website had opgelost. In andere gevallen werd de code gegenereerd door een systeem van kunstmatige intelligentie. De leerlingen keken naar de avatar die de oplossing uitlegde, en vervolgens kregen ze een reeks vragen. Ze moesten beoordelen hoe goed ze het materiaal begrepen, raden of de code door een mens of een machine was geschreven, en de avatar zelf evalueren. De onderzoekers controleerden ook of de eerdere ervaring van de leerlingen met programmeren of hun eerdere interacties met digitale avatars invloed hadden op hun vermogen om het verschil te ontdekken.

De resultaten van de studie boden een verrassend inzicht in hoe leerlingen met deze technologie omgaan. Wanneer hen werd gevraagd de bron van de code te identificeren, onthulde de data een genuanceerd patroon: deelnemers kozen vaker en beslister voor "geleverd door ChatGPT" voor taken die daadwerkelijk door ChatGPT waren geleverd. Echter, voor taken die door mensen waren geleverd, waren ze voorzichtiger en kozen ze de bron meer gelijkmatig tussen mens en AI. Dit suggereert dat hoewel leerlingen AI-gegenereerde inhoud met een zeker vertrouwen konden identificeren, het onderscheiden van menselijke oplossingen uitdagender was, wat leidde tot een mix van juiste en onjuiste gissingen in plaats van een duidelijke, consistente bekwaamheid om ze uit elkaar te houden. De leerlingen beoordeelden hun begrip van de oplossingen vergelijkbaar, ongeacht of de code van een persoon of een machine kwam. Bovendien toonde de studie aan dat de achtergrond van een leerling de uitkomst niet veranderde. Of een leerling nu in de basisschool of de middelbare school was begonnen met programmeren, of dat zij eerder met digitale assistenten hadden geïnteracteerd, had geen significante invloed op hun vermogen om de bron te onderscheiden of op hun niveau van betrokkenheid.

Hoewel de leerlingen niet gemakkelijk het verschil tussen de twee bronnen konden zien, was hun feedback op de leveringsmethode kritischer. De 3D-avatar, die diende als verteller voor zowel menselijke als machinale oplossingen, kreeg gemengde beoordelingen. Veel leerlingen merkten op dat de stem van het personage monotoon was en het natuurlijke ritme van de menselijke spraak miste. Ze wezen erop dat de bewegingen van de avatar soms repetitief waren en niet altijd overeenkwamen met de gesproken woorden, wat het moeilijker maakte om je te concentreren op de complexe logica van de code. Sommige leerlingen vonden dat het robotachtige karakter van het personage de leerervaring minder persoonlijk en moeilijker te volgen maakte. Ondanks deze kritiekpunten was de algemene stemming optimistisch. De meeste leerlingen geloofden dat dergelijke technologie in de toekomst nuttig zou kunnen zijn, met name als hulpmiddel om moeilijke concepten uit te leggen wanneer een docent niet beschikbaar is. Ze erkenden dat hoewel de huidige versie van de avatar gebreken vertoonde, verbeteringen in stem en animatie het een waardevolle toevoeging aan het onderwijs zouden kunnen maken.

De studie concludeert dat hoewel kunstmatige intelligentie in staat is om snel verklaringen te produceren die qua helderheid en nauwkeurigheid niet te onderscheiden zijn van menselijke verklaringen, het medium van levering nog steeds uitmaakt. De leerlingen waren bereid de technologie te accepteren als een leermiddel, maar ze identificeerden snel de beperkingen van de huidige digitale avatars. Het onderzoek suggereert dat naarmate deze instrumenten evolueren, de focus niet alleen moet verschuiven naar de kwaliteit van de code die ze genereren, maar naar de kwaliteit van de interactie die ze bieden. Voor docenten impliceren de bevindingen dat leerlingen binnenkort effectief kunnen leren van door machines gegenereerde inhoud, maar dat de menselijke aanraking van een docent uniek blijft in haar vermogen om te verbinden, aan te passen en betrokkenheid te tonen op een manier die een statische, monotone avatar nog niet kan evenaren. De toekomst van het onderwijs zal waarschijnlijk een partnerschap inhouden tussen menselijke docenten en intelligente machines, maar de weg naar dat partnerschap vereist het verfijnen van de digitale instrumenten om ze net zo boeiend te maken als de mensen die ze bedoeld zijn te ondersteunen.