Adapting homework design principles in modern Computer Science education to enhance learning outcomes and reduce unintended consequences

Technische Samenvatting: Het aanpassen van principes voor huiswerkontwerp in het moderne computerwetenschappelijk onderwijs

Probleemstelling
De snelle opkomst van Large Language Models (LLMs) en de proliferatie van online freelance-diensten hebben de authenticiteit en effectiviteit van traditioneel huiswerk voor Computer Science (CS) aangetast. Docenten ervaren een toenemende moeilijkheid om onderscheid te maken tussen door studenten gegenereerd werk en door AI ondersteunde of uitbesteed werk, met name in technische vakgebieden waar code en algoritmen direct gegenereerd kunnen worden. Deze uitdaging is verergerd door de verschuiving naar afstandsonderwijs, wat de mogelijkheden voor spontane, fysieke conceptuele discussies heeft verminderd. Traditionele beoordelingsmethoden, zoals "take-home examens" of statische code-inzendingen, zijn niet langer voldoende om echt begrip te verifiëren of academische oneerlijkheid te voorkomen. Het kernprobleem is hoe huiswerk opnieuw vorm te geven om authentieke betrokkenheid, kritisch denken en conceptueel meesterschap te bevorderen in een tijdperk waarin AI-tools plausibele technische oplossingen kunnen produceren.

Methodologie
De studie, uitgevoerd binnen standaard IT- en Engineering-curricula aan de ADA University, stelt een reeks casus-gebaseerde scenario's voor om de structuur van huiswerkontwerp te herzien. In plaats van AI-tools te verbieden, integreert de methodologie deze in het leer- en evaluatieproces via drie primaire strategieën:

1. Schermopname met Verbalisering:

   • Implementatie: Studenten zijn verplicht hun scherm op te nemen terwijl ze technische taken oplossen, waarbij zij mondelinge annotaties geven bij hun denkproces. Om authenticiteit te waarborgen, moeten opnames voorzien zijn van zichtbare tijdstempels, en kunnen studenten gevraagd worden specifieke acties uit te voeren (bijv. het wijzigen van een gedeeld bestand) tijdens de opname.
   • Evaluatie: De studie maakte gebruik van een steekproef van 34 video-inzendingen om AI-gebaseerde beoordeling te vergelijken met beoordeling door docenten. Kwantitatieve analyse omvatte de Pearson-correlatie ($r=0,512, p=0,00199$) en een gepaarde t-toets ($t=-3,266, p=0,00255$). De resultaten toonden een statistisch significante, matige positieve correlatie, hoewel het AI-systeem systematisch lagere cijfers toekende (gemiddeld verschil van 0,88 punten) en kritischer was met betrekking tot maximale scores.
   • Studentenfeedback: Enquêtes gaven een hoge waargenomen leerdoelmatigheid aan (scores van 7,72–8,17) en een positieve ontvangst van het format als een transitie naar moderne communicatiestijlen, ondanks aanvankelijke zorgen over de tijdsbelasting.

2. Kritische Vergelijking met LLM's (Zelfevaluatie):

   • Implementatie: In plaats van LLM's te verbieden, vereisen opdrachten dat studenten een oplossing genereren, een LLM gebruiken om een alternatieve oplossing te genereren, en deze vervolgens kritisch vergelijken. Studenten moeten fouten, inconsistenties of suboptimale benaderingen in de door AI gegenereerde code of diagrammen identificeren en hun eigen ontwerpkeuzes rechtvaardigen.
   • Toepassing: Deze aanpak werd toegepast op functionele programmeertaken (het vergelijken van imperatieve versus functionele implementaties) en database-normalisatie (het bekritiseren van door AI gegenereerde E-R diagrammen).
   • Doel: Dit verschuift de focus van de correctheid van de output naar de diepgang van het conceptuele begrip en het vermogen om technische oplossingen te bekritiseren.

3. Incrementeel Werken via Versiebeheer:

   • Implementatie: Om uitstelgedrag en "last-minute" uitbesteding tegen te gaan, moeten studenten hun werk incrementeel indienen in een GitHub-repository. De eisen omvatten een minimaal aantal commits (bijv. drie per week of vijf op verschillende dagen) en het gebruik van branches en Pull Requests.
   • Doel: Dit bevordert continue betrokkenheid, stelt docenten in staat om de evolutie van de oplossing te volgen, en ontwikkelt industrie-standaard vaardigheden in versiebeheer.

Belangrijkste Resultaten

• Cijferverdeling: De implementatie van opdrachten met schermopnames correleerde met een afname van het aantal laag scorende studenten en een verschuiving naar gemiddelde scores in zowel de cursussen "Production and Operations Management" als "Database Systems".
• AI versus Menselijke Beoordeling: Hoewel AI-beoordeling een systematische bias vertoonde naar lagere scores vergeleken met menselijke docenten, behield het de rangorde van de studentprestaties, wat duidt op potentieel voor gedeeltelijke automatisering van de beoordeling.
• Studentenperceptie: Studenten rapporteerden dat de vereiste voor verbale uitleg hen dwong tot een dieper begrip van het oplossingsproces in plaats van louter resultaatgeneratie. De methodologie werd waargenomen als een manier om de verantwoordelijkheid te vergroten en de afhankelijkheid van ongeverifieerde AI-outputs te verminderen.
• Vaardigheidsontwikkeling: De incrementele aanpak stimuleerde succesvol dagelijkse betrokkenheid en de ontwikkeling van soft skills zoals tijdmanagement en technische documentatie.

Betekenis en Claims
Het artikel stelt dat effectief opdrachtontwerp in het tijdperk van AI niet moet rusten op verbod, maar op adaptatie. Door gebruik te maken van iteratieve leercycli (lezen-begrijpen, vragen-doen-controleren) en continue voortgangsbewaking, kunnen docenten de academische integriteit handhaven en tegelijkertijd dieper conceptueel leren bevorderen.

De studie stelt het volgende:

1. Proces boven Product: Het verschuiven van de focus van de beoordeling van het uiteindelijke artefact naar het probleemoplossende proces (via video of commit-geschiedenis) weerspiegelt beter het begrip van de student.
2. AI als Pedagogisch Instrument: Het integreren van LLM's als een vergelijkend instrument voor zelfevaluatie versterkt het kritisch denken en voorkomt passieve afhankelijkheid van AI-outputs.
3. Structureel Ontwerp: De timing en structuur van deadlines, gecombineerd met vereisten voor versiebeheer, zijn cruciaal om uitstelgedrag te voorkomen en authentieke inspanning van de student te waarborgen.

De auteurs concluderen dat deze methodologieën praktische richtlijnen bieden voor docenten om beoordelingen te ontwerpen die studenten motiveren en hun begrip accuraat weergeven, hoewel zij erkennen dat er beperkingen zijn bij het toepassen van deze strategieën op niet-coderende disciplines of taken die complexe technische rapporten vereisen. Het artikel pleit voor een gebalanceerde aanpak die theoretische kennis combineert met praktische toepassing, om ervoor te zorgen dat studenten zowel technische bekwaamheid als het kritische denkvermogen ontwikkelen dat nodig is voor professionele engineering-rollen.