💻 computer science

Test-Driven, AI-Assisted Learning: Replacing Lectures with Weekly Closed-Book Tests

Dit ervaringsverslag beschrijft een 13-weense herontwerp van een cursus Theory of Computation aan de HKUST (Guangzhou), waarbij colleges worden vervangen door zelfgestuurd, AI-ondersteund leren en frequente gesloten examens, wat aantoont dat een AI-gestuurde materiaalproductie-harnas hoogfrequent testen schaalbaar kan maken terwijl studentenverantwoording en eerlijkheid behouden blijven.

Oorspronkelijke auteurs: Jin-Guo Liu, Shang-Qi Lu, Xin-Ran Shi, Long-Li Zheng, Wei Wang

Gepubliceerd 2026-06-23

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jin-Guo Liu, Shang-Qi Lu, Xin-Ran Shi, Long-Li Zheng, Wei Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Het "Tonen" vervangen door het "Controleren"

Stel je een kookles voor. In een traditionele les staat een beroemde chef voor de klas, snijdt groenten en legt het recept uit terwijl de studenten toekijken. De studenten knikken mee en hebben het gevoel dat ze het begrijpen. Maar als ze thuis gaan koken, kunnen ze het eten aanbranden omdat ze nooit zelf een mes hebben vastgehouden.

De auteurs van dit artikel probeerden een andere aanpak voor een moeilijk informaticavak (over hoe computers "denken" en problemen oplossen). Ze vroegen zich af: "Wat als we de chef stoppen met koken voor de klas, en in plaats daarvan de studenten elke week zelf laten koken, maar wel met een vangnet?"

Ze noemen dit TDAA (Test-Driven, AI-Assisted Learning).

Hoe het werkte: De machine met twee delen

De cursus had twee hoofdonderdelen die samenwerkten, zoals een fiets met twee wielen:

1. Het wiel van de student: "Oefenen, en dan bewijzen"

In plaats van naar colleges te luisteren, leerden de studenten op hun eigen tempo met behulp van:

AI-Tutors: Ze konden een AI (zoals een super slimme chatbot) vragen om concepten uit te leggen wanneer ze vastliepen.
Studiebladen: De docent leverde een "spiekbriefje" aan van wat er die week geleerd moest worden.
Oefenopdrachten: Ze kregen een reeks oefenvragen om te proberen.

De crux (De "Kwaliteitscontrole"):
Elke week was er een test van 30 minuten zonder hulpmiddelen.

Geen telefoons.
Geen AI.
Geen aantekeningen.
Alleen de student en de opdracht.

Denk hierbij aan een praktijkexamen voor een rijbewijs. Je kunt de handleiding zo vaak lezen en zo veel oefenen op een parkeerplaats als je wilt, maar je moet bewijzen dat je veilig kunt rijden zonder hulp voordat je je rijbewijs krijgt. Als je de wekelijkse test niet haalt, weet je dat je er nog niet klaar voor bent. Als je slaagt, ga je door naar de volgende stap.

2. Het wiel van de docent: De "AI-fabriek"

Je vraagt je misschien af: "Als de docent niet doceert, wat doet hij dan wel? En hoe beoordeelt hij elke week 18 testen?"

De docent gebruikte een speciale AI-"Harness" (een chique woord voor een set geautomatiseerde hulpmiddelen).

De Fabriek: De docent zei tegen de AI: "Dit is het tekstboek. Maak een studieblad, een oefentoets en een echte test voor volgende week."
De Inspecteur: De AI schreef de materialen, maar een tweede AI (de "Reviewer") controleerde op fouten.
De Menselijke Baas: Ten slotte keek de menselijke docent naar alles om te controleren of het perfect was voordat het aan de studenten werd verstrekt.

De Analogie: Stel je een bakkerij voor. De AI is de robotarm die het deeg mengt en het brood vormt. De menselijke docent is de hoofdbakker die het brood proeft om te control matter of het niet is aangebrand voordat het in de vitrine wordt geplaatst. Zonder de robot zou de bakker te moe zijn om elke week 12 weken aan brood te bakken. Zonder de bakker zou de robot misschien aangebrand brood serveren.

Wat gebeurde er? (De Resultaten)

Het artikel is een verslag van één specifieke klas met 18 studenten. Dit is wat zij ontdekten:

Studenten vonden de "Poort" prettig: Verrassend genoeg hadden de studenten geen hekel aan de wekelijkse testen. Ze vonden de testen eerlijk omdat ze een duidelijk pad hadden om zich op voor te bereiden (de studiebladen en oefenopdrachten). Ze zeiden dat de testen hen dwongen om echt te studeren in plaats van uitstelgedrag te vertonen.
De rol van de docent veranderde: De docent stopte met een "performer" (docent geven) te zijn en werd een "coach" en "architect". De docent besteedde minder tijd aan praten en meer tijd aan het corrigeren van de fouten van de AI en het helpen van studenten die echt vastliepen.
Het was haalbaar: Eén docent slaagde erin om deze hele cursus van 13 weken alleen te draaien. Zonder de AI-tools zou het maken van zoveel materiaal en het nakijken van de wekelijkse testen onmogelijk zijn geweest.

De Hobbels (Waar het schuurde)

Het was niet perfect. Het artikel geeft toe dat er een paar dingen verbeterd moeten worden:

Moeilijke onderwerpen: Wanneer de wiskunde echt moeilijk werd (zoals complexe bewijzen), waren de door AI gegenereerde uitleg soms te kort of verwarrend. Studenten wilden meer voorbeelden en afbeeldingen, wat de AI niet altijd goed kon bieden.
Het "Spiek"-risico: Studenten merkten dat als ze alleen de oefenopdrachten uit het hoofd leerden, ze de test konden halen zonder de diepere concepten echt te begrijpen. De docenten werken eraan om ervoor te zorgen dat de oefeningen en de test voldoende van elkaar verschillen om dit te voorkomen.

De Kernboodschap

Dit artikel beweert niet dat deze methode de "perfecte" manier is om iedereen voor altijd te onderwijzen. Het is slechts een bewijs van concept (proof of concept).

De belangrijkste les is een nieuw recept:

Geef niet alleen hoorcolleges. Laat studenten op hun eigen tempo leren met AI-hulp.
Test ze regelmatig zonder hulp om te controleren of ze het echt geleerd hebben.
Gebruik AI-tools om het saaie werk van het maken van testen en nakijken op te vangen, zodat de menselijke docent zich kan richten op kwaliteitscontrole en het helpen van studenten.

De auteurs delen hun "AI-fabriek" tools (de code en sjablonen) zodat andere docenten dit recept in hun eigen klaslokalen kunnen uitproberen.

Technisch overzicht: Test-Driven, AI-Assisted Learning (TDAA)

1. Probleemstelling

Traditioneel lecture-gebaseerd onderwijs creëert vaak "gestage betrokkenheid" (staged engagement), waarbij studenten weliswaar attent lijken, maar niet in staat zijn concepten zelfstandig toe te passen. Dit probleem wordt verergerd door Generatieve AI (GenAI), die de kosten voor het verkrijgen van uitleg en het voltooien van huiswerkopdrachten verlaagt, waardoor het signaal van individuele beheersing door de student verzwakt wordt. Hoewel AI potentieel biedt voor gepersonaliseerde feedback, introduceert het een kritieke uitdaging: hoe ontwerp je een cursus die AI inzet voor leren, terwijl er een rigoureus, verifieerbaar mechanisme behouden blijft om te garanderen dat studenten zonder hulp kunnen presteren. Bestaande beoordelingsmodellen worstelen met het vinden van een balans tussen de schaalbaarheid van AI-ondersteunde productie en de noodzaak van frequente, individuele verantwoordelijkheid met een hoge inzet.

2. Methodologie

Het artikel presenteert een ervaringverslag van een 13-weense herontwerp van DSAA 3071 (Theory of Computation) aan de Hong Kong University of Science and Technology (Guangzhou) in het voorjaar van 2026. De studie maakt gebruik van een Test-Driven, AI-Assisted (TDAA) model, dat traditionele colleges vervangt door een gekoppelde cyclus van studentenleren en AI-ondersteunde materiaalproductie.

De Studentencyclus (Leermodel)

Geen colleges: Studenten maken gebruik van zelfgestuurd studeren met behulp van voorbereide materialen en AI-agenten voor uitleg op het juiste moment (just-in-time).
Wekelijkse Closed-Book Gate: Elke week wordt afgesloten met een 30-minuten durende, strikt gesloten toets (geen AI, aantekeningen of internet) over de stof van de voorgaande week.
Voorbereidingsartefacten: Om ervoor te zorgen dat de strikte "gate" als eerlijk en niet als willekeurig wordt ervaren, krijgen studenten drie op elkaar afgestemde artefacten:
1. Learning Sheet: Definieert concepten, notatie en voorbeelden voor de week.
2. Validation Sheet: Oefenproblemen die zijn afgestemd op de learning sheet.
3. Test Sheet: De closed-book beoordeling, vooraf geschreven binnen dezelfde reikwijdte.
Beoordelingsstructuur: 30% van het cijfer komt uit wekelijkse toetsen (geplafonneerd op 100/130 punten om de druk van strafpunten te verminderen), en 70% uit een eindexamen. Er zijn geen huiswerkopdrachten of projecten voor thuis.

De Productiecyclus (De Harness)

Om de productie en beoordeling van hoogwaardige materialen op wekelijkse basis haalbaar te maken voor een enkele docent, hebben de auteurs een versiebeheerde AI-agent werkruimte (de "harness") geïmplementeerd.

Pipeline: Een driestaps proces bestaande uit een AI Writer (stelt concepten op), een AI Reviewer (signaleert hiaten en fouten) en een Human Approver (finale goedkeuring).
Agent Architectuur: Agenten werken als tool-gebruikende loops (lezen, bewerken, schrijven, zoeken) binnen een Git-repository. Ze maken gebruik van een projectspecificatie (bijv. AGENTS.md), een kennisbank (leerboek omgezet naar Markdown) en een reeks benoemde skills (bijv. generate-week, review-tests, grade-homework).
Human-in-the-Loop: AI handelt de concepten, de eerste beoordeling en routinematige beoordeling af. Mensen voeren de finale goedkeuring van materialen uit en escaleren gevallen waarbij de beoordeling onzeker is. AI treedt nooit op bij de closed-book gate.

3. Belangrijkste Bijdragen

Het artikel draagt een herbruikbaar ontwerppatroon en een open-source startertemplate voor de course-materials harness bij.

Het TDAA-patroon: Een koppeling van hoogfrequente, strikte closed-book toetsing (om individuele verantwoordelijkheid te waarborgen) met AI-ondersteunde materiaalproductie (om schaalbaarheid te garanderen).
De Harness: Een publieke, versiebeheerde werkruimte die docenten in staat stelt om wekelijkse cursusbundels te genereren, te beoordelen en te graden. Het scheidt de automatisering van repetitieve taken van het oordeelsvermogen dat vereist is voor pedagogische afstemming en foutcorrectie.
Bewijs van Operationele Haalbaarheid: Demonstratie dat een enkele docent een 13-weense cursus kan ondersteunen met wekelijkse closed-book toetsen en directe feedback door het automatiseren van concepten en routinematige beoordeling via agenten, mits er een menselijke controlelaag aanwezig is.

4. Resultaten

Gegevens werden verzameld van $N=18$ studenten via een enquête aan het einde van het semester, wekelijkse testscores en een git-history audit van de productiepipeline.

Studentenacceptatie (RQ1): Studenten accepteerden het collegevrije ontwerp over het algemeen.
- Perceptie: 56% rapporteerde dat het format zowel "dieper als sneller" was dan traditionele colleges. De gemiddelde overeenstemmingsscores waren hoog voor leerdiepte (5.50/7) en verwachtingen qua retentie (5.17/7).
- Verantwoordelijkheid: De wekelijkse toets werd gerangschikt als het tweede meest gemiste onderdeel als deze zou worden verwijderd; studenten zagen het als een noodzakelijke stimulans om te studeren en als een middel voor zelfcontrole.
- Bereikbaarheid: De "gate" was strikt maar haalbaar; 80,1% van alle testobservaties scoorde minstens 100/130 punten, en de wekelijkse medianen bereikten consistent de 100-punten credit-cap.
Rol van de Docent (RQ2): De rol van de docent verschoof van expositie naar diagnose en coaching.
- Studenten vroegen nog steeds om gerichte mini-lectures voor moeilijke concepten (bijv. reducties, NP-volledigheid) en merkten beperkingen op in hun vermogen om AI-fouten zelf te corrigeren.
- De harness verminderde de terugkerende tijd van personeel van een geschatte 7–10 uur/week (traditioneel) naar 4–5 uur/week (TDAA), voornamelijk door het automatiseren van het opstellen van concepten en de eerste beoordeling.
Productiekwaliteit (RQ2):
- Materiaalgeneeratie: AI-gegenereerde learning sheets waren schaalbaar bruikbaar, maar vereisten menselijke controle. Eén instantie van een "plausibele maar foutieve bewijs-shortcut" werd opgemerkt door de reviewer.
- Testbetrouwbaarheid: Een git-audit van 273 antwoord-sleutel blokken toonde aan dat 96,3% geen post-release semantische reparaties vereiste, wat aangeeft dat agenten grotendeels correcte formele sleutels kunnen produceren.
- Beoordeling: AI-ondersteunde beoordeling slaagde erin routinematige zaken af te handelen, waarbij de harness onzekere gevallen naar mensen doorstuurde. De 100-punten cap beperkte de impact van kleine onzekerheden in de beoordeling.
Ontwerpspanningen (RQ3):
- Scaffolding: Bewijs-zware onderwerpen (bijv. PSPACE, reducties) werden als "te beknopt" ervaren, wat wijst op een behoefte aan betere scaffolding en meer uitgewerkte voorbeelden.
- Validation Trap: Studenten vertrouwden soms te veel op de validation sheet voor patroonherkenning in plaats van diep begrip.
- Verbeteringssignalen: Studenten vroegen om meer voorbeelden, een bank met oefenproblemen en AI-workflow gidsen, in plaats om minder toetsen.

5. Betekenis en Claims

Het artikel formuleert zijn bijdrage bescheiden als een ervaringverslag en een herbruikbaar ontwerppatroon, waarbij expliciet wordt vermeden om causale claims te maken over leerwinst vanwege het gebrek aan een controlegroep en pre/post-testen.

Kernclaim: Het TDAA-ontwerp toont aan dat hoogfrequente closed-book toetsing individuele verantwoordelijkheid kan waarborgen in een AI-rijke omgeving, terwijl een AI-ondersteunde harness de operationele last van een dergelijk systeem haalbaar maakt voor een enkele docent.
Betekenis: Het biedt een concrete oplossing voor de "beoordelingscrisis" in het tijdperk van GenAI, door aan te tonen dat AI kan worden geïntegreerd in de productie van onderwijs zonder de verificatie van leren in gevaar te brengen.
Beperkingen: De studie is beperkt tot één kleine, bewijs-zware cursus ( $N=18$ ) zonder controlegroep. De workload-cijfers zijn planning-schattingen en de git-audit is beschrijvend in plaats van een formele benchmark. De auteurs merken op dat de overdracht naar grotere of niet-bewijs-gebaseerde cursussen een hypothese is voor toekomstig werk.

De auteurs concluderen dat de rol van de docent niet is verdwenen, maar is verschoven naar het ontwerpen van leertrajecten, het toezicht houden op AI-gegenereerde materialen en het diagnosticeren van verwarring die zelfgestuurd werk niet oplost. De vrijgegeven harness dient als een praktisch instrument voor andere docenten om dit model te reproduceren.