LLM-Generated Design Problems for Assessing Higher-Order Thinking in Project-Based Learning

Stel je voor dat je in een kookles zit waarbij het hele semester in het teken staat van het beheersen van de kunst van het maken van de perfecte pizza. Je leert het deeg te kneden, de saus te kiezen en het te bakken tot het goudbruin is. Aan het einde van het termijn beoordeelt de docent je meestal op de pizza die je daadwerkelijk hebt gemaakt. Maar hier is het probleem: alleen omdat je een geweldige pizza kunt maken, betekent niet dat je echt begrijpt waarom het werkt, of dat je diezelfde vaardigheden zou kunnen gebruiken om een taart te bakken of een kapotte oven te repareren. Je hebt misschien gewoon de stappen voor de pizza uit je hoofd geleerd, of je hebt hulp gekregen van een robotkok (zoals een AI) die het zware werk heeft gedaan terwijl jij alleen toekeek.

Dit is precies het puzzelstuk waar informatica docenten voor staan bij Projectgebaseerd Leren (PjBL). Studenten bouwen coole softwareprojecten, maar traditionele toetsen controleren vaak alleen of ze code kunnen kopiëren en plakken of een verslag kunnen schrijven over het specifieke ding dat ze gebouwd hebben. Ze missen het "hoger-orde denken" (HOT) — het vermogen om wat je hebt geleerd te nemen en toe te passen op een totaal nieuwe, lastige situatie.

Het Nieuwe Instrument: "Design Problems"

Om dit op te lossen, introduceerden de auteurs van dit artikel iets dat Design Problems (DP's) wordt genoemd. Denk aan deze als een "keukencchallenge" die direct na de pizzales plaatsvindt. In plaats van te vragen: "Laat je pizza zien," zegt de docent:

"Oké, stel je voor dat een ziekenhuis een systeem nodig heeft om te volgen hoe oudere patiënten hun vingers bewegen om gezondheidsproblemen te detecteren. Gebruik dezelfde logica die je voor je pizza-app gebruikte, en ontwerp een hoogwaardig plan voor dit nieuwe systeem. Je hebt 30 minuten."

Dit dwingt studenten om te stoppen met het simpelweg opzeggen van feiten en te beginnen met het overdragen van hun kennis. Ze moeten analyseren, evalueren en iets nieuws creëren, waarmee ze bewijzen dat ze de concepten echt begrijpen, en niet alleen de specifieke code die ze voor hun eindproject hebben geschreven.

De Robothelper: Kan AI de vragen schrijven?

Het creëren van deze lastige, nieuwe scenario-vragen is hard werk voor docenten. Het kost eeuwen om een fris scenario te bedenken dat bij elk individueel studentproject past. Daarom vroegen de onderzoekers: Kan een Large Language Model (LLM) — een superintelligente AI-chatbot — deze vragen voor ons schrijven?

Ze testten dit door twee verschillende AI-modellen (een standaard model en een "redenerend" model dat stap-voor-stap denkt) te vragen om 80 van deze Design Problems te genereren op basis van vier verschillende studentprojecten (zoals een beveiligingstool, een gedistribueerde game en een mobiele app).

Wat ze vonden:

• De AI is behoorlijk goed: De "redenerende" AI was vooral indrukwekkend. Het creëerde scenario's die realistisch waren en perfect aansloten bij de leerdoelen. Sterker nog, 50% van de door AI gegenereerde problemen kreeg een perfect cijfer van menselijke experts.
• De AI is niet perfect: Soms werd de AI lui. Het creëerde een scenario dat te veel leek op het originele project (zoals vragen om een pizza wanneer je al een pizza hebt gemaakt), of het maakte de vraag te vaag.
• Het oordeel: Het artikel suggereert dat AI een enorme hulp kan zijn, als een onvermoeibare assistent die de conceptversies van de vragen opstelt, maar een menselijke docent moet de vragen nog steeds controleren om te zorgen dat ze niet te makkelijk of verwarrend zijn.

De Klaslokaaltest: Hebben de studenten het begrepen?

De onderzoekers brachten deze door AI geschreven Design Problems vervolgens onder in drie echte universiteitsklassen. Ze gaven studenten 30 minuten de tijd om individueel één van deze nieuwe scenario's op te lossen.

Hier is de twist:
Toen ze de cijfers van de studenten op deze nieuwe Design Problems vergeleken met hun cijfers voor de oorspronkelijke semesterlange projecten, was er bijna geen verband.

• Sommige studenten waren "Meesters": Ze haalden een hoog cijfer voor het project en de nieuwe uitdaging.
• Sommigen waren "Implementers": Ze bouwden een geweldig project (misschien met hulp of door een recept te volgen) maar faalden voor de nieuwe uitdaging omdat ze de logica niet elders konden toepassen.
• Sommigen waren "Conceptualizers": Ze worstelden met het project maar excelleerden in de nieuwe uitdaging omdat ze de diepere concepten begrepen.

Dit bewijst dat traditionele projectcijfers niet het hele verhaal vertellen. Een student kan een geweldige app bouwen, maar nog steeds niet weten hoe hij als een ingenieur moet denken in een nieuwe situatie. De Design Problems legden dit verschil bloot.

Hoe de studenten daadwerkelijk dachten

De onderzoekers keken ook naar hoe studenten hun antwoorden typten (met behulp van toetsaanslaggegevens). Ze ontdekten dat studenten niet alleen maar furieus typten.

• Ze pauzeerden ongeveer 2 minuten aan het begin, waarschijnlijk om na te denken en te plannen.
• Ze verwijderden en herschreven delen van hun antwoorden (een "revisieratio" van ongeveer 12–16 karakters verwijderd voor elke 100 getypte karakters).
• Ze namen frequente pauzes (pauzes langer dan 10 seconden) tijdens het schrijven.

Dit gedrag suggereert dat studenten daadwerkelijk het zware mentale werk deden van het analyseren en synthetiseren van ideeën, in plaats van alleen maar te kopiëren en plakken.

Wat het artikel uitsluit

Het artikel is voorzichtig in wat deze methode niet is:

• Het is geen wondermiddel dat alle andere toetsing vervangt.
• Het is geen methode die perfect werkt als studenten AI mogen gebruiken tijdens de toets (daarom lieten de docenten hen dit in de klas doen, zonder telefoons).
• Het is geen manier om studenten te beoordelen op basis van hoe lang ze erover doen; de gegevens lieten zien dat meer tijd besteeden niet noodzakelijkerwijs leidde tot betere cijfers.
• Het is nog geen perfect systeem; het artikel merkt expliciet op dat het beoordelen van deze open eind antwoorden nog steeds subjectief is en moeilijk schaalbaar is zonder hulp.

De Kern van het Zaken

De studie suggereert dat het gebruik van AI om deze "Design Problems" te genereren een veelbelovende manier is om te controleren of studenten de concepten van informatica echt begrijpen, in plaats van alleen te memoriseren hoe je één specifiek ding bouwt. Het helpt docenten het verschil te zien tussen een student die een recept kan volgen en een student die een compleet nieuw gerecht kan bereiden. Hoewel de AI niet perfect is en menselijk toezicht nodig heeft, zou het de sleutel kunnen zijn om ervoor te zorgen dat studenten klaar zijn voor de echte wereld, waar problemen er nooit exact hetzelfde uitzien als de problemen die ze in de klas hebben geoefend.