Is Solving Better Than Evaluating GenAI Solutions?

Probleemstelling
De snelle vooruitgang van Generatieve AI (GenAI) en Large Language Models (LLM's) heeft het landschap van het computerwetenschappelijk onderwijs fundamenteel veranderd, met name in hogere studies met een zware theoretische component, zoals algoritmen. Hoewel LLM's syntactisch correcte code kunnen genereren en veel introductieproblemen kunnen oplossen, is er een groeiend pedagogisch debat over de vraag hoe het curriculum moet worden aangepast. De kernvraag die deze studie adresseert, is of het verschuiven van de rol van de student van oplossingsgeneratie naar oplossingsevaluatie — specif으로 door studenten vaak gebrekkige door GenAI gegenereerde oplossingen te laten beoordelen en bekritiseren — het conceptuele begrip en de leerresultaten kan verbeteren in vergelijking met traditionele probleemoplossing. Bestaande literatuur richt zich grotendeels op de capaciteiten van LLM's of de percepties van studenten, waarbij een gebrek is aan gecontroleerd empirisch bewijs met betrekking tot leerresultaten in post-introductie cursussen waar abstractie en bewijs-achtige redenering centraal staan.

Methodologie
De auteurs voerden een gerandomiseerde A/B crossover-studie (N=220) uit in een junior-niveau cursus "Introductie tot de Analyse van Algoritmen" aan de Purdue University tijdens het voorjaarssemester van 2025.

• Experimenteel Ontwerp: Studenten werden georganiseerd in werkgroepen en willekeurig toegewezen aan een van de twee condities: "Monte Carlo" (Groep B) of "Las Vegas" (Groep A). De studie maakte gebruik van een crossover-ontwerp waarbij de groepen halverwege het semester van conditie wisselden.
  • Conditie A (GenAI Evaluatie): Studenten kregen een gestandaardiseerde prompt om een oplossing te genereren met behulp van ChatGPT-4o. Hun taak was om de gegenereerde oplossing te evalueren, fouten te identificeren en te verklaren (waarbij onderscheid werd gemaakt tussen kleine bugs en grote logische fouten) en hun beoordeling te rechtvaardigen. Zij waren niet verplicht om een gecorrigeerde oplossing te leveren.
  • Conditie B (Traditionele Oplossing): Studenten losten dezelfde uitdagende algoritmische problemen rechtstreeks op, wat vereiste dat zij een algoritme ontwerpen, de correctheid bewijzen en de runtime analyseren.
• Interventie Omvang: De interventie paste toe op de vierde, meest moeilijke oefening van zes huiswerkopdrachten. De eerste drie oefeningen in elke opdracht waren identieke traditionele problemen voor alle studenten.
• Gegevensverzameling: De studie mat:
  1. Summatieve Prestaties: Resultaten van het tussentijdse examen, het eindexamen, algemene cijfers voor het vak en prestaties op specifieke examenvragen die structureel zijn afgestemd op de huiswerkinterventies.
  2. Huiswerkprestaties: Scores op de specifiek betreffende GenAI-evaluatie versus directe-oplossing oefeningen.
  3. Zelfgerapporteerde Gegevens: Enquêtes vóór het tussentijdse examen over comfort/zelfvertrouwen en enquêtes na het eindexamen over waargenomen nuttigheid en veranderingen in studiegewoonten.
• Analyse: De auteurs hanteerden een rigoureuze statistische analyse, inclus\n bij de aannames (normaliteit, homogeniteit van variantie), parametrische (t-toetsen) en non-parametrische (Mann-Whitney U, Wilcoxon signed-rank) toetsen, en berekeningen van effectgroottes (Cohen's d, rank-biserial r).

Belangrijkste Resultaten
De studie leverde verschillende cruciale bevindingen op met betrekking tot de effectiviteit van GenAI-evaluatie als pedagogisch instrument:

1. Geen Verschil in Summatief Leren: Er waren geen statistisch significante verschillen tussen de twee groepen wat betreft de scores op het tussentijdse examen, de scores op het eindexamen, de algemene cijfers voor het vak of de genormaliseerde verandering in examengeroute.
2. Geen Verschil in Transfer: Prestaties op examenvragen die specifiek ontworpen waren om de conceptuele inzichten te testen die in de GenAI-gebaseerde opdrachten werden benadrukt, vertoonden geen significant verschil tussen studenten die eerder AI-oplossingen hadden geëvalueerd versus studenten die de problemen rechtstreeks hadden opgelost.
3. Dispariteit in Huiswerkscores: Studenten behaalden significant hogere scores op de huiswerkitems tijdens de perioden waarin zij GenAI-oplossingen evalueerden vergeleken met wanneer zij problemen rechtstreeks oplosten. De auteurs merken echter op dat dit gelokaliseerde voordeel niet vertaalde naar downstream summatieve winsten.
4. Studiegewoonten en Percepties:
   • De meeste studenten (77%) rapporteerden dat de aangepaste opdrachten hun studiegewoonten niet hadden veranderd.
   • Onder de minderheid die wel rapporteerde hun studiestrategieën aan te passen, beoordeelden die studenten de GenAI-evaluatieopdrachten als aanzienlijk nuttiger dan degenen die hun gewoonten niet hadden veranderd.
   • Er was geen significant verschil tussen de groepen in waargenomen nuttigheid of gerapporteerd zelfvertrouwen voorafgaand aan het tussentijdse examen.

Belangrijkste Bijdragen

• Empirisch Bewijs in Hogere Studies: De studie levert zeldzaam gecontroleerd empirisch bewijs over de impact van GenAI op het leren in een theorie-zware algoritmen-cursus op een hoger niveau, waarmee het verder gaat dan de focus op introductie programmeren of de benchmarks van de capaciteiten van LLM's.
• Herverdeling van Inspanning: De bevindingen suggereren dat GenAI-evaluatietaken de inspanning van studenten herverdelen van open einde oplossing-constructie naar verificatie, diagnose en oordeel.
• Haalbaarheid zonder Verlies: De studie demonstreert dat het integreren van GenAI-evaluatieactiviteiten in algoritmen-cursussen niet resulteert in brede prestatieverliezen, wat suggereert dat het een levensvatbaar alternatief is voor traditionele probleemoplossing in termen van het behouden van basiscompetentie.
• Beperkingen van Simpele Evaluatie: Het onderzoek geeft aan dat het simpelweg vragen aan studenten om een AI-oplossing te "beoordelen" onvoldoende is om automatisch sterkere conceptuele transfer of leerwinst te produceren.

Betekenis en Claims
De auteurs concluderen dat hoewel GenAI-evaluatieactiviteiten in algoritmen-cursussen kunnen worden opgenomen zonder de algehele prestaties te schaden, ze niet automatisch superieure leerresultaten opleveren vergeleken met traditionele probleemoplossing. Het artikel betoogt dat de pedagogische waarde van dergelijke activiteiten waarschijnlijk afhangt van doelbewuste ondersteuning (scaffolding) die studenten verder pusht dan eenvoudige foutdiagnose.

De auteurs stellen dat voor betekenisvolle leerwinsten, toekomstige iteraties van deze opdrachten mogelijk het volgende moeten vereisen:

• Het identificeren van de eerste ongeldige stap in een argument.
• Het construeren van tegenvoorbeelden waar voorgestelde algoritmen falen.
• Het voorstellen van gecorrigeerde algoritmen of invarianten.
• Het uitleggen waarom de gecorrigeerde oplossing werkt.

De studie benadrukt dat de loutere aanwezigheid van AI-gegenereerde inhoud niet de drijfveer van leren is; in plaats daarvan bepaalt het specifieke ontwerp van de evaluatietaak de effectiviteit ervan. De auteurs pleiten voor toekomstig onderzoek om te onderzoeken welke vormen van ondersteuning deze activiteiten het meest effectief maken en om gevalideerde beoordelingsinstrumenten te ontwikkelen voor competenties zoals verificatie, kritiek en gekalibreerde afhankelijkheid van AI.