Beyond AI Delegation: A Prompt Pattern Framework for Productive Struggle and Evaluative Judgement in Secure Coding Education

Technische Samenvatting: Voorbij AI-delegatie: Een Prompt-Pattern Framework voor Productieve Strijd en Evaluatief Oordeel in Veiligheidscoderingsonderwijs

Probleemidentificatie
De snelle integratie van Generatieve AI (GenAI) in het hoger onderwijs heeft een "delegatiedynamiek" geïntroduceerd waarbij studenten cognitieve taken – schrijven, analyse en probleemoplossing – uitbesteden aan geautomatiseerde systemen. Hoewel dit directe resultaten oplevert, omzeilt het de "Productieve Strijd" (PS), een cruciale pedagogische fase waarin leerlingen worstelen met taken die hun huidige competentie overstijgen om kennisstructuren te herorganiseren. Op gebieden zoals computerbeveiliging, waar oppervlakkig begrip aanzienlijke risico's met zich meebrengt, is het vermogen om code te genereren zonder redenering schadelijk. Bovendien wordt het vermogen tot "Evaluatief Oordeel" (EJ) – het vermogen om kritisch de kwaliteit van werk te beoordelen, inclusief door AI gegenereerde output – vaak aangetast wanneer studenten passief AI-oplossingen consumeren. Huidige institutionele reacties, zoals het verbieden van tools of het herontwerpen van toetsen om AI te detecteren, worden onhoudbaar geacht. Het kernprobleem is het gebrek aan praktische richtlijnen voor docenten over hoe AI in cursussen kan worden geïntegreerd zonder de cognitieve rol van de student te vervangen.

Methodologie
De auteurs maken gebruik van Design Science Research (DSR) om een praktisch artefact te ontwikkelen en te demonstreren: een taxonomie van prompt-engineeringpatronen die zijn gekoppeld aan pedagogische doelen. Het onderzoek volgde vier fasen:

1. Probleemidentificatie: Het definiëren van de erosie van PS en het ontbreken van richtlijnen voor integratie.
2. Doelstellingen: Het creëren van een artefact dat specifiek genoeg is voor cursustaken, algemeen genoeg voor diverse CS-onderwerpen, en gebaseerd is op gevestigde pedagogische constructen (PS en EJ).
3. Artefactontwerp: De auteurs hebben HE-literatuur doorgelicht om PS en EJ te identificeren als sleutelcompetenties die door GenAI worden bedreigd. Zij synthetiseerden een taxonomie door promptpatronen uit software-engineeringcatalogi (specifiek White et al. en Pai) aan te passen, deze te organiseren in vier categorieën en elk te koppelen aan specifieke pedagogische functies (bijvoorbeeld het bieden van scaffolding voor analyse, het oproepen tot vergelijking).
4. Demonstratie: Het framework werd aanvankelijk ingezet in een masteropleiding onderzoeksmethoden om studentengebruik te observeren. Vervolgens pasten de auteurs het framework toe om een volledige module te ontwerpen voor een "Geavanceerde Veiligheidscodering"-cursus met behulp van het DELTA-framework (Context, Doelen, Activiteiten, Toetsing, Reflectie) om de toepasbaarheid te demonstreren.

Belangrijkste Bijdragen
Het paper introduceert een taxonomie van negen promptpatronen die zijn ontworpen om studentagentie in door AI verrijkt leren te behouden. Deze patronen zijn gecategoriseerd en gekoppeld aan pedagogische functies:

• Output-aanpassing:
  • Persona: Vormt de AI-toon om te fungeren als een consistente gesprekspartner (bijvoorbeeld een sceptische code-reviewer) in plaats van een antwoordmachine.
  • Sjabloon: Dwingt gestructureerde output af (bijvoorbeeld gestandaardiseerde kwetsbaarheidsrapporten) om studenten te helpen bij het ontleden en evalueren.
• Foutidentificatie:
  • Fact-checklijst: Vereist dat de AI onderliggende feitelijke claims op een rij zet, waardoor deze zichtbaar en controleerbaar worden.
  • Reflectie: Vraagt de AI om zijn eigen redeneringsgrenzen te articuleren, waardoor gaten worden blootgelegd voor studentonderzoek.
• Promptverbetering:
  • Cognitieve Verificator: Breekt problemen op in expliciete stappen (chain-of-thought) om een zichtbare redeneertrace te creëren die studenten kunnen volgen of uitdagen.
  • Vraagverfijning: De AI verbetert de vage vragen van de student, waardoor probleemformulering wordt aangeleerd.
  • Alternatieve Benaderingen: Genereert meerdere opties om vergelijking af te dwingen en acceptatie van de eerste oplossing te voorkomen.
• Interactie:
  • Omgekeerde Interactie: De AI stelt vragen (Socratische methode) in plaats van antwoorden te geven, waardoor de student in de redenerende rol blijft.
  • Spel: Kader de interactie als een simulatie (bijvoorbeeld aanvaller versus verdediger) om betrokkenheid te behouden.

Resultaten en Toepassing
Het framework werd toegepast op een Veiligheidscodering-module op masterniveau. Het ontwerp gebruikte drie specifieke patronen om leeractiviteiten te ondersteunen:

1. Gestuurde Kwetsbaarheidsontdekking: Met behulp van het Omgekeerde Interactie-patroon identificeerden studenten SQL-injectiefouten door één voor één vragen van de AI te beantwoorden. Dit behield de Productieve Strijd door ervoor te zorgen dat de student de analyse uitvoerde voordat bevestiging werd ontvangen.
2. Vergelijkende Remediatie: Met behulp van de Alternatieve Benaderingen- en Sjabloon-patronen werden studenten verplicht om drie verschillende mitigatiestrategieën (bijvoorbeeld geparameteriseerde queries versus ORM) in een tabel voor te stellen en te vergelijken. Dit oefende expliciet Evaluatief Oordeel uit door rechtvaardiging van trade-offs te vereisen in plaats van eenvoudige selectie.
3. Gesuperviseerde Implementatie: Met behulp van het Cognitieve Verificator-patroon refactoriseerden studenten code terwijl de AI een stap-voor-stap redeneertrace leverde. Dit stelde studenten in staat de logica van de AI te betwisten of te bevestigen, waardoor een audittrail voor toetsing werd gecreëerd.

Het toetsingsontwerp (chatlogs, schriftelijke rechtvaardigingen, gerefactoreerde code en pull request-beschrijvingen) was zo opgezet dat het bestand is tegen academisch wangedrag, omdat het uitbesteden van het hele proces zou leiden tot een gebrek aan analytische diepgang in de logs en redenering.

Betekenis en Aanspraken
Het paper beweert dat het framework een repliceerbare aanpak biedt voor het ontwerpen van door AI verrijkte leerervaringen die studentredenering behouden. Door engineering-promptpatronen te koppelen aan pedagogische doelen, biedt de taxonomie docenten een vocabulaire om AI-interacties doelbewust te structureren. De auteurs positioneren dit als een noodzakelijke verschuiving van "beperking" naar "ontwerp", en betogen dat goed gekozen prompts het specifieke type denken kunnen afdwingen dat een cursus beoogt te ontwikkelen.

De auteurs blijven bescheiden wat betreft de reikwijdte van hun claims. Zij erkennen dat de beschreven veiligheidscoderingsmodule een ontwerpartefact is en dat de eerste implementatie plaatsvond in een andere context (onderzoeksmethoden) zonder gecontroleerde meting. Bijgevolg claimt het paper geen empirisch bewijs voor verbeterde studentenprestaties of betrokkenheid. In plaats daarvan legt het een gestructureerde basis voor toekomstige empirische evaluatie in live cursussituaties, met de opmerking dat de taxonomie moet worden behandeld als een versieerd artefact dat vatbaar is voor verfijning naarmate LLM-capaciteiten evolueren. De primaire bijdrage is conceptueel: het overbruggen van de kloof tussen pedagogische intentie en praktisch cursusontwerp in het tijdperk van GenAI.