Learning Profiling with Automated Feedback for Supporting the Assessment of Cybersecurity Education

Technische Samenvatting: Leerprofielvorming met Automatische Feedback ter Ondersteuning van de Beoordeling van Cybersecurity-onderwijs

Probleemstelling
Het onderwijs in cybersecurity staat voor aanzienlijke uitdagingen op het gebied van het schalen van effectieve beoordeling en personalisatie. Hoewel traditionele methoden variëren van passief leren tot hands-on oefeningen in cyber ranges en gegamificeerde Capture the Flag (CTF)-scenario's, worstelen bestaande benaderingen met objectieve leerlingbeoordeling, de schaalbaarheid van feedback en personalisatie. Huidige scoresystemen vertrouwen vaak op eenvoudige puntaccumulatie, wat tekortschiet in het vastleggen van de nuances van vaardigheidsontwikkeling, zoals de benodigde tijd, het aantal pogingen of de afhankelijkheid van hints. Bovendien is handmatige supervisie onvoldoende voor grote groepen, en vereisen bestaande adaptieve frameworks vaak complexe, foutgevoelige handmatige configuratie van fijnmazige prestatiegewichten voor elke taalfase. Er is een kritiek gat in het bieden van continue, geïndividualiseerde leerlingprofielvorming en automatische, beschrijvende feedback die adaptieve leertrajecten kan sturen zonder de instructoren te overbelasten.

Methodologie
De auteurs stellen een innovatief profielmodel voor dat is geïntegreerd binnen een cyber range-omgeving (specifiek de Brno University of Technology Cyber Arena, of BUTCA) om deze hiaten aan te pakken. De methodologie bestaat uit drie primaire componenten:

1. Kwantitatief Profielmodel:
   Het systeem evalueert de prestaties van de leerling over een reeks scenario's ($S_i$) die meerdere taken ($T_{ij}$) bevatten. Het model berekent een gewogen profielscore ($\tilde{P}_w(S_i)$) door drie kerndimensies te normaliseren en te aggregeren:

   • Prestatiescore ($\tilde{p}$): Afgeleid van basispunten, aangepast voor taakcomplexiteit ($C_{ij}$) en bestraft voor het gebruik van hints ($r_{ij}$) en onjuiste definitieve antwoorden ($r_{ijq}$).
   • Tijdefficiëntie ($\tilde{\Delta t}$): Het verschil tussen de werkelijke oplossingstijd en de verwachte tijd, genormaliseerd om excessieve duur te bestraffen, terwijl beloningen voor extreem snelle voltooiing worden afgekapt.
   • Nauwkeurigheid ($\tilde{E}$): Het relatieve aantal onjuiste pogingen, genormaliseerd door de taakcomplexiteit.

   Deze dimensies worden gecombineerd met behulp van globale gewichten ($w_1, w_2, w_3$) om een scalaire score $\pi(S_i) \in [0, 1]$ te produceren. Deze score bepaalt de overgang van de leerling naar het volgende scenario ($S_y$) via een deterministische functie, wat effectief adaptieve leertrajecten creëert die de moeilijkheidsgraad afstemmen op de evoluerende behoeften van de leerling.

2. Geautomatiseerd Feedbackgeneratiesysteem:
   Om numerieke profielgegevens om te zetten in pedagogische inzichten, maakt het systeem gebruik van Large Language Models (LLMs). Om de beperkingen van het contextvenster aan te pakken en de nauwkeurigheid van gegevens te waarborgen, maken de auteurs gebruik van een deterministische preprocessing-pipeline in Python. Deze pipeline filtert en aggregeert ruwe gegevens (taakscores, tijd, pogingen, hints) tot gestructureerde JSON-payloads voordat ze aan de LLM worden doorgegeven.

   • Studentfeedback: Wordt gegenereerd via een specifiek prompt-schema om gepersonaliseerde samenvattingen te bieden, sterktes en zwaktes te identificeren, fouten in toetsen uit te leggen en vervolgstappen aan te bevelen.
   • Instructeurfeedback: Wordt gegenereerd via een apart schema om geaggregeerde groepsstatistieken te bieden, groepsprestaties te vergelijken met wereldwijde benchmarks en lastige of gemakkelijke taken te benadrukken op basis van collectieve gegevens.
   • LLM-opties: Het systeem ondersteunt zowel lokale LLM's (bijv. Gemma-7b-it) voor gegevensprivacy als cloudgebaseerde API's (bijv. Llama-3-70B, GPT-4.1-mini) voor schaalbaarheid, waarbij de preprocessing-stap ervoor zorgt dat ruwe gebruikersgegevens niet direct aan het model worden blootgesteld op een manier die de contextlimieten schendt.

3. Integratie-omgeving:
   Het model werkt binnen een CTF-gebaseerde workflow waarin studenten interageren met geïsoleerde sandbox-omgevingen (virtuele machines). Gegevensverzameling vindt plaats op de operationele laag, analytics op de managementlaag en de levering van feedback op de leerlaag.

Belangrijkste Bijdragen
Het artikel beschrijft drie primaire bijdragen:

• Een Innovatief Profielmodel: Een geformaliseerde methode voor het beoordelen van de prestaties van leerlingen tijdens hands-on training die verder gaat dan eenvoudige puntentelling door tijd, pogingen en hintgebruik te includeren, genormaliseerd en gewogen om een holistisch profiel te produceren.
• Geautomatiseerd Feedbacksysteem: Een dual-output systeem dat geïndividualiseerde, beschrijvende feedback genereert voor studenten (inclusexcept sterkte/zwakte-analyse en uitleg van fouten) en geaggregeerde prestatiesamenvattingen voor instructeurs, allemaal aangedreven door LLM's en een deterministische datapipeline.
• Empirische Validatie: Een casestudy die de technische haalbaarheid van de aanpak demonstreert binnen een echte cyber range-omgeving, waarbij het profielmodel wordt geïntegreerd met automatische feedbackgeneratie.

Resultaten
De voorgestelde aanpak werd gevalideerd via een casestudy met 35 derdejaars studenten Informatiebeveiliging aan de Brno University of Technology. De studenten voltooiden een enkel trainingsscenario gericht op penetratietesten en veerkracht tegen flooding/logische aanvallen, bestaande uit acht taken van variërende moeilijkheid.

• Technische Haalbaarheid: De studie bevestigde dat het profielmodel erin slaagde scores te berekenen en scenario-transities te bepalen.
• Feedbackgeneratie: Het systeem genereerde succesvol gestructureerde feedback met behulp van zowel lokale (Gemma-7b-it) als cloudgebaseerde (Llama-3-70B, GPT-4.1-mini) LLM's. De deterministische preprocessing-pipeline beheerde de grote hoeveelheid gegevens (ca. 97k tokens) effectief door deze te reduceren tot payloads die voldoen aan de contextlimieten.
• Outputkwaliteit: De gegenereerde feedback bevatte gepersonaliseerde scenario-samenvattingen, analyse van onderwerpbegrip, identificatie van sterktes/zwaktes en gedetailleerde uitleg voor onjuiste antwoorden op toetsen, evenals geaggregeerde statistische inzichten voor de instructeur.

Betekenis en Claims
De auteurs positioneren dit werk als een datagestuurde methode om de kloof in de beoordeling van cybersecurity-onderwijs te overbruggen. Zij beweren dat zij door het integreren van profielvorming met automatische feedback, het systeem:

• Beoordeling Objectiveert: Verder gaat dan eenvoudige puntentelling om een genuanceerd beeld van de competentie van de leerling te geven op basis van meerdere prestatie-indicatoren.
• Personalisatie Mogelijk Maakt: Faciliteert continue ontwikkeling door adaptieve leertrajecten aan te bevelen die aansluiten bij het huidige behendigheidsniveau van de leerling.
• Instructeurs Ondersteunt: Vermindert de cognitieve belasting voor docenten door geaggregeerde inzichten te bieden en de noodzaak voor handmatige, fijnmazige gewichtskalibratie voor elke taalfase te elimineren, een beperking die in eerdere adaptieve frameworks werd geïdentificeerd.
• Schaalbaarheid: Demonstreert dat automatische profielvorming en feedback kunnen worden ingezet in gecontroleerde cyber range-omgevingen om gestructureerde, geïndividualiseerde beoordelingen voor leerlingen en geaggregeerde samenvattingen voor instructeurs te ondersteunen.

Het paper sluit bescheiden af door te stellen dat de casestudy de technische haalbaarheid van de aanpak aantoont, wat bijdraagt aan een methode voor objectieve beoordeling en gepersonaliseerde training, terwijl erkend wordt dat toekomstige onderzoeksrichtingen nog openstaan.