Assessing the Social Validity of Canvas LMS-Based Cybersecurity Online Modules in High School STEM Classes

Technische Samenvatting: Beoordeling van de Sociale Validiteit van Canvas LMS-gebaseerde Online Cybersecurity-modules in High School STEM-klassen

Probleemstelling
Cybersecurity is een integraal onderdeel van het dagelijks leven geworden, wat dringende publieke bewustwording en educatie noodzakelijk maakt. Ondanks de integratie van cybersecurity in de STEM-curricula van het voortgezet onderwijs, is er een gebrek aan onderzoek naar het meten van de sociale validiteit—de mate van sociale acceptatie en geschiktheid van interventiedoelen, procedures en uitkomsten—van online cybersecurity-modules die via een Learning Management System (LMS) worden aangeboden. Bovendien blijft de mate waarin de technologische zelfeffectiviteit van studenten hun perceptie van deze modules beïnvloedt, onderbelicht. Deze studie adresseert de noodzaak om de sociale validiteit van Canvas LMS-gebaseerde cybersecurity-modules voor high school-studenten te evalueren en om te bepalen of technologische zelfeffectiviteit fungeert als een significante voorspeller van deze validiteit.

Methodologie
De studie maakte gebruik van een mixed-methods benadering waarbij 30 high school-studenten (groepen 9–12) van een publieke STEM-school in het zuiden van de Verenigde Staten werden betrokken. De interventie bestond uit tien online modules ontwikkeld op het Canvas LMS, die tien eenheden besloegen variërend van cyberethiek en privacy tot metaverse-beveiliging en carrièrekaders. De modules maakten gebruik van instructiefontwerpcomponenten zoals gesequenceerde video's (5–10 minuten), hands-on activiteiten, simulaties, online discussies en quizzen.

• Gegevensverzameling: Deelnemers voltooiden een enquête bestaande uit vijf 5-punts Likert-schaalvragen die sociale validiteit maten (bijv. verbeterd begrip, interesse en vertrouwen) en drie vragen die technologische zelfeffectiviteit maten (navigeren door tools, volgen van leersequenties en zelfregulatie). Daarnaast verzamelden vijf open vragen kwalitatieve gegevens over de voorkeurs- en minst geprefereerde onderwerpen en de algemene ervaringen.
• Kwantitatieve Analyse: Vanwege de kleine steekproefomvang en het ordinale karakter van de Likert-data (samengevoegd tot een 4-punts schaal omdat er geen "strongly disagree"-responsen werden geregistreerd), gebruikten de auteurs een cross-classified Bayesian cumulative link mixed effects model (CLMM). Dit model hield rekening met de hiërarchische structuur van de gegevens (items genest binnen studenten) en maakte gebruik van zwak informatieve priors om overfitting te voorkomen. Het model schatte logit-coëfficiënten en odds ratio's voor de relatie tussen de technologische zelfeffectiviteit-voorspellers en de sociale validiteitsscores.
• Kwalitatieve Analyse: Open antwoorden werden geanalyseerd met behulp van woord-netwerkanalyse. Tekstpreprocessing omvatte tokenisatie, lowercase-conversie en het verwijderen van stopwoorden. Co-occurrentie van woorden werd in kaart gebracht in ongerichte grafen, en centraliteitsmaten (degree, betweenness, closeness en eigenvector) werden berekend met behulp van het igraph-pakket. Gemeenschapsstructuren werden geïdentificeerd met behulp van het Leiden-algoritme om clusters van sentiment en topic-associatie te visualiseren.

Belangrijkste Resultaten

• Sociale Validiteitsscores: Het Bayesian CLMM onthulde dat studenten sociale validiteit vaker in het lagere tot middenbereik rapporteerden (scores 3 of lager) vergeleken met de hoogste score (5). Specifiek waren de cumulatieve log-odds van een score van 4 of lager significant hoger dan een score van 5 (logit-coëfficiënt = 6,09; Odds Ratio [OR] = 441,18). Geen enkele student koos voor "strongly disagree", en de reacties waren over het algemeen positief, hoewel schaars aan de extremen.
• Impact van Technologische Zelfeffectiviteit: De studie vond een statistisch significante positieve relatie tussen technologische zelfeffectiviteit en sociale validiteitsscores.
  • Zelfregulatie: De sterkste voorspeller was zelfregulatie en monitoringsgedrag tijdens de instructie. Voor elke eenheid stijging in de zelfeffectiviteit van zelfregulatie, nam de kans op een hogere sociale validiteitsscore toe met 3,70 keer (logit-coëfficiënt = 1,31; OR = 3,70; 95% BI = 1,06 tot 16,09).
  • Leersequentie: Het effectief volgen van een leersequentie verhoogde de kans op een hogere score eveneens met 2,40 keer (OR = 2,40).
  • Navigatie: Vertrouwen in het navigeren door tools vertoonde een minimaal positief effect (OR = 1,17).
• Woordnetwerkbevindingen:
  • Voorkeursonderwerpen: Woorden zoals "cybersecurity", "metaverse" en "online" vertoonden een hoge degree centrality en waren verbonden met positieve sentimentwoorden zoals "interessant", "genieten" en "goed". Onderwerpen die betrekking hadden op "typen hackers" en "cyber ethiek" werden eveneens geprefereerd.
  • Minst Voorkeursonderwerpen: Woorden zoals "informatie", "lang", "videospel" en "metaverse" waren verbonden met negatieve sentimentwoorden ("minst", "niet leuk vinden"). Studenten noemden specifief de lengte van de video-inhoud en de discussiesecties als afschrikmiddelen.
  • Algemene Ervaring: Het woord "genieten" vertoonde een hoge centrality en was verbonden met "leren" en "programma", terwijl "informatie", "houden" en "veilig" duidelijke clusters vormden die de bruikbaarheid van de cursus weerspiegelen.

Belangrijkste Bijdragen

1. Methodologische Toepassing: De studie demonstreert het nut van Bayesian cumulative link mixed effects models voor het analyseren van sociale validiteitsgegevens in kleine educatieve settings met een kleine steekproef, wat een robuust alternatief biedt voor frequentistische benaderingen bij het werken met ordinale data en complexe random effect structuren.
2. Integratie van Woordnetwerken: Door woordnetwerkanalyse toe te passen op open enquêtevragen, biedt de studie een visuele en kwantitatieve validatie van studentensentimentpatronen, waarbij specifieke curriculumonderwerpen (bijv. metaverse, ethische hacking) worden gekoppeld aan positieve of negatieve affectieve reacties.
3. Empirisch Bewijs over Zelfeffectiviteit: Het onderzoek vestigt empirisch dat technologische zelfeffectiviteit, met name op het gebied van zelfregulatie en monitoring, een significante voorspeller is van sociale validiteit in online cybersecurity-educatie. Dit suggereert dat studenten die zich in staat voelen hun eigen leerproces in een digitale omgeving te beheren, de interventie eerder als valide en passend zullen ervaren.

Betekenis en Claims
De auteurs beweren dat de studie de sociale validiteit van het gebruik van Canvas LMS-gebaseerde modules als aanvullende instructiemethode voor high school STEM-cybersecurity-onderwijs valideert. De bevindingen suggereren dat hoewel de modules over het algemeen worden geaccepteerd, hun effectiviteit nauw samenhangt met het vermogen van studenten om zichzelf te reguleren binnen de digitale leeromgeving.

De paper concludeert bescheiden dat hoewel de resultaten wijzen op overwegend positieve sentimenten en het potentieel van deze aanpak, de studie beperkingen kent. De kleine steekproefomvang (N=30) maakte het gebruik van Bayesiaanse methoden noodzakelijk, en het gebrek aan pre/post-test data betekent dat de studie perceptie (sociale validiteit) meet in plaats van kennisverwerving. De auteurs merken op dat sommige studenten de lengte van de inhoud en de asynchrone aard als onvoldoende ervoeren voor een diepgaand begrip, wat wijst op een behoefte aan expliciete begeleiding door docenten en hands-on demonstraties in toekomstige iteraties. Uiteindelijk ondersteunt de studie de democratisering van cybersecurity-onderwijs via online platforms, maar benadrukt ook de cruciale rol van de technologische zelfeffectiviteit van de student voor het succes van dergelijke interventies.