Integrated Validation Framework for Educational Module Development (IVF-EMD): A Systematic Evidence Synthesis of Validation Practices and Methodological Gaps

Educatieve modules zijn gestructureerde pakketten van leermaterialen die docenten en instellingen gebruiken om studenten door een onderwerp te begeleiden. Of het nu gaat om een digitale app voor het leren van een nieuwe taal, een gedrukte gids voor het begrijpen van lokale geschiedenis, of een reeks activiteiten voor een wetenschapsles, deze hulpmiddelen zijn ontworpen om specifieke educatieve problemen op te lossen. Voordat een module wordt vrijgegeven voor breed gebruik, moeten ontwikkelaars bewijzen dat deze werkt. Dit proces, bekend als validatie, houdt in dat er wordt gecontroleerd of de inhoud accuraat is, of het logisch is voor de mensen die het zullen gebruiken, en of het studenten daadwerkelijk helpt om te leren. Decennialang hebben onderzoekers vertrouwd op gevestigde blauwdrukken, zoals het ADDIE-model, om de creatie van deze hulpmiddelen te organiseren. Deze blauwdrukken vertellen ontwikkelaars in welke volgorde ze een product moeten bouwen: eerst de behoefte analyseren, dan de oplossing ontwerpen, dan het creëren, en tot slot het testen. Er is echter een kloof ontstaan tussen het plan voor het bouwen van een product en het bewijs dat het product goed is. Hoewel de blauwdrukken ons vertellen hoe we een module moeten construeren, zorgen ze niet altijd ervoor dat elke stap van het bewijs met elkaar verbonden is, waardoor ontwikkelaars achterblijven met stukjes bewijs die geen compleet beeld vormen.

Een team onderzoekers van de Universiteit van Malaya zette zich in om precies te begrijpen hoe dit bewijs momenteel wordt verzameld. Ze voerden een systematische review uit, wat een methode is om zorgvuldig veel verschillende studies te verzamelen en te analyseren om het grote plaatje te vinden. Ze onderzochten 51 afzonderlijke studies die de creatie en het testen van educatieve modules beschreven. Hun doel was niet om nieuwe manieren te verzinnen om deze hulpmiddelen te testen, maar om te zien hoe de bestaande methoden werden gebruikt en waar de hiaten lagen. Ze zochten naar negen specifieke soorten bewijs die onderzoekers gewoonlijk verzamelen: beginnend met een behoefteanalyse om te zien of de module noodzakelijk is, het verkrijgen van deskundige meningen, het controleren van de inhoud op nauwkeurigheid, vragen aan gebruikers of het duidelijk oogt, het uitvoeren van kleine proeftesten, het controleren of de testen consistent zijn, kijken of het gemakkelijk in gebruik is, het observeren van de werking in een echte klasomgeving, en tot slot meten of het daadwerkelijk de leerresultaten verbetert.

De onderzoekers ontdekten dat het veld vol goede bedoelingen zit, maar lijdt aan een gebrek aan verbinding. Bijna elke studie die zij beoordeelden, 98 procent, begon met het identificeren van een behoefte aan de module. Een grote meerderheid, ongeveer 78 procent, bracht ook experts binnen om het ontwerp te beoordelen, en 72 procent controleerde of de inhoud accuraat was. Deze vroege stappen waren zeer gebruikelijk. Echter, naarmate het proces vorderde, begon het bewijs uiteen te vallen. Minder studies controleerden of de module gemakkelijk voor studenten te gebruiken was, en nog minder voerden de kleine proeftesten uit of controleerden of de metingen consistent waren. De meest significante daling vond plaats wanneer onderzoekers probeerden te bewijzen dat de module werkte in een echte klasomgeving en daadwerkelijk het leren verbeterde. Hoewel veel studies beweerden deze laatste stappen te hebben doorlopen, deden ze dat vaak zonder de eerdere controles te hebben voltooid. Toen de onderzoekers zochten naar studies die alle negen stappen op een verbonden manier hadden uitgevoerd, vonden zij er slechts vier. Dit betekent dat minder dan 8 procent van de studies een volledige keten van bewijs leverde, van het initiële idee tot het uiteindelijke resultaat.

Het kernprobleem dat werd geïdentificeerd, is niet dat onderzoekers erin falen hun modules te testen, maar dat ze ze in fragmenten testen. Een ontwikkelaar heeft misschien een perfect deskundig oordeel en een duidelijke inhoudelijke controle, maar slaat dan de stap over om te zien of een student het hulpmiddel daadwerkelijk kan gebruiken. Een ander springt misschien direct naar het kijken of een module werkt in een klaslokaal, zonder ooit te controleren of de inhoud accuraat was of of het hulpmiddel gemakkelijk in gebruik is. Dit creëert een situatie waarin een module als " gevalideerd" kan worden verklaard op basis van één enkel stuk bewijs, zelfs als het volledige plaatje ontbreekt. De onderzoekers stellen dat validatie niet gezien moet worden als een checklist waarbij je simpelweg vakjes afvinkt. In plaats daarvan moet het worden beschouwd als een proces van het opbouwen van een zaak, waarbij elk stuk bewijs een specifieke claim ondersteunt. Als een ontwikkelaar beweert dat hun module klaar is voor het klaslokaal, hebben ze bewijs van bruikbaarheid nodig. Als ze beweren dat het leren verbetert, hebben ze bewijs van effectiviteit nodig. De huidige praktijk slaat deze schakels vaak over, waardoor het moeilijk is om precies te weten wat een "gevalideerde" module eigenlijk betekent.

Om dit op te lossen, stelden de onderzoekers een nieuwe manier voor om deze controles te organiseren, genaamd het Integrated Validation Framework for Educational Module Development. Dit framework vervangt de bestaande blauwdrukken voor het bouwen van modules niet. In plaats daarvan staat het ernaast, als een kaart voor het bewijs. Het groepeert de negen soorten controles in vier verbonden domeinen. Het eerste is Foundation Validation, dat ervoor zorgt dat er een echte behoefte aan het product is. Het tweede is Design Validation, dat bevestigt dat deskundigen en inhoudelijke controles het idee ondersteunen. Het derde is Product Validation, dat zich richt op de vraag of het voltooide hulpmiddel bruikbaar, consistent en klaar voor een proef is. Het laatste domein is Field Validation, dat kijkt naar hoe het hulpmiddel presteert in een echte klasomgeving en of het de gewenste leerresultaten bereikt.

Deze nieuwe structuur benadrukt dat deze domeinen verbonden zijn en dat bewijs uit latere stadia de eerdere stadia kan informeren. Als een module bijvoorbeeld faalt in een echte klasomgeving, kan dit betekenen dat het ontwerp gebrekkig was of de inhoud onduidelijk, wat ontwikkelaars ertoe aanzet om terug te gaan en die eerdere stappen opnieuw te controleren. Het framework suggereert dat de hoeveelheid bewijs die een ontwikkelaar nodig heeft, in verhouding moet staan tot de sterkte van de claim die zij maken. Een eenvoudig prototype hoeft alleen maar te bewijzen dat het een goed idee is en er goed uitziet, terwijl een hulpmiddel bedoeld voor nationaal gebruik bewijs nodig heeft dat het werkt in echte klaslokalen. Door het bewijs op deze manier te organiseren, helpt het framework onderzoekers en ontwikkelaars om eerlijker en nauwkeuriger te zijn over wat hun modules wel en niet kunnen doen. De studie concludeert dat hoewel de hulpmiddelen om educatieve modules te testen bestaan, het veld een beter systeem nodig heeft om deze te verbinden, zodat het eindproduct wordt ondersteund door een volledig en samenhangend verhaal van bewijs.