Integrated Validation Framework for Educational Module Development (IVF-EMD): A Systematic Evidence Synthesis of Validation Practices and Methodological Gaps

I moduli educativi sono pacchetti strutturati di materiali didattici che gli insegnanti e le istituzioni utilizzano per guidare gli studenti attraverso una materia. Che si tratti di un'app digitale per imparare una nuova lingua, di una guida stampata per comprendere la storia locale o di un insieme di attività per una classe di scienze, questi strumenti sono progettati per risolvere problemi educativi specifici. Prima che un modulo venga rilasciato per l'uso diffuso, gli sviluppatori devono dimostrare che funzioni. Questo processo, noto come validazione, consiste nel verificare che il contenuto sia accurato, che abbia senso per le persone che lo utilizzeranno e che aiuti effettivamente gli studenti a imparare. Per decenni, i ricercatori si sono affidati a modelli consolidati, come il modello ADDIE, per organizzare la creazione di questi strumenti. Questi modelli indicano agli sviluppatori l'ordine in cui costruire un prodotto: prima analizzare il bisogno, poi progettare la soluzione, poi crearla e infine testarla. Tuttavia, è emersa una lacuna tra il piano per costruire un prodotto e la prova che il prodotto sia buono. Mentre i modelli ci dicono come costruire un modulo, non garantiscono sempre che ogni passaggio della prova sia connesso, lasciando gli sviluppatori con frammenti di evidenza che non formano un quadro completo.

Un team di ricercatori dell'Università di Malaya si è posto l'obiettivo di capire esattamente come questa prova venga attualmente raccolta. Hanno condotto una revisione sistematica, che è un metodo di raccolta e analisi attenta di molti studi diversi per trovare il quadro generale. Hanno esaminato 51 studi separati che descrivevano la creazione e il test di moduli educativi. Il loro obiettivo non era inventare nuovi modi per testare questi strumenti, ma vedere come venivano utilizzati i metodi esistenti e dove risiedessero le lacune. Hanno cercato nove tipi specifici di evidenza che i ricercatori solitamente raccolgono: partendo da un'analisi dei bisogni per vedere se il modulo è necessario, ottenendo pareri da esperti, controllando l'accuratezza del contenuto, chiedendo agli utenti se risulti chiaro, eseguendo piccoli test pilota, controllando se i test siano coerenti, verificando se sia facile da usare, osservando il funzionamento in una classe reale e, infine, misurando se migliora effettivamente i risultati dell'apprendimento.

I ricercatori hanno scoperto che il campo è pieno di buone intenzioni ma soffre di una mancanza di connessione. Quasi ogni studio esaminato, il 98 percento, iniziava identificando un bisogno per il modulo. Una grande maggioranza, circa il 78 percento, coinvolgeva anche esperti per revisionare il design, e il 72 percento controllava che il contenuto fosse accurato. Questi primi passaggi erano molto comuni. Tuttavia, man mano che il processo procedeva, l'evidenza iniziava a sfaldarsi. Meno studi controllavano se il modulo fosse facile da usare per gli studenti, e ancora meno eseguivano i piccoli test pilota o controllavano se le misurazioni fossero coerenti. Il calo più significativo si è verificato quando i ricercatori cercavano di dimostrare che il modulo funzionasse in una classe reale e migliorasse effettivamente l'apprendimento. Sebbene molti studi dichiarassero di aver compiuto questi passaggi finali, spesso lo facevano senza aver completato i controlli precedenti. Quando i ricercatori hanno cercato studi che avessero completato tutti i nove passaggi in modo connesso, ne hanno trovati solo quattro. Ciò significa che meno dell'8 percento degli studi ha fornito una catena completa di evidenze dall'idea iniziale al risultato finale.

Il problema centrale identificato non è che i ricercatori stiano fallendo nel testare i loro moduli, ma che li stiano testando in modo frammentario. Uno sviluppatore potrebbe avere una revisione degli esperti perfetta e un controllo del contenuto chiaro, ma poi saltare il passaggio di vedere se uno studente può effettivamente usare lo strumento. Un altro potrebbe passare direttamente a vedere se un modulo funziona in una classe senza mai controllare se il contenuto fosse accurato o se lo strumento fosse facile da usare. Questo crea una situazione in cui un modulo potrebbe essere dichiarato "validato" sulla base di un singolo pezzo di evidenza, anche se il quadro completo è mancante. I ricercatori sostengono che la validazione non debba essere vista come una checklist dove si spuntano semplicemente delle caselle. Inveve, dovrebbe essere vista come un processo di costruzione di un caso, in cui ogni pezzo di evidenza supporta una specifica affermazione. Se uno sviluppatore afferma che il suo modulo è pronto per la classe, ha bisogno di evidenza di usabilità. Se afferma che migliora l'apprendimento, ha bisogno di evidenza di efficacia. La pratica attuale spesso salta questi collegamenti, rendendo difficile sapere esattamente cosa significhi un modulo "validato".

Per risolvere questo problema, i ricercatori hanno proposto un nuovo modo di organizzare questi controlli, chiamato Integrated Validation Framework for Educational Module Development (Quadro di Validazione Integrata per lo Sviluppo di Moduli Educativi). Questo framework non sostituisce i modelli esistenti per la costruzione dei moduli. Al contrario, si posiziona accanto ad essi, agendo come una mappa per l'evidenza. Raggruppa i nove tipi di controlli in quattro domini connessi. Il primo è la Validazione Fondamentale (Foundation Validation), che assicura che ci sia un reale bisogno per il prodotto. Il secondo è la Validazione del Design (Design Validation), che conferma che gli esperti e i controlli del contenuto supportino l'idea. Il terzo è la Validazione del Prodotto (Product Validation), che si concentra su quanto lo strumento finito sia utilizzabile, coerente e pronto per un test. L'ultimo dominio è la Validazione sul Campo (Field Validation), che osserva come lo strumento si comporta in una classe reale e se raggiunge i risultati di apprendimento desiderati.

Questa nuova struttura enfatizza che questi domini sono connessi e che l'evidenza delle fasi successive può informare quelle precedenti. Se un modulo fallisce in una classe reale, ad esempio, potrebbe significare che il design era difettoso o il contenuto poco chiaro, richiedendo agli sviluppatori di tornare indietro e ricontrollare quei passaggi precedenti. Il framework suggerisce che la quantità di prova di cui uno sviluppatore ha bisogno debba corrispondere alla forza dell'affermazione che sta facendo. Un semplice prototipo potrebbe solo aver bisogno di dimostrare che sia una buona idea e che sia corretto, mentre uno strumento destinato all'uso nazionale ha bisogno di prove che funzioni nelle classi reali. Organizzando l'evidenza in questo modo, il framework aiuta i ricercatori e gli sviluppatori a essere più onesti e precisi su ciò che i loro moduli possono e non possono fare. Lo studio conclude che, sebbene gli strumenti per testare i moduli educativi esistano, il campo ha bisogno di un sistema migliore per connetterli, assicurando che il prodotto finale sia supportato da una storia di evidenze completa e coerente.