Integrated Validation Framework for Educational Module Development (IVF-EMD): A Systematic Evidence Synthesis of Validation Practices and Methodological Gaps

Les modules éducatifs sont des ensembles structurés de matériel pédagogique que les enseignants et les institutions utilisent pour guider les étudiants à travers une matière. Qu'il s'agisse d'une application numérique pour apprendre une nouvelle langue, d'un guide imprimé pour comprendre l'histoire locale ou d'un ensemble d'activités pour un cours de sciences, ces outils sont conçus pour résoudre des problèmes éducatifs spécifiques. Avant qu'un module ne soit publié pour une utilisation généralisée, les développeurs doivent prouver qu'il fonctionne. Ce processus, appelé validation, consiste à vérifier que le contenu est exact, qu'il fait sens pour les personnes qui l'utiliseront et qu'il aide réellement les étudiants à apprendre. Depuis des décennies, les chercheurs s'appuient sur des schémas établis, tels que le modèle ADDIE, pour organiser la création de ces outils. Ces schémas indiquent aux développeurs l'ordre dans lequel construire un produit : d'abord analyser le besoin, ensuite concevoir la solution, puis la créer, et enfin la tester. Cependant, un fossé est apparu entre le plan de construction d'un produit et la preuve que le produit est bon. Si les schémas nous disent comment construire un module, ils ne garantissent pas toujours que chaque étape de la preuve est connectée, laissant les développeurs avec des fragments de preuves qui ne forment pas un tableau complet.

Une équipe de chercheurs de l'Université de Malaya s'est donné pour mission de comprendre précisément comment cette preuve est actuellement recueillie. Ils ont mené une revue systématique, qui est une méthode consistant à collecter et analyser soigneusement de nombreuses études différentes pour dégager une vue d'ensemble. Ils ont examiné 51 études distinctes décrivant la création et le test de modules éducatifs. Leur objectif n'était pas d'inventer de nouvelles façons de tester ces outils, mais de voir comment les méthodes existantes étaient utilisées et où se situaient les lacunes. Ils ont recherché neuf types spécifiques de preuves que les chercheurs rassemblent habituellement : en commençant par une analyse des besoins pour voir si le module est nécessaire, l'avis d'experts, la vérification de l'exactitude du contenu, la demande aux utilisateurs si l'aspect est clair, la réalisation de petits tests d'essai, la vérification de la cohérence des tests, la vérification de la facilité d'utilisation, l'observation du fonctionnement dans une vraie salle de classe et, enfin, la mesure de l'amélioration réelle des résultats d'apprentissage.

Les chercheurs ont découvert que le domaine est plein de bonnes intentions mais souffre d'un manque de connexion. Presque toutes les études qu'ils ont examinées, soit 98 pour cent, ont commencé par identifier un besoin pour le module. Une grande majorité, environ 78 pour cent, a également fait appel à des experts pour réviser la conception, et 72 pour cent ont vérifié l'exactitude du contenu. Ces premières étapes étaient très courantes. Cependant, à mesure que le processus progressait, les preuves commençaient à se fragmenter. Moins d'études vérifiaient si le module était facile à utiliser pour les étudiants, et encore moins effectuaient les petits tests d'essai ou vérifiaient si les mesures étaient cohérentes. La baisse la plus significative s'est produite lorsque les chercheurs tentaient de prouver que le module fonctionnait dans une vraie salle de classe et améliorait réellement l'apprentissage. Bien que de nombreuses études prétendent avoir effectué ces dernières étapes, elles l'ont souvent fait sans avoir terminé les vérifications précédentes. Lorsque les chercheurs ont cherché les études ayant réalisé les neuf étapes de manière connectée, ils n'en ont trouvé que quatre. Cela signifie que moins de 8 pour cent des études ont fourni une chaîne de preuves complète, de l'idée initiale au résultat final.

Le problème central identifié n'est pas que les chercheurs échouent à tester leurs modules, mais qu'ils les testent de manière fragmentée. Un développeur peut avoir une revue d'expert parfaite et une vérification de contenu claire, mais passer à côté de l'étape consistant à voir si un étudiant peut réellement utiliser l'outil. Un autre pourrait passer directement à l'étape de voir si un module fonctionne dans une salle de classe sans jamais vérifier si le contenu était exact ou si l'outil était facile à utiliser. Cela crée une situation où un module peut être déclaré « validé » sur la base d'un seul élément de preuve, même si le tableau complet est manquant. Les chercheurs soutiennent que la validation ne doit pas être vue comme une liste de contrôle où l'on coche simplement des cases. Au lieu de cela, elle doit être perçue comme un processus de construction d'un argumentaire, où chaque pièce de preuve soutient une affirmation spécifique. Si un développeur affirme que son module est prêt pour la salle de classe, il a besoin de preuves d'utilisabilité. S'il affirme qu'il améliore l'apprentissage, il a besoin de preuves d'efficacité. La pratique actuelle saute souvent ces liens, rendant difficile de savoir ce qu'un module « validé » signifie réellement.

Pour remédier à cela, les chercheurs ont proposé une nouvelle façon d'organiser ces vérifications, appelée Cadre de Validation Intégré pour le Développement de Modules Éducatifs (Integrated Validation Framework for Educational Module Development). Ce cadre ne remplace pas les schémas existants pour la construction de modules. Au contraire, il se place aux côtés de ceux-ci, agissant comme une carte pour la preuve. Il regroupe les neuf types de vérifications en quatre domaines connectés. Le premier est la Validation de Fond (Foundation Validation), qui assure qu'il existe un réel besoin pour le produit. Le deuxième est la Validation de Conception (Design Validation), qui confirme que les experts et les vérifications de contenu soutiennent l'idée. Le troisième est la Validation du Produit (Product Validation), qui se concentre sur la question de savoir si l'outil fini est utilisable, cohérent et prêt pour un essai. Le dernier domaine est la Validation de Terrain (Field Validation), qui examine comment l'outil se comporte dans une vraie salle de classe et s'il atteint les résultats d'apprentissage souhaités.

Cette nouvelle structure souligne que ces domaines sont connectés et que les preuves des étapes ultérieures peuvent informer les étapes antérieures. Si un module échoue dans une vraie salle de classe, par exemple, cela peut signifier que la conception était défectueuse ou que le contenu était peu clair, nécessitant aux développeurs de revenir en arrière pour revérifier ces étapes précédentes. Le cadre suggère que la quantité de preuves dont un développeur a besoin doit correspondre à la force de l'affirmation qu'il fait. Un simple prototype pourrait seulement avoir besoin de prouver qu'il s'agit d'une bonne idée et qu'il est correct, tandis qu'un outil destiné à un usage national nécessite la preuve qu'il fonctionne dans de vraies salles de classe. En organisant la preuve de cette manière, le cadre aide les chercheurs et les développeurs à être plus honnêtes et précis sur ce que leurs modules peuvent et ne peuvent pas faire. L'étude conclut que bien que les outils pour tester les modules éducatifs existent, le domaine a besoin d'un meilleur système pour connecter ces éléments, garantissant que le produit final est soutenu par un récit de preuves complet et cohérent.