Assessing Learning Processes with Multimodal Data in Virtual Reality Learning Environments
Cet article propose de tirer parti de données multimodales, plus précisément des fichiers journaux et des interactions verbales issues d'un escape room en réalité virtuelle, afin de dépasser les tests de rétention traditionnels et de mieux évaluer les processus de raisonnement et les compétences métacognitives impliqués dans l'apprentissage immersif.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous essayez de comprendre comment quelqu'un apprend à résoudre un casse-tête complexe. Autrefois, les enseignants se contentaient de demander : « Avez-vous trouvé la bonne réponse ? » et attribuaient une note. Mais c'est comme juger un chef uniquement sur le goût du gâteau, sans jamais l'observer couper, mélanger ou goûter en cours de route. On passe à côté de toute l'histoire de sa façon de cuisiner. C'est le problème que les scientifiques tentent de résoudre dans le monde de l'éducation en Réalité Virtuelle (RV). La RV est comme un jeu vidéo magique où l'on peut plonger dans un monde numérique, mais pour l'instant, il est difficile de dire si un étudiant réfléchit réellement en profondeur ou s'il appuie simplement sur des boutons au hasard jusqu'à ce que quelque chose fonctionne. Pour corriger cela, les chercheurs s'intéressent aux « données multimodales ». Voyez cela comme la collecte d'indices sous tous les angles : pas seulement le score final, mais aussi la vitesse de leurs mouvements, le chemin qu'ils ont emprunté et même les mots qu'ils prononcent à voix haute pendant qu'ils travaillent. La grande question est la suivante : pouvons-nous utiliser ces empreintes numériques et ces pensées exprimées pour voir si un étudiant utilise vraiment son cerveau ou s'il devine simplement ?
Ce document est comme une histoire de détective se déroulant dans une maison hantée et abandonnée dans un jeu de RV. Les chercheurs ont construit une salle d'évasion spéciale où les joueurs doivent résoudre des énigmes logiques pour s'échapper. Certains puzzles sont faciles, comme arroser une plante, mais le puzzle final, le « boss », est une grille logique complexe qui nécessite une véritable puissance cérébrale. Ils ont invité 14 personnes à jouer et, pendant que les joueurs résolvaient les énigmes, l'ordinateur enregistrait secrètement chaque mouvement qu'ils faisaient. Mais voici le rebondissement : les chercheurs avaient également un observateur humain qui murmurait des questions aux joueurs, leur demandant d'expliquer leur raisonnement à voix haute, du type : « Qu'est-ce que tu présumes ici ? » ou « Comment as-tu trouvé cela ? ».
L'équipe voulait voir si elle pouvait faire la différence entre un joueur utilisant des stratégies logiques intelligentes et un joueur qui ne fait que deviner. Ils ont découvert que l'examen des seules données du jeu ne suffisait pas. Par exemple, certains joueurs ont terminé le puzzle très rapidement, ce qui ressemble généralement à une victoire. Mais lorsque les chercheurs ont écouté les enregistrements audio, ils ont réalisé que ces joueurs rapides étaient en fait en train de deviner leur chemin vers la bonne réponse. Un joueur, par exemple, a placé un marqueur sur le tableau et a dit : « Je vais juste tenter ma chance et faire ça... voyons ce que ça donne. » Sans l'enregistrement vocal, l'ordinateur aurait simplement vu un mouvement correct et aurait pensé : « Super, c'est un génie ! » Mais la voix a révélé qu'il ne faisait que jouer les dés.
L'étude suggère que la profondeur de ce que les gens disent importe plus que la rapidité avec laquelle ils agissent. Les chercheurs ont mesuré la profondeur des pensées des joueurs, classant leurs réponses allant de simples observations (comme « Je vois une carotte ») à une planification complexe (comme « Si je mets les haricots ici, les pâtes doivent aller là-bas »). Ils ont constaté que les joueurs qui s'exprimaient de manière plus profonde et planifiée étaient bien meilleurs pour utiliser une véritable logique afin de résoudre le puzzle. En fait, plus la réflexion est profonde, plus il est probable que le joueur utilise un raisonnement logique plutôt que de deviner.
Alors, qu'est-ce que cela signifie ? Le document suggère que pour comprendre réellement comment les gens apprennent en RV, nous ne pouvons pas nous contenter de regarder le tableau des scores ou la rapidité avec laquelle ils terminent. Nous devons les écouter. Les chercheurs proposent qu'en combinant le journal des mouvements de l'ordinateur avec les pensées exprimées par le joueur, nous pouvons construire une image beaucoup plus claire de son processus d'apprentissage. Ils ne disent pas qu'ils ont déjà résolu tout le mystère ; c'est une étude « en cours ». Mais cela suggère fortement que si nous voulons mesurer les véritables capacités de résolution de problèmes dans les mondes virtuels, nous devons prêter attention aux mots que les étudiants prononcent pendant qu'ils cherchent la solution, et pas seulement au résultat final.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.