Assessing Learning Processes with Multimodal Data in Virtual Reality Learning Environments
Dit artikel stelt voor om gebruik te maken van multimodale data, specifiek logbestanden en verbale interacties uit een VR-escape room, om verder te gaan dan traditionele retentietesten en de redeneerprocessen en metacognitieve vaardigheden die betrokken zijn bij immersief leren beter te beoordelen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je probeert uit te zoeken hoe iemand leert een lastige puzzel op te lossen. In de oude dagen vroegen leraren gewoon: "Heb je het juiste antwoord gekregen?" en gaven ze een cijfer. Maar dat is alsof je een chef beoordeelt alleen op de vraag of de taart lekker smaakt, zonder ooit naar hem te kijken terwijl hij snijdt, mengt of proeft onderweg. Je mist het hele verhaal van hoe hij het heeft bereid. Dit is het probleem waar wetenschappers in de wereld van Virtual Reality (VR) onderwijs mee worstelen. VR is als een magisch videospel waarin je een digitale wereld kunt binnenstappen, maar op dit moment is het moeilijk te bepalen of een student daadwerkelijk diep nadenkt of gewoon willekeurig op knoppen drukt totdat er iets werkt. Om dit op te lossen, kijken onderzoekers naar "multimodale data". Denk aan het verzamelen van aanwijzingen vanuit elke hoek: niet alleen de eindscore, maar ook de snelheid van hun bewegingen, het pad dat ze namen en zelfs de woorden die ze hardop zeggen terwijl ze werken. De grote vraag is: kunnen we deze digitale voetafdrukken en gesproken gedachten gebruiken om te zien of een student echt zijn brein gebruikt of gewoon gokt?
Dit artikel is als een detectiveverhaal dat zich afspeelt in een spookachtig, verlaten huis in een VR-game. De onderzoekers bouwden een speciale escape room waar spelers logische puzzels moeten oplossen om te ontsnappen. Sommige puzzels zijn makkelijk, zoals het water geven van een plant, maar de laatste "eindbaas"-puzzel is een complexe logische raster die echte hersenkracht vereist. Ze nodigden 14 mensen uit om te spelen, en terwijl de spelers de puzzels oplosten, nam de computer stiekem elke beweging die ze maakten op. Maar hier komt de twist: de onderzoekers hadden ook een menselijke waarnemer die vragen naar de spelers fluisterde, waarbij ze hen vroeg om hun denken hardop uit te leggen, zoals: "Wat neem je hier aan?" of "Hoe heb je dat zo uitgefigureerd?".
Het team wilde zien of ze het verschil konden zien tussen een speler die slimme logische strategieën gebruikte en iemand die gewoon aan het gokken was. Ze ontdekten dat alleen kijken naar de spelgegevens niet genoeg was. Zo voltooiden sommige spelers de puzzel bijvoorbeeld erg snel, wat normaal gesproken als een overwinning oogt. Maar toen de onderzoekers naar de audio-opnames luisterden, realiseerden ze zich dat die snelle spelers eigenlijk gewoon hun weg naar het juiste antwoord aan het gokken waren. Eén speler plaatste bijvoorbeeld een marker op het bord en zei: "Ik ga maar gewoon een gokje wagen en dat doen... laten we eens kijken hoe dat afloopt." Zonder de stemopname zou de computer alleen een correcte zet hebben gezien en gedacht: "Geweldig, ze zijn een genie!" Maar de stem onthulde dat ze gewoon de dobbelstenen aan het gooien waren.
De studie suggereert dat de diepte van wat mensen zeggen belangrijker is dan hoe snel ze gaan. De onderzoekers maten hoe diep de gedachten van de spelers gingen, waarbij ze de antwoorden beoordeelden van eenvoudige observaties (zoals "Ik zie een wortel") tot complexe planning (zoals "Als ik de bonen hier leg, moet de pasta daarheen"). Ze ontdekten dat spelers die op diepere en meer geplande manieren spraken, veel beter waren in het gebruiken van werkelijke logica om de puzzel op te lossen. Sterker nog, hoe dieper de reflectie, hoe groter de kans dat de speler logisch redeneerde in plaats van gokte.
Dus, wat betekent dit? Het artikel suggereert dat om echt te begrijpen hoe mensen leren in VR, we niet alleen naar de scorebord of hoe snel ze klaar zijn kunnen kijken. We moeten naar ze luisteren. De onderzoekers stellen voor dat door de computerlog van bewegingen te combineren met de gesproken gedachten van de speler, we een veel duidelijker beeld van hun leerproces kunnen opbouwen. Ze zeggen niet dat ze het hele mysterie al hebben opgelost; dit is een studie "in wording". Maar het geeft een sterke hint dat als we echte probleemoplossende vaardigheden in virtuele werelden willen meten, we aandacht moeten hebben voor de woorden die studenten zeggen terwijl ze aan het uitzoeken zijn, en niet alleen voor het eindresultaat.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.