Assessing Learning Processes with Multimodal Data in Virtual Reality Learning Environments
Dieses Paper schlägt vor, multimodale Daten, insbesondere Logdateien und verbale Interaktionen aus einem VR-Escape-Room, zu nutzen, um über traditionelle Retentionstests hinauszugehen und die beteiligten Denkprozesse sowie metakognitiven Fähigkeiten beim immersiven Lernen besser zu bewerten.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen herauszufinden, wie jemand lernt, ein kniffliges Rätsel zu lösen. In den alten Zeiten hätten Lehrer einfach gefragt: „Hast du die richtige Antwort gefunden?“ und eine Note gegeben. Aber das ist so, als würde man einen Koch nur danach beurteilen, ob der Kuchen gut schmeckt, ohne jemals dabei zuzusehen, wie er schneidet, mischt oder probiert. Man verpasst die ganze Geschichte davon, wie er gekocht hat. Dies ist das Problem, mit dem sich Wissenschaftler in der Welt der Virtual Reality (VR)-Bildung befassen. VR ist wie ein magisches Videospiel, in dem man in eine digitale Welt eintauchen kann, aber im Moment ist es schwer festzustellen, ob ein Schüler tatsächlich tiefgründig nachdenkt oder einfach nur wahllos Knöpfe drückt, bis etwas funktioniert. Um dies zu beheben, untersuchen Forscher „multimodale Daten“. Betrachten Sie dies als das Sammeln von Hinweisen aus jedem Blickwinkel: nicht nur die Endpunktzahl, sondern auch die Geschwindigkeit ihrer Bewegungen, den Weg, den sie nahmen, und sogar die Wörter, die sie laut aussprechen, während sie arbeiten. Die große Frage ist: Können wir diese digitalen Fußabdrücke und gesprochenen Gedanken nutzen, um zu sehen, ob ein Schüler wirklich sein Gehirn benutzt oder nur rät?
Diese Arbeit ist wie eine Detektivgeschichte, die in einem gruseligen, verlassenen Haus in einem VR-Spiel spielt. Die Forscher bauten ein spezielles Escape-Room-Szenario, in dem Spieler Logikrätsel lösen müssen, um zu entkommen. Einige Rätsel sind einfach, wie etwa eine Pflanze zu gießen, aber das abschließende „Boss“-Rätsel ist ein komplexes Logikgitter, das echte Gehirnschmalz erfordert. Sie luden 14 Personen ein, um zu spielen, und während die Spieler die Rätsel lösten, zeichnete der Computer heimlich jede einzelne Bewegung auf, die sie machten. Aber hier ist die Wendung: Die Forscher hatten auch einen menschlichen Beobachter, der den Spielern Fragen zuflüsterte und sie bat, ihr Denken laut zu erklären, wie zum Beispiel: „Was nimmst du hier an?“ oder „Wie bist du darauf gekommen?“.
Das Team wollte sehen, ob sie den Unterschied zwischen einem Spieler, der kluge logische Strategien anwendet, und einem, der einfach nur rät, erkennen können. Sie fanden heraus, dass es nicht ausreichte, nur die Spieldaten zu betrachten. Zum Beispiel beendeten einige Spieler das Rätsel sehr schnell, was normalerweise wie ein Sieg aussieht. Doch als die Forscher die Audioaufnahmen anhörten, stellten sie fest, dass diese schnellen Spieler in Wirklichkeit nur sich auf das richtige Ergebnis herangerätselt hatten. Ein Spieler zum Beispiel setzte einen Marker auf das Brett und sagte: „Ich werde jetzt einfach mal raten und das machen … mal sehen, wie das ausgeht.“ Ohlich die Sprachaufnahme hätte der Computer nur eine korrekte Bewegung gesehen und gedacht: „Toll, sie sind ein Genie!“ Aber die Stimme enthüllte, dass sie nur Würfel rollten.
Die Studie deutet darauf an, dass die Tiefe dessen, was die Menschen sagen, wichtiger ist als die Geschwindigkeit, mit der sie vorankommen. Die Forscher maßen, wie tief die Gedanken der Spieler gingen, indem sie ihre Antworten von einfachen Beobachtungen (wie „Ich sehe eine Karotte“) bis hin zu komplexer Planung (wie „Wenn ich die Bohnen hierhin lege, muss die Pasta dort hingehen“) bewerteten. Sie fanden heraus, dass Spieler, die auf eine tiefere, geplantere Weise sprachen, viel besser darin waren, tatsächliche Logik zu verwenden, um das Rätsel zu lösen. Tatsächlich war, je tiefer die Reflexion war, desto wahrscheinlicher war es, dass der Spieler logisches Denken anstelle von Raten anwandte.
Was bedeutet das also? Die Arbeit legt nahe, dass wir, um wirklich zu verstehen, wie Menschen in VR lernen, nicht nur auf die Punktetafel oder darauf schauen können, wie schnell sie fertig werden. Wir müssen ihnen zuhören. Die Forscher schlagen vor, dass wir, indem wir die Protokolle der Bewegungen des Computers mit den gesprochenen Gedanken des Spielers kombinieren, ein viel klareres Bild ihres Lernprozesses zeichnen können. Sie sagen nicht, dass sie das ganze Rätsel bereits gelöst haben; dies ist eine „Work-in-Progress“-Studie. Aber sie deutet stark an, dass wir, wenn wir echte Problemlösungsfähigkeiten in virtuellen Welten messen wollen, darauf achten müssen, welche Worte die Schüler sagen, während sie etwas herausfinden, und nicht nur auf das Endergebnis.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.