Assessing Learning Processes with Multimodal Data in Virtual Reality Learning Environments

技術要約：VR学習環境におけるマルチモーダルデータを用いた学習プロセスの評価

問題提起
現在の教育用バーチャルリアリティ（VR）研究は、従来の事前・事後コンテンツ保持テストに依存する傾向があり、没入型環境内における学習の微細な「プロセス」を捉えきれていない。VRは手続的スキルや感情的成果において有望視されているが、測定の限界により、コンテンツ保持に関する個別の研究結果は混在している。ゲーム指標（例：動きの正確性）を用いた学習プロセス測定の試みも、しばしば曖昧である。例えば、ログファイルデータのみに頼ると、論理的な推論と当てずっぽう（推測）を区別することが困難である。また、認知負荷やプレゼンス（存在感）は媒介変数として研究されているものの、特に高次思考や問題解決戦略に関する、リアルタイムの学習プロセスを深く探求した研究は不足している。課題は、VR独自の特性、具体的には自然な行動や言語的相互作用を捉える能力を活用し、意味のあるマルチモーダルな学習指標を構築することにある。

手法
著者らは、論理パズルを通じた問題解決スキルの調査を行うため、Unity、Meta XR CORE SDK、およびOpen XR Pluginを用いて、独自のシングルプレイヤーVR脱出ゲームを開発した。この環境は「ハブ・アンド・スポーク」設計を採用している。参加者は、まず4つの単純な「スポーク」パズル（植物への水やりなどの手作業を伴うもの）を解き、それによって高度な論理的洞察を必要とする複雑な「ハブ」パズル（グリッドベースのスープのレシピパズル）をアンロックする。インタラクションには、コントローラーではなくハンドトラッキングが使用される。

学習プロセスを評価するため、14名の参加者を対象に、以下のマルチモーダルなデータ収集戦略を採用した。

1. ログファイルデータ： すべてのインタラクションが記録され、カスタムの「ソルバー（解決者）」アルゴリズムによって処理された。このアルゴリズムは、ボードの状態を解釈することで、正しい動きを特定し、潜在的な論理的推論戦略（例：手がかりに基づいて選択肢を排除するなど）を推論する。
2. 手動ビデオ／音声コーディング： 研究者は、ソルバーによる推論を検証するために、ハブパズルのビデオおよび音声録音を手動でコーディングした。動きは、論理的洞察（手がかりを用いて答えを導き出す）に基づいているか、あるいは推測／試行錯誤に基づいているかに分類された。これにより、推論による正しい動きと、偶然による正しい動きの割合を算出することが可能となった。
3. 言語的リフレクション（内省）コーディング： 観察者が特定のトリガー（停滞、フラストレーション、または無関係な行動など）が発生した際に、参加者に口頭で促した。回答は、相互作用中のリフレクションに適応させた状況認識モデルを用いて、演繹的にコーディングされた。回答は、知覚（1）、理解（2）、投影（3）の深さでスコア化された。

主な貢献

• マルチモーダル評価フレームワーク： 本研究は、ログファイルデータと発話によるリフレクションを組み合わせることで、純粋な問題解決戦略と当てずっぽうを区別する方法を提案しており、ゲーム指標単体での曖昧さを解消している。
• 診断ツールとしての言語データ： 言語によるメタ認知的リフレクションが、ログファイルデータでは得られない重要なコンテキストを提供し、正しい動きが論理的推論によるものか、あるいはランダムな推測によるものかを明らかにすることを実証した。
• リフレクションの深さの指標： 本研究は、言語的リフレクションの深さ（知覚から投影まで）のスコアリングメカニズムを導入し、その深さとゲームプレイ中の論理的推論の質との相関関係を示した。

結果
14名の参加者の分析から、いくつかの重要な知見が得られた。

• 効率性は推論の代用にはならない： パズルをより早く、あるいはより少ない手数で完了した参加者が、必ずしも優れた論理的推論を示したわけではない。実際、効率的な参加者の中には、推測に大きく依存していた者もいた（例：参加者3は、正しい動きの38%を推測によって達成した）。
• 推測との負の相関： 完了時間と、推測に起因する正しい動きの割合との間には、統計的に有意に近い負の相関（$r = -.53, p = .051$）が見られた。これは、完了が早い場合、より多くの試行錯誤が含まれている可能性を示唆している。
• リフレクションの深さと推論の相関： リフレクションの「頻度」はパフォーマンスと相関しなかったが、リフレクションの「深さ」は相関した。平均的なリフレクションの深さが高いことは、論理的推論に基づく正しい動きの割合が高いことと有意に相関していた（$r = .73, p = .002$）。「投影」（将来のステップを記述すること）を行っていた参加者は、「知覚」のみを行っていた参加者よりも、論理的洞察を用いる傾向が高かった。
• 推論の検証： 手動コーディングにより、言語データがなければ、参加者の行動が論理的推論と一致しているかどうかを検証することは不可能であることが確認された。例えば、参加者がマーカーを正しく配置したとしても、「ただ当てずっぽうでやった」と認める場合があり、これはログファイル分析だけでは不可視のニュアンスである。

意義と主張
本論文は、複雑なスキル習得のためのVRの約束を実現するためには、評価を結果ベースの指標からプロセス指向の指標へと移行させる必要があると主張している。本研究は、VRの没入性が自然な音声的相互作用を促進すること、そしてそれが論理的推論と当てずっぽうを区別するための豊かなデータソースとして活用できることを示唆している。モーションデータと言語的リフレクションを組み合わせることで、研究者は学習のメカニズム、特に効果的な問題解決戦略と表面的な推測の区別をより深く理解することができる。

著者らは、本研究を「進行中の研究（work-in-progress）」としての探索と位置付けている。彼らは、自らの知見が自動分析ツールの開発や、VR学習環境における将来の汎用的な指標に資することを控えめに主張している。彼らは、この課題を完全に解決したと主張しているのではなく、言語データの統合が、VRにおける学習の「どのように（how）」および「なぜ（why）」を理解するための不可欠なステップであり、より良い学習設計と高次思考スキルのより正確な評価をサポートするものであると示唆している。