Assessing Learning Processes with Multimodal Data in Virtual Reality Learning Environments

기술 요약: 가상 현실 학습 환경에서 멀티모달 데이터를 활용한 학습 과정 평가

문제 제기
현재 교육용 가상 현실(VR) 연구는 주로 전통적인 사전-사후 콘텐츠 보유도 테스트에 의존하고 있으며, 이는 몰입형 환경 내에서의 미묘한 '과정'으로서의 학습을 포착하는 데 한계가 있다. VR은 절차적 기술과 정서적 결과 측면에서 유망함을 보여주지만, 측정의 한계로 인해 콘텐츠 보유도에 관한 개별 연구들은 엇갈린 결과를 내놓고 있다. 게임 메트릭(예: 움직임 정확도)을 통해 학습 과정 중의 학습을 측정하려는 기존의 시도들은 종종 모호하다. 예를 들어, 로그파일 데이터에만 의존할 경우 논리적 추론과 추측(guesswork)을 구분하기 어렵다. 또한 인지 부하와 현존감이 매개 변수로 연구되고 있음에도 불구하고, 실시간 학습 과정, 특히 고차원적 사고 및 문제 해결 전략에 관한 심층적인 연구는 부족한 실정이다. 과제는 VR의 고유한 특징, 즉 자연스러운 행동과 언어적 상호작용을 포착할 수 있는 능력을 활용하여 의미 있는 멀티모달 학습 측정 방식을 구축하는 것이다.

연구 방법론
저자들은 논리 퍼즐을 통한 문제 해결 능력을 조사하기 위해 Unity, Meta XR CORE SDK, Open XR Plugin을 사용하여 맞춤형 싱글 플레이어 VR 탈출 게임을 개발하였다. 이 환경은 "허브 앤 스포크(hub-and-spoke)" 설계를 특징으로 한다. 참가자들은 네 개의 단순한 "스포크(spoke)" 퍼즐(식물에 물 주기와 같은 손 기반 상호작용 포함)을 해결하여, 고급 논리적 통찰력을 요구하는 복잡한 "허브(hub)" 퍼즐(그리드 기반의 수프 레시피 퍼즐)을 잠금 해제해야 한다. 상호작용은 컨트롤러 대신 핸드 트래킹을 통해 수행된다.

학습 과정을 평가하기 위해, 본 연구는 14명의 참가자를 대상으로 다음과 같은 멀티모달 데이터 수집 전략을 채택하였다:

1. 로그파일 데이터: 모든 상호작용은 기록되었으며 커스텀 "솔버(solver)" 알고리즘에 의해 처리되었다. 이 알고리즘은 보드 상태를 해석하여 올바른 움직임을 식별하고 잠재적인 논리적 추론 전략(예: 단서를 바탕으로 한 선택지 제거)을 추론한다.
2. 수동 비디오/오디오 코딩: 연구자들은 솔버의 추론을 검증하기 위해 허브 퍼즐의 비디오 및 오디오 녹화본을 수동으로 코딩하였다. 움직임은 논리적 통찰(단서를 사용하여 답을 도출함) 또는 추측/시행착오(guessing/trial-and-error)로 분류되었다. 이를 통해 추론에 의한 올바른 움직임과 우연에 의한 움직임의 비율을 계산할 수 있었다.
3. 언어적 성찰 코딩: 관찰자는 특정 트리거(예: 유휴 상태, 좌절, 또는 부적절한 행동)가 발생할 때 참가자에게 구두로 질문을 던졌다. 응답은 상호작용 중 성찰에 적응된 상황 인식 모델을 사용하여 연역적으로 코딩되었다. 응답은 지각(Perception, 1단계), 이해(Comprehension, 2단계), 또는 투사(Projection, 3단계)의 깊이로 점수가 매겨졌다.

주요 기여

• 멀티모달 평가 프레임워크: 본 연구는 로그파일 데이터와 언어적 성찰을 결합하여 실제 문제 해결 전략과 추측을 구분하는 방법을 제안하며, 이를 통해 게임 메트릭만으로는 발생하는 모호성을 해결한다.
• 진단 도구로서의 언어 데이터: 본 연구는 구두로 이루어진 메타인지적 성찰이 로그파일 데이터가 제공할 수 없는 결정적인 맥락을 제공하며, 올바른 움직임이 논리적 연역의 결과인지 아니면 무작위 추측의 결과인지를 밝혀낸다는 것을 입증한다.
• 성찰 깊이 지표: 본 연구는 언어적 성찰의 깊이(지각에서 투사까지)에 대한 점수 산정 메 механи즘을 도입하고, 이 깊이를 게임 플레이 중 사용된 논리적 추론의 품질과 상관 분석하였다.

결과
14명의 참가자를 분석한 결과 몇 가지 중요한 사실이 밝혀졌다:

• 효율성은 추론의 대리 지표가 아니다: 퍼즐을 더 빨리 완료하거나 더 적은 움직임으로 완료한 참가자들이 반드시 우수한 논리적 추론 능력을 보여준 것은 아니다. 실제로 일부 효율적인 참가자들은 추측에 크게 의존했다(예: 참가자 3은 정답 움직임의 38%를 추측을 통해 달성함).
• 추측과의 부정적 상관관계: 완료 시간과 추측에 의한 정답 움직임 비율 사이에는 통계적으로 유의미한 수준에 근접한 음의 상관관계($r = -.53, p = .051$)가 나타났으며, 이는 빠른 완료가 더 많은 시행착오를 포함하는 경우가 많음을 시사한다.
• 성찰의 깊이와 추론의 상관관계: 성찰의 빈도는 수행 능력과 상관관계가 없었으나, 성찰의 깊이는 상관관계가 있었다. 평균 성찰 깊이가 높을수록 논리적 추론에 기반한 정답 움직임의 비율이 유의미하게 높았다 ($r = .73, p = .002$). "투사"(미래 단계를 설명함) 단계에 참여한 참가자들은 "지각" 단계에 머문 참가자들보다 논리적 통찰을 사용할 가능성이 더 높았다.
• 추론의 검증: 수동 코딩 결과, 언어 데이터 없이는 참가자의 행동이 논리적 추론과 일치하는지 검증하는 것이 불가능함이 확인되었다. 예를 들어, 어떤 참가자는 표시를 올바르게 배치했지만 "그냥 찍었다"라고 말할 수 있는데, 이러한 뉘앙스는 로그파일 분석만으로는 보이지 않는 부분이다.

의의 및 주장
본 논문은 VR이 복잡한 기술 습득을 위한 약속을 실현하기 위해서는 평가가 결과 기반 메트릭을 넘어 과정 중심적 측정으로 나아가야 한다고 주장한다. 본 연구는 VR의 몰입형 특성이 자연스러운 언어적 상호작용을 유도하며, 이것이 학습 과정을 평가하기 위한 풍부한 데이터 소스로 활용될 수 있음을 강조한다. 동작 데이터와 언어적 성찰을 결함함으로써, 연구자들은 효과적인 문제 해결 전략과 피상적인 추측을 구분하며 학습의 메커니즘을 더 잘 이해할 수 있다.

저자들은 본 연구를 "진행 중인 작업(work-in-progress)" 탐구로 규정한다. 저자들은 자신들의 발견이 자동화된 분석 도구 및 향후 일반화 가능한 VR 학습 측정 지표 개발에 정보를 제공한다고 겸허히 주장한다. 이들은 VR 평가 문제를 완전히 해결했다고 주장하는 것이 아니라, 언어 데이터를 통합하는 것이 VR 내 학습의 "어떻게(how)"와 "왜(why)"를 이해하기 위한 필수적인 단계이며, 이를 통해 더 나은 학습 설계와 고차원적 사고 능력의 정확한 평가를 지원할 수 있다고 제안한다.