Stress Detection in Digital Assessment Environments: A Multimodal Wearable Analysis by Language Background

정말 어려운 시험을 치르고 있다고 상상해 보세요. 이제 그 시험이 당신이 여전히 배우고 있는 언어로 쓰여 있고, 들어본 적 없는 문화적 농담들로 가득하며, 시계가 째깍거리는 가운데 속도를 다투고 있다고 상상해 보세요. 어떤 학생들에게 이것은 평범한 화요일의 일상이지만, 다른 학생들에게는 마치 무거운 벽돌이 가득 든 배낭을 메고 마라톤을 하는 것처럼 뇌가 고군질하는 느낌일 것입니다.

조지 메이슨 대학교(George Mason University)의 연구팀은 이 스트레스의 이면을 들여다보기로 했습니다. 그들은 단순히 학생들에게 "얼마나 스트레스를 받나요?"라고 묻지 않았습니다(이는 달리기 선수에게 경주가 끝난 후 얼마나 피곤하냐고 묻는 것과 같습니다. 선수는 거짓말을 하거나 잊어버릴 수 있기 때문입니다). 대신, 그들은 20명의 대학생에게 첨단 손목밴드를 채우고 디지털 퀴즈를 푸는 모습을 관찰했습니다. 스트레스가 실제로 느껴지도록 하기 위해, 연구진은 약간의 "가벼운 기만"을 사용했습니다. 그들은 학생들에게 이 연구가 단지 새로운 반응 도구를 테스트하는 것이라고 말하며, 실제로는 언어와 문화가 어떻게 스트레스 반응을 유발하는지를 측정하고 있다는 사실을 숨겼습니다. 목표는 무엇이었을까요? 신체와 마우스 클릭이 학생들의 말보다 스트레스에 대해 더 진실된 이야기를 할 수 있는지, 특히 영어를 모국어로 사용하는 학생(ES)과 영어를 배우고 있는 학생(EL)을 비교할 때 그러한지를 확인하는 것이었습니다.

위대한 스트레스 대결: 모국어 vs. 시험

연구진은 읽기, 역사, 과학의 세 섹션으로 구성된 모의 시험을 준비했습니다. 그 결과, 영어 학습자(EL)들에게 "배낭"은 확실히 더 무거웠습니다.

학생들이 읽기와 역사 섹션을 수행할 때, EL 그룹은 ES 그룹보다 유의미하게 높은 스트레스 수준을 보고했습니다. 스트레스는 단순히 문제가 어려워서가 아니라, 바로 '맥락' 때문이었습니다. 읽기 섹션에서 스트레스는 주로 문화적 생소함(예: 미국의 우주비행사나 인권 운동가들을 알지 못하는 것)에서 기인했습니다. 역사 섹션에서는 언어 그 자체가 스트레스의 원인이 되었습니다.

하지만 과학 섹션에서는 반전이 있었습니다. 여기서 두 그룹 간의 스트레스 수준은 실제로 동일했습니다. 왜일까요? 연구진이 과학 파트에서는 모두가 ChatGPT라는 도구를 사용할 수 있게 허용했지만, 읽기나 역사 파트에서는 허용하지 않았기 때문입니다. 이는 언어와 문화의 장벽을 제거하거나(또는 조력자를 제공하면) 스트레스 격차가 줄어든다는 것을 시사합니다.

디지털 탐정: 시계가 마음을 읽을 수 있을까?

연구진은 질문 하나 던지지 않고도 스트레스를 예측할 수 있는지 알고 싶어 했습니다. 그들은 컴퓨터 모델에 다음과 같은 데이터를 입력했습니다:

1. 생리적 신호: 손목밴드(Embrace Plus)는 피부의 땀(EDA), 심박수(BVP 및 IBI), 피부 온도를 측정했습니다.
2. 디지털 발자국: 마우스를 클릭한 횟수, 답변하는 데 걸린 시간, 그리고 획득한 점수입니다.

그들은 어떤 모델이 최고의 탐정인지 확인하기 위해 다섯 가지 서로 다른 컴퓨터 뇌 모델을 시험했습니다. 승자는 XGBoost라고 불리는 모델이었습니다.

여기 성적표가 있습니다:

• 컴퓨터가 손목밴드 데이터(심박수, 땀 등)만 보았을 때, 스트레스를 맞히는 능력은 약 **69%**로 괜찮은 수준이었습니다. 이는 마치 팝콘 통만 보고 영화의 줄거리를 맞히려는 것과 같았습니다.
• 하지만 마우스 클릭과 타이밍 데이터를 추가하자, 컴퓨터의 뇌는 엄청난 업그레이드를 이루었습니다. XGBoost 모델은 88%의 정확도로 뛰어올랐습니다.

이 논문은 신체 신호와 타이핑 신호를 결합하는 것이 바로 '비법 소스'라고 제안합니다. 이는 노래를 이해하는 것과 같습니다. 멜로디(신체)를 듣는 것도 좋지만, 가사(클릭과 타이밍)를 읽는 것이 전체 그림을 명확하게 만들어 줍니다.

단서: 무엇이 경보를 울리는가?

컴퓨터의 뇌를 돋보기처럼 들여다보는 SHAP이라는 특수 도구를 사용하여, 연구진은 스트레스를 예측하는 상위 15가지 단서를 찾아냈습니다.

• 클릭커: 학생이 마우스를 클릭한 횟수가 1순위 예측 변수였습니다. 만약 학생이 답안 사이를 정신없이 클릭하며 왔다 갔다 했다면, 컴퓨터는 그가 스트레스를 받고 있다는 것을 알았습니다.
• 점수: 높은 시험 점수는 보통 낮은 스트레스를 의미했습니다. 당연한 일입니다. 시험을 잘 보고 있다면 아마도 패닉 상태는 아닐 것입니다.
• 심장 박동: 심박 간격(IBI)은 매우 중요한 단서였습니다. 학생들이 스트레스를 받을 때 심장 박동은 빨라졌고(간격이 짧아짐), 컴퓨터는 이를 포착했습니다.
• 온도: 놀랍게도 학생들이 스트레스를 받을 때 피부 온도는 실제로 상승했습니다. 논문은 이것이 힘든 시험 중에 피부가 더 따뜻해진다는 다른 연구들과 일치한다고 언급했습니다.

흥미롭게도, 이 "단서"들은 두 그룹 모두 거의 비슷하게 나타났지만, 미세한 차이가 있었습니다. 예를 들어, 컴퓨터는 영어 학습자들에게는 특정 땀 패턴에 더 주의를 기울인 반면, 영어 사용자들에게는 심박수 변화를 더 면밀히 관찰했습니다.

이것이 의미하는 바 (그리고 의미하지 않는 바)

이 논문은 이것이 시뮬레이션임을 명시하고 있습니다. 연구진은 실제 혼란스러운 교실에서 학생들을 관찰한 것이 아니라, 특정 시험이 진행되는 조용한 방에서 관찰했습니다. 따라서 결과가 유망하긴 하지만, 이는 모든 학교에 적용되는 최종 해결책이라기보다는 하나의 "개념 증명(proof of concept)"입니다.

연구진은 모든 학생이 시험에 똑같이 반응한다는 생각에 반론을 제기합니다. 그들은 학생의 언어 배경을 무시하는 것이 시험을 "공정"해 보이게 만들 수는 있지만, 실제로는 불필요한 스트레스를 유발할 수 있음을 보여줍니다.

핵-포인트는 이것입니다. 만약 우리가 학생이 어려움을 겪고 있다는 것을 "느낄 수 있는" 더 똑똑한 디지털 시험을 만든다면—심장이 뛰거나 마우스 클릭이 너무 빨라지는 것을 알아차림으로써—우리는 그들이 압도당하기 전에 도움을 줄 수 있을 것입니다. 어쩌면 컴퓨터가 학생이 가장 필요로 하는 순간에 "잠시 숨을 고르세요"라거나 "여기 힌트가 있어요"라고 말해줄 수도 있을 것입니다. 하지만 현재로서는, 이것은 완성된 제품이 아니라 그 미래를 향한 한 걸음입니다. 논문은 신체 데이터와 행동 데이터를 적절히 조합한다면, 언어 장벽이 만들어내는 보이지 않는 스트레스를 보기 시작할 수 있으며, 어쩌면, 정말 어쩌면, 모두에게 더 공정한 시험을 설계할 수 있을 것이라고 제안합니다.