ML-Assisted Cognitive Characterization of Human Problem Solving Behaviors through Visuo-Spatial Game
본 연구는 시공간 게임의 안구 추적 데이터를 활용하여 앙상블 기반의 랜덤 포레스트 분류기와 회귀 모델을 적용함으로써, 시선 및 게임 플레이 패턴을 바탕으로 플레이어를 해결사(전문가 및 지속형 플레이어)와 비해결사(시도형 및 포기형 플레이어)라는 별개의 행동 그룹으로 성공적으로 분류하였다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 동료 심사를 거치지 않은 프리프린트의 AI 생성 설명입니다. 의학적 조언이 아닙니다. 이 내용을 바탕으로 건강 관련 결정을 내리지 마세요. 전체 면책 조항 읽기
인간의 정신은 항해의 달인이며, 패턴을 찾고, 퍼즐을 풀고, 목표에 도달하기 위해 끊임없이 세상을 탐색합니다. 수십 년 동안 과학자들은 우리가 무엇을 하는지, 즉 우리가 어떤 움직임을 보이고, 어떤 선택을 하며, 어떤 전략을 사용하는지를 관찰함으로써 우리가 어떻게 이 일을 해내는지 이해하려고 노력해 왔습니다. 하지만 이러한 정신적 작업의 상당 부분은 우리가 행동하기도 전에 일어납니다. 그것은 우리의 눈이 한 지점에서 다른 지점으로 빠르게 움직이고, 세부 사항에 머물거나, 전체적인 그림을 훑는 방식 속에서 일어납니다. 이러한 안구 운동은 무작위적인 것이 아닙니다. 그것은 우리의 사고 과정을 보여주는 직접적인 창입니다. 우리가 문제에 직면했을 때, 우리의 눈은 우리가 혼란스러워하고 있는지, 앞으로 나아갈 길을 찾았는지, 아니면 시행착오의 굴레에 갇혀 있는지를 드러냅니다. 이러한 시각적 습관을 연구함으로써, 연구자들은 인간의 문제 해결 과정 속에 숨겨진 가시적인 구조를 구분해 낼 수 있으며, 돌파구에 도달하기 직전의 사람과 단순히 방황하는 사람을 구별할 수 있습니다.
인도 공과대학교 카라그푸르(IIT Kharagpur)의 연구팀은 고전적인 퍼즐과 현대적인 도구를 사용하여 이 아이디어를 테스트해 보기로 했습니다. 그들은 성인 그룹을 모아 '8-타일 배열 게임'이라고 알려진 특정 유형의 시각적 퍼즐을 풀게 했습니다. 이 게임은 이미지가 아홉 개의 블록으로 나뉘어 있고, 그중 한 블록(구체적으로 오른쪽 하단 타일)이 제거되어 빈 공간이 남은 형태입니다. 플레이어는 원래의 이미지를 재구성하기 위해 빈 공간으로 이미지 타일들을 밀어 넣어야 합니다. 단순해 보이지만, 해결책으로 가는 경로는 결코 직선이 아닙니다. 연구진은 참가자들에게 시선이 정확히 어디를 향하고 얼마나 오래 머무는지 기록하는 카메라인 안구 추적 장치를 장착하여, 초당 수천 개의 데이터 포인트를 포착했습니다. 플레이어가 타일을 움직이는 동안, 기계는 그들의 시선을 기록하여 주의력의 상세한 지도를 만들었습니다. 목표는 단순히 누가 퍼즐을 푸느냐를 보는 것이 아니라, 성공했는지, 얼마나 오랫동안 고군분투했는지, 혹은 완전히 포기했는지에 따라 그들의 눈이 어떻게 다르게 움직이는지를 이해하는 것이었습니다.
연구진은 안구 추적 데이터를 분석하기 위해 강력한 컴퓨터 프로그램인 머신러닝 모델을 사용했습니다. 그들은 최종 점수만을 보는 대신, 움직임 하나하나를 통해 이야기가 전개되는 과정을 지켜보았습니다. 그들은 눈이 퍼즐을 완성하기 훨씬 전부터 눈이 명확한 이야기를 들려준다는 것을 발견했습니다. 컴퓨터는 두 가지 주요 그룹, 즉 퍼즐을 결국 풀어낸 사람들인 '해결사(Solvers)'와 그렇지 못한 사람들인 '비해결사(Non-solvers)'를 구분할 수 있었습니다. 차이점은 그들이 몇 번의 움직임을 했느냐가 아니라, 시선의 리듬과 패턴에 있었습니다. 해결사들은 컴퓨터가 높은 정확도로 식별할 수 있는 독특한 시각적 행동을 보였는데, 이는 종종 게임의 첫 몇 수 이내에 나타났습니다. 이는 사람이 문제를 바라보는 방식이 자신의 전략을 거의 즉각적으로 드러낸다는 것을 시사합니다.
하지만 이야기는 단 두 그룹에서 끝나지 않았습니다. 연구진은 해결사 그룹 내에서도 매우 다른 두 가지 유형의 사고자가 있다는 것을 발견했습니다. 첫 번째 그룹인 '전문가(Experts)'는 꾸준하고 전략적인 시선으로 퍼즐에 접근했습니다. 그들의 시선은 집중되어 있고 효율적이었으며, 해결책을 향해 목적을 가지고 움직였습니다. 두 번째 그룹인 '지속적 플레이어(Persistent players)' 역시 퍼즐을 풀었지만, 그들의 눈은 다른 이야기를 들려주었습니다. 그들은 눈을 이리저리 옮기고, 영역을 다시 방문하며, 해결책을 찾기 전 혼란의 징후를 보이는 등 불규칙하게 움직였습니다. 그들은 문제를 해결했지만, 처음부터 경로를 명확히 보기보다는 가능성들을 헤매며 문제를 풀었습니다. 마찬가지로 비해결사들도 모두 같지는 않았습니다. 어떤 이들인 '시도자(Triers)'는 퍼즐을 풀기 위해 오랜 시간을 보냈습니다. 그들의 눈은 노력과 탐색이 섞인 모습을 보였는데, 답을 찾으려고 애쓰고 아이디어를 시험하며 때로는 해결책에 근접하기도 했다가 결국 포기했습니다. 다른 그룹인 '포기자(Quitters)'는 참여도가 낮았습니다. 그들의 시선 패턴은 그들이 해결책을 찾으려는 실질적인 의도가 없음을 나타냈습니다. 그들은 탐색하지 않았고, 그저 게임이 끝나기를 기다리고 있었습니다.
가장 놀라운 발견 중 하나는 이러한 차이가 얼마나 일찍 나타나는가 하는 점이었습니다. 컴퓨터 모델은 게임의 아주 작은 부분만을 관찰한 후에도 플레이어가 성공할지 실패할지를 매우 확실하게 예측할 수 있었습니다. 연구진이 '새들 포인트(Saddle point, 안장점)'라고 부른 이 순간은 플레이어의 행동이 명확한 패턴으로 안정화되는 시점입니다. 전문가들에게 이 단계는 거의 즉각적으로 나타났습니다. 시도자들에게는 보드를 탐색하느라 시간이 조금 더 걸렸지만, 그들의 시도 패턴은 여전히 아무런 패턴의 노력도 보이지 않는 포기자들과는 뚜렷하게 달랐습니다. 연구 또한 컴퓨터가 게임의 미래를 얼마나 잘 예측하는지 살펴보았습니다. 초기 안구 움직임을 관찰함으로써, 모델은 플레이어가 퍼즐을 끝내는 데 몇 번의 움직임이 더 필요할지, 혹은 포기하기 전까지 얼마나 오래 계속 플레이할지를 추정할 수 있었습니다. 예측은 컴퓨터가 전문가의 독특한 '언어'나 시도자의 구체적인 고충을 학습하도록 특정 유형의 플레이어들에 대해 훈련되었을 때 가장 정확했습니다.
연구진은 또한 플레이어의 정신 상태를 이해하기 위해 데이터의 노이즈를 조사했습니다. 그들은 전문가들이 매우 깨끗하고 안정적인 신호를 보인다는 것을 발견했는데, 이는 차분하고 자신감 있는 마음을 시사합니다. 반면 지속적 플레이어들은 눈이 더 많이 움직이며 훨씬 더 많은 노이즈가 섞인 신호를 보였는데, 이는 진행하면서 문제를 파악하려는 정신적 노력을 반영합니다. 시도자들 역시 이러한 노이즈가 많고 변동이 심한 패턴을 보였는데, 이는 그들이 완전히 파악할 수 없는 해결책을 적극적으로 찾고 있었기 때문에 당연한 결과입니다. 반면 포기자들은 집중이 아닌, 무관심에서 비롯된 다른 종류의 안정성을 보였습니다. 이 연구는 우리가 문제를 바라보는 방식이 우리의 인지 전략을 보여주는 민감한 지표라는 점을 시사합니다. 그것은 우리가 깊이 생각하고 있는지, 루프에 갇혀 있는지, 아니면 흥미를 잃었는지를 드러냅니다.
이 연구는 사람들이 무엇을 하고 있다고 말하는지가 아니라, 그들의 눈이 무엇을 생각하고 있는지를 드러냄으로써 인간의 지능을 이해하는 새로운 방법을 제시합니다. 이는 문제 해결이 단일한 기술이 아니라, 전문가의 전략적 명료함부터 시도자의 결연하지만 혼란스러운 탐색에 이르기까지 다양한 행동의 집합임을 보여줍니다. 이러한 패턴을 과업 초기에 감지하는 능력은 사람들의 학습을 돕고자 하는 교육자나 설계자들에게 가치 있는 일이 될 수 있습니다. 만약 시스템이 학생이 통찰력을 얻기 직전의 '시도자'임을 인식하고 적절한 힌트를 줄 수 있다면, 그들이 성공할 수 있도록 적절한 순간에 도움을 줄 수 있습니다. 반대로, 누군가가 진정으로 포기했음을 식별하여 다른 종류의 개입을 할 수도 있습니다. 이 연구는 우리의 눈이 단순히 수동적인 카메라가 아니라, 손이 움직이기도 전에 해결책으로 가는 경로를 그려내는 능동적인 사고의 참여자임을 확인시켜 줍니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.