Data evaluation processes of different-sized datasets: an eye-tracking with concurrent think-aloud study

기술 요약: 서로 다른 크기의 데이터셋에 대한 데이터 평가 과정

문제 제기
물리 교육에서 디지털 측정 도구의 가용성이 증가함에 따라, 소규모의 수동 수집 데이터셋에서 대규모의 자동화된 데이터셋으로의 변화가 일어났다. 기존 문헌은 종종 더 큰 데이터셋이 더 높은 복잡성을 유발한다고 가정하지만, 최근 연구에 따르면 데이터가 도표로 제시될 경우 그것이 반드시 추론을 방해하는 것은 아님을 시사한다. 그러나 다양한 크기의 데이터셋을 학생들이 어떻게 평가하고 해석하는지에 대한 구체적인 메커니즘은 여전히 미개척 영역으로 남아 있다. 이전 연구들은 주로 결과 중심의 척도나 명확한 '정답' 해석이 존재하는 이상적인 곡선 표현에 집중해 왔으며, 이는 학생들이 이산적인(discrete) 측정 지점, 내재된 인식론적 불확실성, 그리고 다양한 데이터 양을 어떻게 처리하는지에 대한 이해의 공백을 남겼다. 특히, 데이터셋의 크기가 패턴 가시성과 어떻게 상호작면하여 지각 및 인지 과정을 형성하는지는 불분명하다.

연구 방법
본 연구는 $N=20$명의 대학 물리학도들을 대상으로 안구 추적(eye-tracking)과 동시 사고 구술(concurrent think-aloud) 프로토콜을 사용하는 과정 중심적 접근법을 채택하였다.

• 실험 설계: 참가자들은 무작위로 두 그룹(Group S 및 Group L)에 배정되었으며, 마찰 실험(거친 표면 위를 가속되는 물체)에서 유도된 두 가지 데이터셋을 평가하였다.
  • 소규모 데이터셋 (Small Dataset): 낮은 샘플링 속도(10 samples/s)로 수집되었으며, 위치의 비교적 균일한 증가와 일정한 힘을 보여주어 슬라이딩(sliding) 단계를 시사한다.
  • 대규모 데이터셋 (Large Dataset): 높은 샘플링 속도(50 samples/s)로 수집되었으며, 위치의 증가와 정지가 교차하는 단계와 그에 따른 힘의 변동을 드러내어 스틱-슬립(stick-slip) 현상을 나타낸다.
  • 참고: 샘플링 속도의 조작은 데이터셋의 크기와 기저 패턴(스틱-슬립 vs 슬라이딩)의 가시성을 동시에 변화시켰으므로, 이러한 요인들은 본 설계에서 혼재(confounded)되어 있다.
• 과업: 학생들은 특정 시간 간격(1.7초 ~ 1.9초) 내에서 물체의 운동 상태를 결정하고 서술형 근거를 제시하도록 요청받았다.
• 데이터 수집:
  • 안구 추적 (Eye-Tracking): Tobii Pro Fusion 트래커(250 Hz)를 사용하여 고정(fixation)을 기록하였다. 고정은 측정 대상(힘/위치), 특징 유형(단일 지점, 추세, 전역 패턴), 그리고 시간 간격에 따라 분류되었다.
  • 사고 구술 (Think-Aloud): 참가자들은 평가 중에 자신의 생각을 말로 표현하였다.
  • 서술형 근거 (Written Justifications): 참가자들은 자신의 결론에 대한 논리적 근거를 제공하였다.
• 분석: 세 가지 데이터 소스(서술형 근거, 안구 추적 고정, 사고 구술 전사본)를 특정 매뉴얼을 사용하여 귀납적으로 코딩하였다. 검사자 간 신뢰도는 Cohen's $\kappa$ 값 0.75에서 1.00 사이로 설정되었다. 분석은 특정 데이터 요소(예: 단일 지점 vs 추세)에 대한 참조 빈도와 데이터 조건에 따른 불확실성 표현을 비교하였다.

주요 결과

1. 결론 및 전문가와의 일치도: 대규모 데이터셋을 평가할 때, 소규모 데이터셋에 비해 물리 전문가의 해석(스틱-슬립 현상 식별)과 일치하는 결론의 비율이 유의미하게 높았다. 소규모 데이터셋은 더 분산되고 모호한 결론을 낳았다.
2. 평가 전략 및 초점:
   • 소규모 데이터셋: 단일 측정 지점 및 개별 데이터의 변동에 더 강하게 집중하는 경상과 관련이 있었다. 참가자들은 측정 불확실성을 자주 언급하였으며 "데이터의 필요성"을 피력하였다. 이는 단일 측정값에 대한 과잉 해석이나 과도한 가중치 부여로 이어졌다.
   • 대규모 데이터셋: 추세 및 패턴 기반의 평가로의 전환과 관련이 있었다. 참가자들은 특히 힘 데이터에서 추세와 구간에 더 자주 주목하였으며, 여러 데이터 지점을 하나의 일관된 해석으로 통합하였다.
3. 정보 처리 흐름: 본 연구는 다단계 선택 과정을 확인하였다. 안구 추적은 도표의 다양한 요소에 대한 광범위한 시각적 주의를 보여주었으나, 사고 구술 프로토콜을 통해 언어화된 정보는 그보다 적었으며, 서술형 근거에 포함된 정보는 그보다 더 적었다. 이는 지각에서 논증으로 이어지는 여과 및 변환 과정을 나타낸다.
4. 불확실성 관리: 측정 불확실성에 대한 언급은 소규모 데이터셋을 평가할 때 더 두드드러졌다. 반면, 대규모 데이터셋은 국소적이고 불확실성에 집중된 평가에서 벗어나 보다 통합적인 추론으로 나아가도록 촉진하였다.

주요 기여

• 과정 중심적 통찰: 본 연구는 결과 기반 분석을 넘어 데이터 평가의 기저에 있는 시각적 및 인지적 메커니즘을 밝혀냄으로써, 데이터셋의 크기가 추론 전략을 체계적으로 형성함을 입증하였다.
• 방법론적 통합: 안구 추적과 동시 사고 구술, 서술형 근거를 결합함으로써, 학생들이 정보를 어떻게 선택, 가중치 부여, 통합하는지에 대한 포괄적인 설명을 제공하며, 무엇을 보고, 무엇을 생각하며, 무엇을 쓰는지 사이의 차이를 강조하였다.
• 패턴 가시성 vs 데이터 양: 본 연구의 결과는 이 맥 Kontext에서 대규모 데이터셋의 이점이 단순히 데이터의 양 때문이 아니라, 기저 패턴(스틱-슬립)의 가시성을 높여 통합적 추론을 지원하고 모호성을 줄여주는 데 있음을 시사한다.

의의 및 주장
저자들은 본 연구가 물리 교육에서 측정 데이터에 대한 학생들의 참여에 대한 과정 중심적 이해에 기여한다고 주장한다. 결과는 대규모 데이터셋이 관련 패턴을 더 잘 보이게 할 때, 학생들이 여러 데이터 지점을 일관된 해석으로 통합하도록 지원하여 더 명확한 결론을 도출할 수 있음을 시사한다. 반대로, 소규모 데이터셋은 국소적 특징과 불확실성에 집중하는 전략과 연관되며, 이는 단일 지점에 대한 과잉 해석을 초래할 수 있다.

본 논문은 효과적인 데이터 평가가 단순히 가용 데이터의 양에 달려 있는 것이 아니라, 학생들이 데이터를 어떻게 해석하고 구조화하며 통합하느냐에 달려 있음을 강조한다. 저자들은 대규모 데이터셋이 (데이터의 양보다는) 패턴을 드러내는 맥락에서 교육적 잠재력을 가질 수 있다고 보며, 단 이를 위해서는 학생들이 정보를 구조화하고 요약하는 전략을 갖추어야 한다는 점을 명시한다. 또한, 관찰된 효과가 (크기와 패턴 가시성의 혼재로 인해) 맥락 의존적임을 인정하며, 본 연구가 탐색적 성격임을 밝히고, 향-후 데이터 양과 패턴 구조의 효과를 직접 분리하여 기저의 인지 메커니즘을 평가하는 후속 연구를 제안하며 신중한 입장을 유지한다.