A Deep Investigation Using Factorial Analysis and Rasch Model: An Optimized Short-Version of the Computational Thinking Scale (COTS)

기술 요약: 계산적 사고 척도(COTS)의 최적화된 단축 버전

문제 제기
계산적 사고(Computational Thinking, CT)는 다양한 학문 분야에서 체계적인 문제 해결에 필수적인 기초적인 21세기 역량으로 인식되고 있다. 교육 분야에서 그 중요성이 커지고 있음에도 불구하고, 특히 사회과학과 같은 비ICT 맥락에서 CT 기술을 평가하기 위해 설계된 심리측정학적으로 견고한 도구는 부족한 실정이다. 기존의 도구들은 종종 폐쇄형 설문지에 의존하여 문화적 차이를 충분히 반영하지 못하거나 타당도와 신뢰도가 미흡할 수 있다. 이러한 격차는 연구자와 교육자가 학생의 강점과 약점을 정확하게 진단하는 것을 제한하며, 결과적으로 효과적인 교육적 개입을 설계하는 데 걸림돌이 된다. 본 연구는 엄격한 심리측정 분석에 기반한 고품질의 검증된 측정 도구에 대한 필요성을 다룬다.

연구 방법론
본 연구는 원래 22개 문항으로 구성된 척도를 수정 및 보완하여 계산적 사고 기술(COTS) 도구를 개발하기 위해 2단계 순차적 타당도 검증 과정을 채택하였다.

• 참여자 및 데이터 수집: 데이터는 인도네시아 마카사르의 대학생들로부터 익명으로 수집되었다. 과정은 두 개의 별도 표본을 포함하였다: 초기 확인적 요인 분석(CFA)을 위한 364명의 참가자와 후속 라쉬 모델(Rasch model) 분석을 위한 434명의 참가자이다.
• 1단계: 확인적 요인 분석 (CFA): 연구진은 JASP 소프트웨어를 사용하여 22개 문항 도구의 요인 타당도를 평가하였다. 분석은 요인 적재량(0.50 초과 요구), 모델 적합도 지수(CFI, GFI, TLI, NNFI, IFI, RNI > 0.90; RMSEA 및 SRMR < 0.08), 그리고 내부 일관성 신뢰도(전체 척도에 대해 McDonald's ω 및 Cronbach's α > 0.80)에 초점을 맞추었다. 기준을 충족하지 못한 문항은 제거되었다.
• 2단계: 라쉬 평정 척도 모델 (RSM): 정제된 도구는 J.Metrik 소프트웨어를 사용하여 분석되었다. 이 단계에서는 다음과 같은 근본적인 측정 가정을 평가하였다:
  • 단일 차원성(Unidimensionality): 잔차의 주성분 분석(PCA)을 통해 검증됨 (첫 번째 대조값의 고윳값 < 3.0).
  • 국소 독립성(Local Independence): 문항 쌍 간의 잔차 상관관리를 통해 평가됨 (임계값 < 0.40).
  • 평정 척도 기능(Rating Scale Functioning): 평균 측정치에서의 단조 증가 패턴과 순서화된 임계값 매개변수를 조사함.
  • 모델 적합도: Infit 및 Outfit 평균 제곱 통계량을 사용하여 평가됨 (허용 범위 0.5–1.5).
  • 신뢰도 및 분리도: 측정 정밀도와 서로 다른 능력 수준을 구별하는 능력을 결정하기 위해 문항 및 인원에 대해 각각 계산됨.
  • 문항 난이도: 잠재적 특성 연속체에 걸친 문항 분포를 분석하기 위해 분석됨.

주요 결과

• 도구 정제: CFA 단계에서는 "추상화(abstraction)" 차원에서 요인 적재량이 0.50 미만인 두 개의 문항이 제거되었다. 최종 도구는 추상화(3문항), 분해(6문항), 알고리즘적 사고(6문항), 일반화/패턴 인식(5문항)의 4개 차원에 걸친 20개 문항으로 구성된다.
• CFA 결과: 최종 모델은 우수한 적합도를 보였다. 모든 적합도 지수가 0.90을 초과하였으며(예: CFI = 0.922, TLI = 0.908), 오차 지수는 0.06 미만이었다(RMSEA = 0.057, SRMR = 0.046). 요인 적재량은 0.52에서 0.75 사이였다. 전체 신뢰도는 0.89였으며, 하위 척도 신뢰도는 0.62에서 0.85 사이였다.
• 라쉬 결과:
  • 가정: 도구는 단일 차원성(첫 번째 대조값 고윳값 = 2.54)과 국소 독립성(최대 잔차 상관관계 = 0.40)을 충족하였다.
  • 모델 적합도: 20개 문항 모두 허용 가능한 Infit/Outfit 범위(0.5–1.5) 내에 있었으며, 평정 척도는 단조 증가하는 임계값과 함께 최적으로 기능하였다.
  • 신뢰도: 문항 신뢰도는 매우 우수하였고(0.97–0.98), 인원 신뢰도는 양호하였다(0.87–0.88). 분리 지수는 이 도구가 약 9.89개의 문항 난이도 계층과 3.80개의 인원 능력 계층을 구분할 수 있음을 나타냈다.
  • 문항 난이도: 난이도 범위는 -0.79에서 0.82 로짓(logits)에 걸쳐 있었다. 이 분포는 본 도구가 중간 수준의 CT 기술을 가진 개인을 평가하는 데 가장 효과적임을 나타낸다.

의의 및 주장
본 논문은 대학생의 계산적 사고를 평가하기 위한 심리측정학적으로 건전한 단축 버전 도구(COTS)를 제공한다고 주장한다. CFA와 라쉬 모델링을 통합함으로써, 본 연구는 구조적 타당도와 문항 수준의 측정 특성을 모두 다루는 종합적인 검증을 제공한다.

저자들은 COTS가 교육적 맥락에서 유효하고 신뢰할 수 있는 도구이며, 목표화된 개입과 커리큘럼 설계를 위해 학생의 강점과 약점을 식별할 수 있다고 단언한다. 그러나 본 연구는 한계점을 겸허히 인정한다: 이 도구는 주로 중간 정도의 CT 능력을 가진 개인을 대상으로 한다. 문항 난이도가 저-중간 범위에 집중되어 있기 때문에, 상급 또는 높은 수준의 CT 기술을 가진 개인을 차별화하는 데는 정밀도가 제한적이다. 따라서 본 논문은 현재의 도구가 일반적인 평가에는 견고하지만, 향후 개발 시 상위 능력 스펙트럼에 대한 범위를 개선하기 위해 더 도전적인 문항을 만드는 데 집중해야 한다고 결론짓는다.