Cross-construct Optimization of TIMSS Mathematics Affective Scales

기술 요약: TIMSS 수학 정의적 척도의 교차 구성 개념 최적화 (Cross-construct Optimization)

문제 제기
TIMSS(국제 수학·과학 성취도 비교 연구)와 같은 대규모 국제 평가는 학생들의 수학에 대한 정의적 참여를 측정하기 위해 광범위한 설문지를 활용한다. 구체적으로, TIMSS 2023은 8학년 학생들을 대상으로 '수학 학습 즐거움(SLM)', '수학 자신감(SCM)', '수학 가치 인식(SVM)'이라는 세 가지 뚜렷한 차원을 평가한다. 이 척도들은 총 26개 문항으로 구성된다. 이러한 차원들은 '3차원 태도 모델(TMA)' 및 '기대-가치 이론(Expectancy-Value Theory)' 내에서 이론적으로 연결되어 있음에도 불구하고, 일반적으로 독립된 구성 개념으로서 각각 관리되고 분석된다. 이러한 접근 방식은 학생과 교육자에게 상당한 설문 부담을 지운다. 본 연구는 한 가지 근본적인 측정 문제를 다룬다. 즉, 이 척도들이 하나의 통합된 정의적 네트워크로서 작동하여, 한 차원의 문항이 다른 차원의 분류를 예측할 수 있는지 여부이다. 이를 통해 예측 정확도를 희생하지 않으면서 문항 수를 줄이는 '교차 구성 개념 최적화(cross-construct optimization)'가 가능한지를 탐구한다.

연구 방법론
본 연구는 TIMSS 2023 국제 데이터베이스의 44개국 232,970명의 8학년 학생 데이터를 활용하였다. 분석 접근법은 정신의학 스크리닝 문헌에서 채택된 **교차 진단 최적화 프레임워크(cross-diagnostic optimization framework)**를 교육 평가에 맞게 변형하여 적용하였다.

1. 네트워크 모델링: SLM, SCM, SVM 척도의 모든 26개 문항을 통합하여 **가우시안 그래피컬 모델(Gaussian Graphical Model, GGM)**로 분석하였다. EBIC(Extended Bayesian Information Criterion) 튜닝을 거친 그래피컬 LASSO를 통해 추정된 GGM은 문항 간의 조건부 의존 구조를 모델링하였다. 각 노드는 문항을 나타내며, 에지는 다른 모든 문항을 통제했을 때의 부분 상관관계를 나타낸다.
2. 브릿지 중심성 분석: '브릿지 문항(bridge items)'을 식별하기 위해 **매개 중심성(Betweenness centrality)**을 계산하였다. 브릿지 문항이란 노드 사이의 최단 경로 상에 위치하며, 특히 서로 다른 척도의 경계를 가로지르는 노드를 의미한다. 문항들은 이 중심성 지표에 따라 순위가 매겨졌다.
3. 순차적 문항 선택: 각 척도의 공식 3단계 분류(높음, 중간, 낮음)를 예측하는 데 필요한 최소 문항 집합을 결정하기 위해 순차적 선택 과정을 수행하였다.
   • 교차 구성 개념 예측: 한 척도의 문항이 다른 척도의 분류를 예측하는 것을 허용하였다 (예: SVM 문항이 SLM을 예측).
   • 플래토(Plateau) 탐지: 예측 성능(macro-averaged AUROC로 측정)이 대상 척도 내에서 달성 가능한 최고 단일 문항 기준치의 99%에 도달했을 때 프로세스를 중단하였다. 이 임계값은 간결한 도구를 얻는 대신 무시할 만한 수준의 정확도 손실(<1%)을 허용한다.
4. 검증: 브릿지 문항 구조의 국가 간 일관성을 평가하기 위해 44개국에 대해 독립적으로 절차를 반복하였다. 성능은 80/20 층화 학습-테스트 분할 및 5-겹 교차 검증을 통해 평가되었다.

주요 결과

• 구조적 허브 식별: GGM 분석 결과, 수학 가치 인식(SVM) 척도의 문항들이 정의적 네트워크에서 가장 중심적인 브릿지 위치를 차지하고 있음이 밝혀졌다. "나는 수학을 사용하는 직업을 갖고 싶다"(BSBM23E)라는 문항이 가장 높은 매개 중심성을 보였으며, 세 가지 차원을 모두 예측하는 데 있어 첫 번째로 선택된 문항이었다.
• 최적화된 문항 집합:
  • SLM: 7개의 문항이 필요하여 성능 플래토에 도달했다. 주목할 점은 이 중 5개(71%)가 교차 척도 문항(SVM 또는 SCM 출신)이었다는 것이다.
  • SCM: 6개의 문항이 필요했다. 추가된 처음 4개의 문항은 모두 교차 척도(SVM 또는 SLM 출신)였으며, 5번째 단계에 이르러서야 고유 척도 문항이 등장했다.
  • SVM: 단 2개의 문항(BSBM23E 및 BSBM23A)만으로 플래토에 도달했으며, 두 문항 모두 SVM 척도 자체에서 추출되었다.
• 컴팩트 배터리(The Compact Battery): SLM과 SCM 솔루션은 6개의 공통 핵심 문항을 공유한다. 여기에 SLM 고유의 문항 1개를 추가하여, 세 가지 차원을 동시에 스크리닝할 수 있는 7개 문항의 배터리가 도출되었다. 이는 기존 26개 문항의 도구로부터 73%를 감축한 결과이다.
• 예측 성능: 7개 문항 배터리는 모든 차원에서 높은 예측 정확도를 달elle 성였다(AUROC 값 범위: .889 (SVM) ~ .939 (SLM)).
• 교차 국가 일관성: 특정 브릿지 문항은 국가마다 달랐으나, 프레임워크의 예측 유용성은 견고했다. 브릿지 문항 일관성 지수(상위 5개 글로벌 브릿지 문항이 로컬에서 재현되는 비율)는 평균 .509였다. 그러나 예측 정확도(AUROC)는 구조적 일관성이 낮은 국가(예: 사우디아라비아, 루마니아, 터키, 우즈베키스탄)에서도 높고 안정적인 수준(중앙값 .87–.95)을 유지했다.

주요 기여

1. TMA의 경험적 특성화: 본 연구는 대규모 국제 표본을 통해 TIMSS 정의적 척도 간의 조건부 의존 구조에 대한 최초의 문항 수준 매핑을 제공한다. 본 연구는 수학에 대한 가치 신념이 중심적인 역할을 한다는 것을 경험적으로 확인함으로써, 가치 신념의 통합적 역할을 명시하여 이론적 TMA 프레임워크를 확장하고, '수학에 대한 비전(Vision of Mathematics, SVM)' 차원을 구조적 허브로 식별하였다.
2. 방법론적 혁신: 본 연구는 교차 구성 개념 최적화를 대규모 교육 평가에 도입하였다. GGM의 브릿지 중심성을 활용함으로써, 한 구성 개념의 문항이 다른 구성 개념의 분류를 효율적으로 예측할 수 있음을 입증하였으며, 이는 척도를 고립된 풀(pool)로 취급하는 관행에 도전한다.
3. 실용적 도구: 본 연구는 기존 26개 문항의 공식 배터리를 대체하는 검증된 컴팩트 7개 문항 도구를 제공한다. 채택을 용이하게 하기 위해 배치 예측을 위한 Python 모듈과 개별 학생의 자기 평가를 위한 브라우저 기반 도구를 포함한 오픈 액세스 리소스를 제공한다.

의의 및 주장
본 논문은 수학 가치 신념이 정의적 네트워크의 주요 통합 노드로 기능하며, 교차 구성 개념에 대해 불균형적으로 높은 정보를 운반한다고 주장한다. 이러한 발견은 역량과 흥미 사이의 관계를 가치 신념이 매개한다는 기대-가치 이론의 주장을 뒷받침한다.

본 연구는 7개 문항 배터리가 세 가지 TMA 차원 모두를 높은 정확도로 스크리닝할 수 있음을 결론지으며, 이를 통해 설문 부담을 크게 줄일 수 있다고 밝힌다. 이는 물류적 제약 없이 주기적인 학생 정의적 상태 모니터링(예: 학기 초)을 가능하게 한다. 저자들은 본 프레임워크가 전 세계적으로 견고하지만, 브릿지 문항 일관성이 낮은 국가들(특히 사우디아라비아, 루마니아, 터키, 우즈베키스탄)은 문화적, 제도적 요인이 정의적 문항 간의 조건부 의존성을 변화시킬 수 있으므로, 해당 배터리를 현지 검증이 필요한 시작점으로 취급해야 한다고 언급하였다. 본 연구의 결과는 연구 및 교실 환경 모두에서 효율적인 정의적 모니터링을 위한 원칙적인 접근 방식을 제시한다.