Digital Inequality, ICT Pedagogical Hindrances, and Student Computer and Information Literacy: A Plausible-Value-Based Multilevel Analysis with Design-Based Sensitivity Checks Using ICILS 2023

기술 요약: 디지털 불평등, ICT 교수학습 저해 요인, 그리고 학생의 컴퓨터 및 정보 리터러시

문제 제기 및 연구 배경
본 연구는 학교 디지털 전환에 관한 논의가 인프라 접근성 문제에서 구현, 교수법, 그리고 학생의 디지털 역량에 관한 문제로 진화하고 있는 흐름을 다룬다. 구체적으로, 본 연구는 학교 수준의 디지털 조건—즉, 생성형 AI 및 ICT에 대한 교장의 기대치와 교수학습적 ICT 사용의 저해 요인—이 학생의 컴퓨터 및 정보 리터러시(CIL) 평가 결과와 어떻게 연관되는지를 조사한다.

식별된 핵심적인 공백은 학생의 배경, 학교의 사회경제적 구성, 그리고 국가 간 차이를 통제한 후에도 학교 수준의 디지털 변수(예: AI 기대치)가 학생의 CIL과 직접적으로 연관되어 있는지에 대한 명확성이 부족하다는 점이다. 기존 연구들은 학교 지도자들이 학생 학습에 직접 작용하기보다는 학교 조건을 형성함으로써 간접적으로 결과를 영향을 미친다고 시사한다. 그러나 이러한 디지털 조건들이 사회경제적 계층화 및 국가 시스템의 차이와 같은 혼란 변수들을 엄격히 통제했을 때도 CIL을 예측할 수 있는지 여부는 여전히 불확실하다.

연구 방법론
본 연구는 ICILS 2023 국제 데이터베이스의 이차 분석을 활용하며, 선택 사항인 교장 AI 모듈을 실시한 12개 교육 체계(칠레, 타이완, 키프로스, 덴마크, 그리스, 한국, 노르웨이, 루마니아, 슬로바키아, 슬로베니아, 스웨덴, 우루과이)의 통합 표본에 집중한다. 분석 대상은 1,049개 학교에 속한 24,273명의 8학년 학생이다.

분석 워크플로우는 특정 소프트웨어 도구를 사용하여 세 가지 연결된 단계로 구성된다:

1. 데이터 준비 (R): 파일들을 병합하였으며, 학생의 사회경제적 지위(SES)를 학교 내 편차(IISBW)와 학교 평균 구성 요소(IISBM)로 분해하였다. 고유한 학교 식별자와 국가별 정규화 가중치(SENWLGT)를 생성하였다.
2. 주요 모델링 (Mplus 9): 정확한 추론 통계를 확보하기 위해 CIL에 대한 타당한 값(plausible values, PV1–PV5)을 사용한 가중치 적용 2단계 다층 분석을 수행하였다. 모델 순서는 다음과 같다:
   • 무조건 모델(unconditional model)을 통한 집단 내 상관계수(ICC) 추정.
   • 학생 수준 예측 변수(성별, 학교 내 SES, 가정 내 인터넷 접속, 컴퓨터 경험)와 학교 수준 SES를 추가한 모델.
   • 국가 간 차이에 의한 혼란을 줄이고 국가 내 연관성을 격리하기 위해 11개 국가 고정 효과(덴마크를 참조 그룹으로 설정)를 포함한 모델.
   • 학교 수준 예측 변수인 긍정적 AI 기대(AIPOS), 부정적 AI 기대(AINEG), ICT 교수학습 저해(HPED), 교장 ICT 사용 기대(EXPLRN), 교사 ICT 협력 기대(EXPTCH)를 테스트하는 전체 모델.
3. 민감도 검사 (IDB Analyzer/SPSS): 75개의 학생 복제 가중치를 사용한 설계 기반 잭나이프 반복 재표집(Jackknife Repeated Replication, JRR) 민감도 분석을 수행하였다. 이는 주요 다층 모델을 대체하기보다는 방향성과 통계적 불확실성을 평가하기 위한 비교 가능한 단일 수준 회귀 분석으로서 기능한다.

주요 결과

• 분산 분포: CIL 분산의 약 **33.8%**가 학교 간 차이에서 발생하였으며, 이는 다층 접근 방식의 타당성을 입증한다.
• 학생 및 학교 구성: 학교 내 사회경제적 이점, 학교 사회경제적 구성(IISBM), 컴퓨터 경험, 가정 내 인터넷 접속, 성별은 CIL의 유의미한 예측 변수였다. 학교 사회경제적 구성이 학교 간 가장 강력한 상관관계 요인이었다.
• AI 및 ICT 기대치: 학생 배경, 학교 SES, 국가 고정 효과를 통제한 후, AI 기대 척도(AIPOS, AINEG) 및 ICT 기대 변수(EXPLRN, EXPTCH)는 학생의 CIL과 직접적인 연관성을 보이지 않았다.
• ICT 교수학습 저해 (HPED): 이 변수는 가장 명확한 부정적 학교 수준 패턴을 나타냈다. 주요 Mplus 모델에서 이 연관성은 음(-)의 방향이었으나 경계선상에 있었다($p = .081$). 설계 기반 JRR 민감도 분석에서도 부정적 방향성이 지속되었으며, 모델 사양에 따라 결과는 경계선 수준에서 약한 유의성 사이를 나타냈다.
• 강건성: 다중공선성 진단 결과, AI/ICT 기대에 대한 무효 결과(null findings)가 심각한 공선성 때문은 아닌 것으로 나타났다. ICT 기대 복합 변수(ICTEXP)를 사용한 민감도 검사는 광범위한 기대 분위기가 CIL과 명확하게 연관되어 있지 않음을 확인하였다.

의의 및 주장
본 논문은 ICILS 2023 데이터셋 내 학생 CIL의 차이가 학교 수준의 AI 기대 분위기보다는 사회경제적 계층화 및 구현 관련 장벽과 더 강력하게 연결되어 있다고 주장한다.

저자들은 다음과 같이 신중하게 결과를 해석한다:

1. 수사보다 구현: 결과는 기술을 수업에 통합하는 데 있어 실질적인 장벽(HPED)이 교장의 추상적인 기대나 AI에 대한 지향성보다 학생의 CIL에 더 큰 영향을 미칠 수 있음을 시사한다.
2. 맥락적 vs 직접적: 학교 수준의 AI 기대치는 직접적인 교수 기제라기보다 학교 환경의 맥락적 특징으로 간주되어야 한다. CIL와의 직접적인 연관성 결여는 무의미함을 의미하는 것이 아니라, 측정되지 않은 매개 기제(예: 교사 전문성 학습 또는 교수 학습 관행)를 통해 작동할 수 있음을 시사한다.
3. HPED의 해석: HPED와의 부정적 연관성은 확정된 직접적 학교 수준 효과라기보다 "시사적인 구현 장벽 패턴"으로 규정된다. 저자들은 이러한 패턴이 일관되기는 하지만 효과 크기가 완만하며, 본 연구의 결과가 강력한 인과적 주장을 뒷받침하지는 않는다는 점을 강조한다.

결론
본 연구는 학교 디지털 전환이 매우 중요하지만, 사회경제적 요인과 국가적 요인을 고려했을 때 특정 학교 수준의 변수인 AI 및 ICT 기대치가 학생의 CIL을 직접적으로 예측하지는 않는다고 결론짓는다. 대신, 교수학습적 저해 요인을 제거하는 것이 학생의 디지털 역량과 관련된 더 실질적이고(비록 미미할지라도) 구체적인 요인으로 보인다. 이러한 결과는 신흥 기술에 대한 리더십의 기대치에만 집중하기보다 사회경제적 불평등과 실질적인 구현 장벽을 해결하는 것이 중요하다는 점을 재확인시켜 준다.