From Means to Slopes: Rethinking International Comparisons of Questionnaire Indicators in PISA

기술 요약: PISA 설문 지표의 평균에서 기울기로의 전환

문제 제기
PISA와 같은 국제 대규모 평가(ILSA)는 전통적으로 국가 간 비교를 위해 국가 평균의 리그 테이블(league tables)에 의존해 왔다. 저자들은 이러한 접근 방식이 인지 영역(예: 수학, 읽기)에는 유용할 수 있으나, 동기, 웰빙, 교실 환경과 같은 설문 지표에는 근본적으로 문제가 있다고 주장한다. 이러한 지표들은 이질적이고 문화적으로 내재되어 있으며, 응답 양식의 변이(예: 사회적 바람직성, 참조 틀 효과)에 취약하다. 결과적으로, 이러한 척도들을 국가 평균으로 집계하는 것은 심리적 의미를 모호하게 하고, 구성(composition)과 과정(process)을 혼동하며, 집단 수준의 관계가 개인 수준의 과정을 반영하지 못하는 생태학적 오류(ecological fallacy)의 위험을 초래한다. 본 연구는 설문 지표가 분석 수준에 따라 어떻게 해석되어야 하는지를 결정해야 할 필요성을 다루며, 특히 국가 평균이 교차 국가 비교의 타당한 근거를 제공하는지에 대해 의문을 제기한다.

연구 방법론
본 연구는 80개국 612,004명의 학생을 포함하는 PISA 2018 데이터를 활용하였다. 분석은 읽기 성취도, 사회경제적 지위(SES), 성별과 함께 31개의 학습 관련 설문 지표(메타인지 전략, 태도, 동기, 웰리빙, 환경 포함)에 집중하였다.

분석 전략은 다층 모델링을 사용하여 세 단계로 진행되었다:

1. 분산 분해(Variance Decomposition): 학교 내 학생, 학교 간 학교, 국가 간 학교의 3단계 모델을 추정하여 집단 내 상관계수(ICC)를 계산하였다. 이를 통해 설문 지표 평균의 분산 중 학교 내, 학교 간, 국가 간에 위치한 비율을 결정하였다.
2. 교차 수준 관계(Cross-Level Relations): 3단계 회귀 모델을 사용하여 세 가지 수준에서 읽기 성취도와 각 설문 지표 간의 연관성을 추정하였다:
   • 1수준 (학교 내): 개인 학생 간 관계.
   • 2수준 (학교 간): 국가 내 학교 평균 간 관계.
   • 3수준 (국가 간): 국가 평균 간 관계.
     이 단계에서는 특히 집계 수준이 높아짐에 따라 연관성의 방향이 바뀌는 교차 수준 역전(심슨의 역설) 현상을 테스트하였다.
3. 메타 분석적 기울기 모델링(Meta-Analytic Slope Modeling): 설문 지표와 성취도, SES, 성별 간의 학교 내 기울기를 효과 크기(effect sizes)로 취급하였다. 이들은 2단계 무작위 효과 메타 분석 모델(국가 내 학교)을 사용하여 통합된 기울기, 국가 간 이질성($\tau^2$), 그리고 구조적 조절 변수를 추정하기 위해 분석되었다.
   • 가중치 적용: 분석은 OECD 가중치 절차(교차 국가 통합을 위한 Senate 가중치, 국가 내 통합을 위한 학교 가중치)를 따랐다. 정밀도 가중치(precision-weighting)는 학교 기울기에 적용되었다 ($weight = school\ weight / SE^2$).
   • 강건성(Robustness): 가중치 결정에 의해 결과가 좌우되지 않음을 확인하기 위해 가중치를 적용하지 않은 명세(unweighted specifications)를 사용한 민감도 분석을 수행하였다.

주요 결과

1. 국가 평균의 제한적인 분산: 설문 지표의 국가 간 분산은 미미했다. 평균 ICC는 약 6%(시간 사용 측정치를 제외하면 5.5%)였으며, 분산의 약 90%가 학교 내에 위치했다. 이는 설문 지표에 기반한 국가 순위가 실질적인 국가 간 차별화를 거의 포착하지 못함을 시사한다.
2. 교차 수준 역전의 보편성: 성취도와 설문 지표 사이의 연관성은 수준에 따라 빈번하게 방향이 역전되었다. 31개 지표 중 28개에서, 개인 수준(1수준)에서 관찰된 양(+)의 관계가 국가 수준(3수준)에서는 약화되거나 음(-)의 관계로 나타났다. 예를 들어, "독서의 즐거움"과 "독서 자아개념"은 개인에게는 성취도와 양의 상관관계를 보였으나, 국가 수준에서는 음의 상관관계를 보였다. 이는 집계가 구성 개념의 의미를 변화시킨다는 것을 나타낸다.
3. 기울기의 안정성 및 해석 가능성: 평균과 달리, 학교 내 기울기는 이론적으로 기대되는 양의 방향을 대체로 유지하였다. 통합된 학교 수준의 기울기는 일관되게 양의 값을 가졌으며(유의미한 음의 값은 없음), 이는 성취도와 동기/웰빙 사이의 연결에 관한 심리학적 이론과 일치한다.
4. 기울기의 이질성: 기울기는 국가마다 달랐지만, 이 분산의 국가 간 성분은 일반적으로 완만했다(읽기 기울기는 평균 ~7%, SES 기울기는 ~2%). 대부분의 이질성은 국가 내부, 구체적으로 학교 간에 존재했다.
5. 구조적 조절: 기울기의 교차 국가적 변이는 무작위가 아니었다. 학교 간 읽기 격차(읽기 ICC로 지표화됨)는 여러 사례에서 관계를 유의미하게 조절했다. 격차가 낮은 국가들은 더 교육적으로 바람직한(양의) 학교 내 기울기를 보이는 경향이 있었다.
6. 강건성: 통합된 기울기, 분산 성분, 조절 효과에 관한 결과는 가중치 결정에 대해 강건하였으며, 가중치를 적용하지 않은 모델에서도 거의 동일한 결과를 보였다.

주요 기여
본 논문은 ILSA 데이터 해석에 대해 네 가지 주요 기여를 한다:

1. 작은 국가 간 분산에 대한 실증적 증거: 설문 지표의 대부분에 대해 국가 간 분산이 너무 작아서 국가별 리그 테이블의 해석적 가치를 정당화하기 어렵다는 점을 입증하였다.
2. 교차 수준 역전의 문서화: 집계가 성취도와 비인지적 지표 사이의 연관성 방향을 어떻게 자주 역전시키는지 체계적으로 기록함으로써, 개인 수준의 과정을 추론하기 위해 국가 평균을 사용하는 것의 타당성에 의문을 제기하였다.
3. 기울기 기반 지표의 타당성 검증: 학교 내 기울기가 심리학적 이론의 방향성 예측을 보존하고 구성 효과로부터 관계적 과정을 분리해내기 때문에, 평균보다 더 이론적으로 방어 가능하고 해석 가능한 렌즈임을 확립하였다.
4. 기울기와 구조적 특징의 연결: 이러한 관계적 과정의 교차 국가적 차이가 교육 시스템의 구조적 특징(예: 학교 간 격차)에 의해 부분적으로 설명될 수 있음을 보여주었다.

의의 및 주장
저자들은 평균에서 기울기로의 전환이 단순한 방법론적 개선이 아니라 **개념적 재지향(conceptual reorientation)**이라고 주장한다.

• 다른 질문: 평균과 기울기는 서로 다른 질문에 답한다. 평균은 수준(국가가 평균적으로 보고된 상태에서 어떻게 다른가)을 기술하는 반면, 기울기는 관계(시스템이 SES나 성별과 같은 개인적 특성을 어떻게 결과로 전환하는가)를 기술한다.
• 정책적 시사점: 본 연구는 국제 평가가 설문 지표의 평균을 기준으로 국가를 순위 매기는 것에서 벗어나야 한다고 주장한다. 평균은 오해의 소지가 있는 약한 신호이기 때문이다. 대신, 교육 시스템이 학생의 경험을 어떻게 형성하는지 이해하기 위해 관계적 지표(예: SES 구배, 성취도-웰빙 트레이드오프)에 집중하여 보고해야 한다.
• 체제 내 변이에 대한 집중: 설문 프로세스의 의미 있는 변이는 대부분 국가 내부(특히 학교 간)에서 발생하므로, 이러한 지표의 주요 가치는 국가를 재순위 매기는 것이 아니라 학교 수준의 과정과 형평성 문제를 진단하는 데 있다.
• 상호 보완성: 저자들은 기울기가 평균을 완전히 대체해야 한다고 주장하는 것이 아니라, 교육적 형평성과 시스템 성과에 대한 완전한 그림을 제공하기 위해 수준 기반 요약이 관계적 지표에 의해 보완되어야 한다고 주장한다.

본 연구는 ILSA가 여전히 가치 있는 도구이지만, 생태학적 오류를 피하고 학습의 사회적 조직을 더 잘 밝히기 위해서는 설문 데이터에 대한 해석적 프레임워크의 정교화가 필요하다고 결론짓는다.