The Contribution of Competency-Based and Multi-Dimensional Assessment on Learners’ Holistic Development in West Hararghe Secondary Schools, Ethiopia

기술 요약: 에티오피아 웨스트 하라르게(West Hararghe) 중등 학교의 역량 기반 및 다차원적 평가가 학습자의 총체적 발달에 미치는 기여

문제 제기
글로벌 및 에티오피아 교육 정책이 학습자의 총체적 발달을 촉진하기 위해 역량 기반 및 다차원적 평가를 점점 더 강조하고 있음에도 불구하고, 자원이 부족한 아프리카 환경에서의 실행 및 영향에 관한 실증적 증거는 여전히 부족하다. 기존 문헌은 정책적 열망(예: 에티오피아의 신교육훈련정책 및 ESDP VI)과 교실의 현실 사이의 간극을 자주 강조하는데, 실제 교실에서는 평가가 고차원적 사고와 사회적·정서적 기술보다는 사실적 회상에 치중된 시험 중심의 형태로 남아 있다. 구체적으로, 웨스트 하라르게 지역과 같은 곳의 현재 평가 관행이 학생들의 인지적, 사회적, 정서적 역량과 어떻게 연관되어 있는지, 그리고 이러한 혁신적 접근 방식의 채택을 방해하는 맥락적 장벽이 무엇인지에 대한 체계적인 조사가 부족한 실정이다.

연구 방법론
본 연구는 에티오피아 웨스트 하라르게 존의 중등 학교 학생(9~12학년)과 교사를 대상으로 **설명적 순차 혼합 방법론(explanatory sequential mixed-methods design)**을 채택하였다.

• 양적 단계:

  • 참여자: 8개 중등학교에서 층화 무작위 추출법으로 선정된 300명의 학생.
  • 도구: 평가 관행(인지적, 사회적, 정서적 지향)과 학습자 역량(인지적, 사회적, 정서적)을 측정하는 타당도가 검증된 32개 항목의 리커트 척도 설문지.
  • 타당도 검증: 도구는 .92의 내용 타당도 지수(CVI), .82에서 .91 사이의 Cronbach's α, 그리고 CFA 적합도 지수(CFI = .94, RMSEA = .06)를 포함하여 강력한 심리측정적 특성을 나타냈다.
  • 분석: 데이터는 다중 회귀 분석, 구조 방정식 모델링(SEM), 그리고 편향 수정 부트스트랩 매개 분석(5,000회 재표본 추출)을 사용하여 평가 관행과 총체적 발달 사이의 직접 및 간접 경로를 테스트하는 데 사용되었다.

• 질적 단계:

  • 참여자: 동일한 8개 학교에서 유의 표집(purposive sampling)을 통해 선정된 60명의 교사.
  • 도구: 반구조화된 인터뷰 및 국가/지역 평가 가이드라인에 대한 문서 분석.
  • 분석: Braun과 Clarke의 6단계 과정을 따르는 주제 분석(thematic analysis)을 수행하였으며, 코더 간 신뢰도(Cohen's κ = .82)를 확립하였다. 48회의 인터뷰 후 포화 상태에 도달하였다.

• 통합: 양적 및 질적 연구 결과를 통합하여 수렴 지점과 정교화 지점을 식별하기 위해 공동 디스플레이 매트릭스(joint display matrix)를 사용하였다.

주요 결과

1. 평가 관행: 형성 평가는 가장 보편적인 접근 방식(64%)이었던 반면, 동료 평가(32%), 자기 평가(27%), 역량 정렬 루브릭(25%)은 사용 빈도가 낮았으며, 이는 대체로 교사 주도의 평가 문화를 나타낸다.
2. 예측 관계: 평가 관행은 총체적 학습자 역량 변량의 42.7%를 집단적으로 예측하였다($R^2 = .43, p < .001$). 인지 지향 평가가 가장 강력한 고유 예측 변수였으며($\beta = .41$), 사회적($\beta = .29$) 및 정서 지향 평가($\beta = .26$)가 그 뒤를 이었다.
3. 구조적 경로: SEM 분석 결과, 평가 관행은 인지적 역량에 가장 강력한 직접 효과($\beta = .52$)를 미쳤으며, 사회적($\beta = .37$) 및 정서적 역량($\beta = .33$)에 대해서는 유의미하지만 상대적으로 약한 효과를 보였다.
4. 매개 효과:
   • 학습자 참여: 평가 관행과 총체적 역량 사이의 관계를 부분 매개하였다 (간접 효과 = .21, 전체 효과의 43%를 설명).
   • 정서적 역량: 평가 관행과 학업 성취도 사이의 관계를 부분 매개하였다 (간접 효과 = .12, 전체 효과의 39%를 설명).
5. 맥락적 장벽: 질적 데이터는 다섯 가지 주요 장벽을 식별하였다:
   • 제한된 교사 준비 (루브릭 설계 및 피드백에 대한 훈련 부족).
   • 과도한 교사 업무량 및 대규모 학급 규모 (55~65명).
   • 자원 부족 (포트폴리오/루브릭을 위한 자료 부족).
   • 일관성 없는 학교 수준의 지원 및 교수 리더십.
   • 사실적 회상을 우선시하는 고부담 국가 고시(10학년 및 12학년)와의 불일치.

주요 기여

• 저자원 환경에서의 실증적 증거: 본 연구는 저자원 아프리카 환경에서 특정 평가 관행을 다차원적 학습자 성과와 연결하는 드문 양적 증거를 제공하며, 단순한 정책 분석을 넘어 학생 성과 측정으로 나아갔다.
• 메커니즘적 통찰: 본 연구는 평가 관행이 총체적 발달과 학업 성취에 영향을 미치는 핵심적인 매개 기제로서 학습자 참여와 정서적 역량을 식별하였으며, 이는 해당 맥락에서의 자기결정 이론(Self-Determination Theory)과 통제-가치 이론(Control-Value Theory)을 뒷받침한다.
• 혼합 방법론적 통합: 학생 설문 데이터와 교사 인터뷰 및 정책 문서를 삼각 측량함으로써, 본 연구는 왜 특정 평가 관행(예: 동료/자기 평가)이 이론적 이점에도 불구하고 과소 활용되는지를 단순한 교사의 저항이 아닌 시스템적 장벽의 관점에서 규명하였다.

의의 및 주장
본 논문은 역량 기반 및 다차원적 평가 접근 방식이 웨스트 하라르게의 총체적 학습자 발달과 유의미하게 연관되어 있지만, 현재 그 실행은 부분적이며 시스템적 요인에 의해 제약받고 있다고 주장한다. 저자들은 다음과 같이 단언한다:

• 평가 관행은 단순히 측정 도구가 아니라 인지적, 사회적, 정서적 발달을 형성하는 능동적인 학습 경험이다.
• 현재의 "시험 중심" 책임 체계는 인지적 성과를 사회적·정서적 발달보다 우선시함으로써 총체적 평가 개혁의 효과를 제한하는 구조적 장벽을 만든다.
• 지속 가능한 실행을 위해서는 정책적 명령 이상의 것이 필요하며, 이는 체계적인 전문성 개발, 적절한 자원 배분, 학급 규모 축소, 그리고 결정적으로 고부담 시험 체계와 교실 평가 간의 정렬을 필요로 한다.
• 본 연구는 역량 기반 평가의 원칙이 저자원 맥락에서도 유효하지만, 그 변혁적 잠재력은 현지의 실행 제약 조건을 해결하는 것에 달려 있음을 보여줌으로써 유사한 교육 환경에서 평가 개혁을 조사하기 위한 모델을 제시한다.

저자들은 횡단적 설계(cross-sectional design)가 인과적 추론을 제한한다는 점을 인정하며, 매개 결과가 인과관계의 결정적 증거라기보다 이론적 경로와 일치한다는 것으로 해석되어야 함을 명시하며 인과성에 대해 신중한 어조를 유지한다. 그들은 연구 결과가 정책과 실제 사이의 간극을 메우기 위한 다각적인 수준의 개입이 필요함을 강조하고 있다.