From C1 Exit Standards to Enacted Proficiency: A Mixed-Methods Study of Score Interpretation and Assessment Alignment in an EFL Higher Education Programme

기술 요약: C1 졸업 기준에서 실현된 숙달도까지

문제 제기
본 논문은 결과 지향적인 외국어로서의 영어(EFL) 고등 교육 프로그램에서 나타나는 결정적인 간극, 즉 공식적으로 선언된 고급 졸업 기준(특히 C1)과 학습자가 실제로 보여주는 "실현된 숙달도(enacted proficiency)" 사이의 괴리를 다룬다. C1 기준은 커리큘럼의 기대치를 조직하고 품질 보증을 수행하기 위해 점점 더 많이 사용되고 있지만, 본 연구는 표준의 평가 가치가 정책 문서에 존재한다는 사실 자체에 내재된 것이 아니라고 주장한다. 대신, 그 가치는 해당 표준이 어떻게 평가 가능한 과업, 해석 가능한 점수 증거, 진단적 피드백, 그리고 후속 학습자 행동으로 번역되는지에 달려 있다. 핵심 문제는 C1 기준이 선언되었는지 여부가 아니라, 그 기준이 특정 지역 프로그램의 구체적인 학습 관행 및 평가 생태계 내에서 어떻게 가시화되고, 해석 가능하며, 활용 가능한 상태가 되는가이다.

연구 방법론
본 연구는 베트남의 한 국립대학교에 재학 중인 학부 영어 프로그램 하나를 국가적 대표 표본이 아닌 "경계가 정해진 분석 사례(bounded analytic case)"로 취급하는 혼합 방법론 설계를 채택하였다. 연구의 초점은 B2에서 C1 숙달도로의 전환 과정에 있다.

• 참여자: 양적 연구 단계에는 3학년 학생 전체인 91명이 참여하였다. 질적 연구 단계에는 12명의 강사와 1명의 프로그램 관리자가 포함되었다.
• 도구 및 데이터 소스:
  1. 모듈 점수: 네 가지 핵심 실용 영어 모듈(Listening-Speaking 4, Reading-Writing 4, Advanced Reading-Listening, Advanced Speaking-Writing)의 2차 데이터. 기관의 학점 이수 규정에 근거하여 내부 점수 임계치인 8.6을 C1 관련 지표로 사용하였으며, 이는 외부에서 검증된 CEFR 척도가 아님을 명시하였다.
  2. 학생 설문조사: 학습 전략 설문지(MSLQ)를 수정하여 내재적 가치(Intrinsic Value), 시간 및 학습 환경(Time and Study Environment), 학습자 자율성(Learner Autonomy)을 측정하는 7점 리커트 척도 설문지를 사용하였다. 또한 CEFR 수준에 대한 자기 평가와 학습 장벽도 함께 조사하였다.
  3. 강사/관리자 설문조사: 표준 인지도, 숙달도 인식, 피드백 관행을 다루는 35개의 리커트 항목과 개방형 응답을 포함하였다.
• 분석: 정규 분포를 따르지 않는 데이터를 고려하여, 양적 데이터는 SPSS 27.0(스피어만 상관계수, 윌콕슨 부호 순위 검정, 기술 통계)을 사용하여 분석하였다. 질적 데이터는 귀납적 주제 분석(Braun & Clarke, 2006)을 거쳤다. 모듈 점수, 학생 설문조사, 강사 데이터를 통한 삼각 측정이 수행되었다.

주요 결과

• 벤치마크 달성도: Advanced Speaking-Writing 모듈에서 내부 C1 관련 벤치마크(점수 ≥ 8.6)를 충족한 학생은 9.9%에 불과했다. 반면, Advanced Reading-Listening에서는 33.0%가 벤치마크를 충족했다. 기초 단계인 Reading-Writing 4 모듈에서는 학생의 95.6%가 8.0 미만의 점수를 기록했다.
• 기술 발달: 리스닝(Listening)만이 B2 기초 단계에서 C1 고급 단계로 넘어갈 때 통계적으로 유의미한 향상을 보인 유일한 기술이었다. 스피킹, 리딩, 라이팅은 유의미한 발달을 보이지 않았으며, 특히 라이팅 점수는 약간 하락하였다.
• 학습자 자기 조절: 90.5%의 학생들이 수업 외 자기 주도 학습의 중요성을 인정했으나, 주당 2~4시간 동안 독립적으로 학습한다고 보고한 비율은 40.9%에 그쳤다. 영어의 가치를 높게 평가하는 것(높은 내재적 가치)과 지속적인 자기 주도 학습을 조직하는 것(낮은 시간 및 학습 환경 점수) 사이에는 상당한 격차가 존재했다.
• 상관관계: 내재적 가치는 오직 Advanced Reading-Listening 점수와만 유의미한 상관관려가 있었다. 학습자 측 변수(자기 주도 학습 행동 및 자율성 포함) 중 Advanced Speaking-Writing 점수와 유의미한 상관관계를 보인 것은 없었다.
• 피드백 및 장벽: 학생들은 전반적으로 교수 품질을 긍정적으로 평가했으나, "개별화된 강사의 피드백"에 대해서는 가장 낮은 점수를 주었다. 주요 보고된 장벽은 실제 의사소통 기회의 부족, 불충분한 자기 주도 학습 규율, 그리고 학술적 어휘 및 문법의 한계였다.

주요 기여
본 논문은 고급 숙달도를 단순한 도달 라벨이 아닌 "평가-사용 사슬(assessment-use chain)"로 재정의함으로써 해당 분야에 기여한다. C1 표준이 실현되기 위해서는 다음과 같은 일관된 정렬이 필요함을 입증한다:

1. 해석 가능한 평가 증거: 단순한 원점수를 넘어, 학생들이 자신의 성취를 목표치와 대조하여 위치를 파악할 수 있는 증거로 나아가야 한다.
2. 진단적 피드백: 정보 전달에 그치지 않고, 학습자의 수용(uptake)과 후속 행동을 지원하는 프로세스로 설계된 피드백이 필요하다.
3. 유도된 자기 조절 학습: 특히 생산적 기술(productive skills)에서 학습자가 기준과 피드백을 사용하여 자신의 진도를 계획하고 모니터링할 수 있도록 하는 비계 설정(scaffolding)이 필수적이다.

본 연구는 동기 부여(내재적 가치)만으로는 구체적인 자기 조절 루틴과 실행 가능한 피드백 루프라는 구조적 지원 없이는 고급 생산적 수행을 이끌어내기에 불충분하다는 점을 강조한다.

의의 및 주장
저자들은 본 연구의 경험적 근거가 국지적이며, 결과가 다른 베트남이나 아시아 프로그램으로 통계적 일반화를 의도한 것이 아님을 명시적으로 밝힌다. 본 논문의 의의는 고급 졸업 기준에 의존하는 EFL 프로그램들에 던지는 평가 관련 질문에 있다.

논문은 관찰된 "C1 격차"가 단순히 학생 능력의 실패라기보다 "평가-사용의 문제(assessment-use problem)"일 가능성이 높다고 주장한다. 또한 프로그램은 다음 요소들 간의 정렬을 검토해야 한다고 제안한다:

• 졸업 기준과 교과 과업 간의 정렬
• 숙달도를 해석하는 데 사용되는 증거
• 생산적 기술 작업에 부수되는 피드백 기회
• 학생의 자기 주도 학습 계획을 위한 지원 구조

본 연구는 C1 지향적 숙달도가 내부의 평가 증거, 진단적 피드백, 그리고 유도된 자기 조절 학습에 의존하는 "교육학적으로 구성된 결과물"로 이해되어야 한다고 결론짓는다. 또한 내부 모듈 점수를 외부 CEFR 수준과 연결하는 척도 연결(scale-linking) 연구와, 고급 표준을 커리큘럼 설계 및 피드백 리터러시를 통해 실행 가능하게 만드는 데 집중하는 프로그램 검토를 촉구한다.