Towards interpretable models for language proficiency assessment: Predicting the CEFR level of Estonian learner texts

이 논문은 다양한 언어적 특성을 선별하여 에스토니아어 학습자 텍스트의 CEFR 등급을 약 90%의 정확도로 예측하고 해석 가능한 모델을 구축함으로써, 에스토니아어 학습 환경의 자동 평가 시스템 개발에 기여한 연구 결과를 요약합니다.

핵심

1. 비유: "스무고개" 게임과 언어 실력 측정기

상상해 보세요. AI 가 학생의 글을 읽을 때, 마치 "스무고개" 게임을 하는 것과 같습니다.

• 기존 방식 (블랙박스): "이 글은 C1 급이야!"라고만 말해줍니다. 왜 C1 인지 설명해주지 않아서 학생은 "내가 뭘 잘해서 C1 이 된 거지?"라고 궁금해합니다.
• 이 연구의 방식 (투명한 창): AI 는 "이 글은 단어 수가 많고, 문장이 길며, 문법 오류가 적고, 어려운 단어를 썼기 때문에 C1 급입니다"라고 구체적으로 설명해 줍니다.

저자는 AI 가 단순히 점수만 매기는 게 아니라, **"왜 그렇게 판단했는지"**를 이해할 수 있도록 (해석 가능한 모델) 만들려고 했습니다.

2. 비유: "신체 검사"를 통한 언어 진단

연구진은 학생들의 글을 분석할 때, 의사가 환자의 건강 상태를 진단하듯 4 가지 주요 지표를 측정했습니다.

1. 어휘 (Lexical) - "옷장 속 옷의 다양성"

   • 단순히 옷이 많은지 (단어 수) 보다는, 다양한 옷을 입었는지 (유일한 단어의 수), 고급스러운 옷을 입었는지 (어려운 단어) 를 봅니다.
   • 결과: 실력이 늘수록 옷장 (단어장) 이 더 다양해지고, 고급스러운 옷 (어려운 단어) 을 더 많이 입는다는 걸 발견했습니다.

2. 문법 형태 (Morphological) - "레고 블록 조립의 정교함"

   • 에스토니아어는 단어의 끝이 상황에 따라 많이 변합니다. 이를 레고 블록에 비유하면, 초급자는 큰 블록만 쓰고, 상급자는 작은 블록들을 정교하게 조립해 복잡한 구조를 만듭니다.
   • 결과: 실력이 높을수록 문법적 변화 (격, 단수/복수 등) 를 더 다양하고 정확하게 사용했습니다.

3. 표면적 특징 (Surface) - "글의 길이와 크기"

   • 글자 수, 문장 수, 문장의 길이 등을 재는 것입니다.
   • 결과: 실력이 높을수록 글이 길어지고 문장도 더 길어지는 경향이 있었습니다. (하지만 글자 수만으로는 실력을 다 판단할 수 없다는 점도 발견했습니다.)

4. 오류 (Error) - "실수 횟수"

   • 철자나 문법 실수가 얼마나 많은지 봅니다.
   • 결과: 실력이 높을수록 실수가 줄어듭니다. 특히 문법 교정 도구가 잡아낸 오류가 실력 판단에 큰 도움을 줍니다.

3. 비유: "레시피"를 섞어 최고의 요리를 만들기

연구진은 이 4 가지 지표 중 어떤 것이 진짜 실력을 잘 보여주는지 실험해 보았습니다.

• 실험 1: 모든 지표를 다 넣었을 때 vs. 가장 신뢰할 수 있는 지표만 선별했을 때.
  • 결과: 모든 지표를 다 넣으면 AI 가 "이건 시험 문제 유형 때문에 C1 이네"라고 착각할 수 있었습니다 (예: 특정 주제만 다룰 때만 쓰이는 단어). 하지만 신뢰할 수 있는 지표만 골라 넣은 레시피를 쓰니, 어떤 글 (이메일, 에세이 등) 이든 일관되게 실력을 잘 판단했습니다.
• 최고의 레시피: 단어 다양성 + 문법 변화 + 글의 길이 + 문법 오류를 모두 섞은 혼합 모델이 가장 정확했습니다. (정확도 약 98%!)

4. 놀라운 발견: "시간이 흐르면서 글이 더 어려워졌다"

연구진은 2010 년과 2017~2020 년의 시험 글을 비교했습니다.

• 비유: 10 년 전의 학생들과 지금의 학생들을 비교했더니, 같은 등급 (예: C1) 을 받아도 요즘 학생들의 글이 훨씬 더 정교하고 복잡해졌습니다.
• 마치 10 년 전에는 "간단한 레시피"로 C1 급 요리를 만들었다면, 지금은 "고급 레시피"를 써야 C1 급으로 인정받는 상황이 된 것입니다. 이는 교육이 발전했기 때문일 수 있습니다.

5. 결론: 이 연구가 우리에게 주는 메시지

이 연구는 단순히 "AI 가 채점한다"는 것을 넘어, **"왜 그 글이 그 수준인지"**를 설명해 주는 투명한 도구를 만들었습니다.

• 실용성: 이 기술은 에스토니아어 학습 환경 (ELLE) 에 이미 적용되어, 학생들이 글을 쓸 때 "너의 단어 다양성이 부족해" 또는 "문장이 너무 짧아" 같은 구체적인 피드백을 받을 수 있게 했습니다.
• 의의: AI 가 채점할 때 "어떻게 판단했는지"를 알 수 있어야 학생과 선생님도 믿고 사용할 수 있습니다. 이 연구는 바로 그 신뢰할 수 있는 AI 채점 시스템의 길을 닦았습니다.

한 줄 요약:

이 연구는 AI 가 학생의 글을 읽을 때, 단순히 점수만 매기는 게 아니라 **"어떤 단어와 문법 실력이 실력을 결정했는지"**를 투명하게 설명해 주는 똑똑한 언어 코치를 개발하는 데 성공했습니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 배경: AI 기반 언어 학습에서 자동화된 작문 평가 및 피드백 시스템의 중요성이 증가하고 있으며, 특히 CEFR(유럽 공통 언어 참조 기준) 수준에 따른 학습자 텍스트 분류는 학습자 배치, 즉각적인 피드백, 교사의 평가 지원 등에 필수적입니다.
• 문제점:
  • 기존 연구는 주로 높은 정확도를 목표로 하지만, 모델의 **해석 가능성 (Interpretability)**과 **일반화 능력 (Generalizability)**이 부족합니다.
  • 특히 에스토니아어와 같은 소규모 언어 (Low-resource language) 환경에서 CEFR 수준 (A2-C1) 을 예측하는 연구가 부족합니다.
  • 이전 연구들 (예: Vajjala & Lõo, 2014) 은 특정 과제 (Task) 에 의존하는 특징 (Feature) 을 사용하여 다양한 텍스트 유형에 대한 일반화 성능이 떨어지는 경향이 있었습니다.
• 연구 목표: 에스토니아어 학습자 작문 (A2-C1 수준) 을 분류할 때, 신뢰할 수 있는 언어적 특징을 신중하게 선별하여 모델의 해석 가능성과 일반화 능력을 동시에 향상시키는 최적의 머신러닝 모델을 개발하는 것.

2. 방법론 (Methodology)

2.1 데이터셋 (Data)

• 주 데이터셋 (Training & Test Set 1): 2017-2020 년 에스토니아어 능력 시험의 작문 720 편 (A2: 180, B1: 180, B2: 180, C1: 180).
  • 텍스트 유형: 개인 편지, 서술/기술 텍스트, 논증 텍스트, 반공식 편지 등.
  • 분할: 학습용 600 편, 테스트용 120 편 (Test Set 1).
• 외부 검증 데이터셋 (Test Set 2): 2010 년 시험 자료 398 편. (과거 데이터로 모델의 시계열 일반화 능력 및 텍스트 복잡도 변화 분석에 사용).

2.2 특징 추출 (Feature Extraction)

텍스트를 4 가지 범주로 나누어 총 148 개의 특징을 추출했습니다.

1. 어휘 특징 (Lexical, n=20): 어휘 다양성 (TTR, MTLD, RTTR 등), 어휘 숙련도 (희귀 어휘 비율), 명사 추상성 (Abstractness).
2. 형태소 특징 (Morphological, n=111): 품사 분포, 명사/형용사/대명사/동사의 격 (Case), 수 (Number), 인칭, 시제 등. 에스토니아어의 풍부한 굴절 어미를 반영.
3. 표면 특징 (Surface, n=9): 단어 수, 문장 수, 음절 수, 평균 단어 길이, 문장 길이, SMOG/LIX/Flesch-Kincaid 지수.
4. 오류 특징 (Error, n=9): 맞춤법 교정기 및 문법 교정기 (기계 번역 기반) 가 제안한 수정 비율 (단어/문장 단위).

2.3 특징 선택 전략 (Feature Selection Strategy)

모델의 해석 가능성과 일반화를 위해 두 가지 조건을 비교했습니다.

• 선별된 특징 (Relevant Features): CEFR 수준 간 유의미한 차이, 단조로운 증가/감소 경향, 텍스트 유형 간 변동성 없음 등의 기준을 충족하는 특징만 선별.
• 전체 특징 (All Features): 모든 추출된 특징 사용.

2.4 분류 모델 (Classification Models)

• 알고리즘: 로지스틱 회귀 (LR), SVM, 랜덤 포레스트 (RF), MLP, LDA, QDA 등 7 가지 분류기 사용.
• 평가 지표: 정확도 (Accuracy), 정밀도 (Precision), 재현율 (Recall), F1 점수, 균형 정확도 (Balanced Accuracy).
• 교차 검증: 10-fold cross-validation 을 통해 최적 파라미터 선정.
• 해석 가능성 분석: 순열 특징 중요도 (Permutation Feature Importance) 를 사용하여 각 특징이 예측에 기여하는 정도를 분석.

3. 주요 결과 (Key Results)

3.1 특징별 성능 분석

• 어휘 특징: 어휘 다양성 (Lemma count, RTTR, MTLD) 과 명사 추상성이 가장 강력한 예측 변수였습니다. 희귀 어휘 비율은 A2-B1 구간에서 비단조적인 변화를 보여 신뢰도가 낮았습니다.
  • 성능: Test Set 1 에서 약 0.90~0.92 정확도.
• 형태소 특징: 명사, 형용사, 대명사의 격 (Case) 수와 복수형 (Plural) 사용 비율이 CEFR 수준 상승과 함께 유의미하게 증가했습니다. 반면, 동사 관련 특징은 과제 의존성이 강해 제외되었습니다.
  • 성능: Test Set 1 에서 약 0.90~0.95 정확도 (전체 특징 사용 시 더 높았으나, 선별된 특징이 일반화 성능은 더 우수함).
• 표면 특징: 단어 수, 문장 수, 음절 수, SMOG 지수가 매우 강력한 예측 변수였습니다.
  • 성능: Test Set 1 에서 약 0.93~0.933 정확도.
• 오류 특징: 문법 오류 수정 비율이 CEFR 수준과 강한 음의 상관관계를 보였으나, 정확도는 약 0.7 수준으로 다른 특징들보다 낮았습니다.

3.2 혼합 특징 모델 (Mixed Feature Set)

• 모든 범주의 **선별된 특징 (51 개)**을 결합한 모델 (Mix-SVM-kbest-23) 이 가장 우수한 성능을 보였습니다.
• Test Set 1 (내부 검증): 0.983의 정확도 (Precision, Recall, F1 모두 0.985).
• Test Set 2 (외부 검증): 0.796의 균형 정확도. 과거 데이터 (2010 년) 에서는 텍스트 복잡도가 낮아 C1 수준 예측이 다소 어려웠으나, 여전히 0.8 에 근접하는 성능을 보였습니다.
• 주요 기여 특징: 문장/단어/음절 수, 명사 추상성, 어근 수 (Lemma count), 동사 유한형, 복수형 명사 등.

3.3 일반화 및 해석 가능성

• 일반화: 텍스트 유형에 의존하지 않는 특징을 선별한 모델 (LexRel, MorphRel) 이 전체 특징을 사용한 모델보다 다양한 텍스트 유형 (편지, 논증문 등) 에서 더 일관된 재현율 (Recall) 을 보였습니다.
• 시간적 변화: 2010 년 데이터와 2017-2020 년 데이터를 비교한 결과, C1 수준 작문의 복잡도가 시간이 지남에 따라 증가한 것으로 나타났습니다.

4. 주요 기여 (Key Contributions)

1. 해석 가능한 모델 개발: 단순한 블랙박스 모델이 아닌, 어떤 언어적 특징이 어떤 CEFR 수준을 구분하는지 명확히 설명할 수 있는 특징 기반 모델을 제시했습니다.
2. 에스토니아어 L2 평가 표준화: 에스토니아어 학습자 코퍼스 (EIC) 를 기반으로 A2-C1 수준을 구분하는 구체적인 언어적 지표 (예: 복수형 명사 증가, 격의 다양성, 명사 추상성 등) 를 도출했습니다.
3. 실용적 적용: 연구 결과는 에스토니아 오픈 소스 언어 학습 환경인 **ELLE (Writing Evaluator)**에 통합되어, 학습자에게 CEFR 수준 예측 및 어휘/문법/표면 복잡도 기반의 상세 피드백을 제공하고 있습니다.
4. 다국어적 시사점: 에스토니아어뿐만 아니라 다른 언어의 L2 평가에서도 유사한 특징 (어휘 다양성, 문장 길이, 오류 빈도 등) 이 적용 가능함을 시사하며, 소규모 언어 환경에서의 자동 평가 방법론을 정립했습니다.

5. 의의 및 한계 (Significance & Limitations)

• 의의:
  • 고득점 (High-stakes) 시험뿐만 아니라 일상적인 학습 환경에서도 활용 가능한 자동 평가 도구 개발의 토대를 마련했습니다.
  • 기계 학습과 코퍼스 언어학을 결합하여 모델의 투명성을 높이고, 교육적 피드백의 근거를 제공했습니다.
  • 기존 연구 (Vajjala & Lõo, 2014) 보다 높은 정확도 (0.98 vs 0.79) 를 달성했습니다.
• 한계:
  • 데이터 편향: 학습 데이터가 시험지 기반이므로, 비시험 상황이나 다른 장르 (예: 창의적 글쓰기, 비즈니스 문서) 에 대한 일반화 검증이 필요합니다.
  • A2 미만 미포함: A2 미만의 초급 학습자 텍스트는 분석 대상에서 제외되었습니다.
  • 화용론적 능력 부재: 문법적, 어휘적 복잡성 위주로 평가하여, 화용론적 (Pragmatic) 능력이나 담화 일관성 (Cohesion) 은 평가하지 못했습니다.
  • 성별 편향: 학습자 데이터의 성별 불균형 (여성 71.7%) 이 모델에 미칠 수 있는 영향은 추가 연구가 필요합니다.

결론

이 연구는 에스토니아어 학습자의 작문 능력을 CEFR 수준으로 자동 분류하기 위해, 신뢰할 수 있는 언어적 특징을 선별하여 해석 가능한 머신러닝 모델을 구축하는 데 성공했습니다. 특히 혼합 특징 모델을 통해 내부 데이터에서 98% 이상의 높은 정확도를 달성했으며, 외부 데이터에서도 80% 에 근접하는 성능을 보여 에스토니아어 자동 작문 평가 시스템의 실용성을 입증했습니다.