기술 요약: 영어 어휘 난이도에 미치는 모국어 (L1) 영향 모델링

문제 제기

제2언어 (L2) 어휘 습득은 근본적인 과제이지만, 특정 단어를 학습하는 난이도는 학습자의 모국어 (L1) 에 따라 크게 달라집니다. 내재적 어휘 속성 (예: 빈도, 구체성) 은 모든 학습자에게 영향을 미치지만, 표기 중첩과 유사어 (cognate) 지위와 같은 L1 특이적 요인들은 서로 다른 학습 곡선을 만들어냅니다. 기존 어휘 난이도 계산 모델들은 개별 학습자의 배경을 고려하지 못하거나 단일 언어 쌍에 국한되는 경우가 많습니다. 본 논문은 스페인어, 독일어, 중국어를 가진 학습자들의 영어 어휘 난이도 모델링에서 발생하는 간극을 해결합니다.

방법론

데이터

본 연구는 10 만 명 이상의 영어 학습자로부터 수집된 어휘 난이도 테스트 응답을 포함하는 크라우드소싱 코퍼스인 **지식 기반 어휘 목록 (Knowledge-based Vocabulary Lists, KVL)**을 활용합니다. 데이터셋은 스페인어, 독일어, 중국어 등 세 가지 L1 그룹을 대상으로 하며, 언어별 약 6,091 개의 훈련 항목, 677 개의 개발 항목, 748 개의 테스트 항목을 포함합니다.

• 작업 형식: 학습자들은 영어 단어의 첫 글자와 글자 수를 바탕으로 L1 단어를 영어로 번역합니다 (예: 독일어 Kabel $\to$ c _ _ _ _).
• 종속 변수: 항목 난이도는 라슈 (Rasch) 모델을 통해 추정되며, 높은 값이 더 쉬운 단어를 나타내는 연속적인 로그 점수를 생성합니다.

특징 공학

저자들은 각 항목당 24 개의 특징을 추출하여 서로 다른 인지 메커니즘을 포착하기 위해 네 가지 그룹으로 구성했습니다:

1. 친숙도 (11 개 특징): 로그 변환된 단어 빈도, 문맥 다양성, 습득 연령 (AoA), 단어를 아는 주석자의 비율, CEFR 숙련도 수준 (CEFR-J 및 EFLLex 코퍼스 분포 포함) 을 포함한 노출 효과를 포착합니다.
2. 의미 (5 개 특징): fastText 임베딩의 $\ell_2$ 노름, 평균 상위개념 (hypernym) 깊이, 의미수 (WordNet 기반), 품사 (POS) 지배 비율, 그리고 의미 구분 필요 여부를 나타내는 이진 플래그를 사용하여 의미적 복잡성을 근사화합니다.
3. 표면 (7 개 특징): 목표어/원어 단어 길이, 음절 수, 음소당 글자 수 비율 (표기 투명성), 문맥 문장 길이, 영어 단서와 L1 번역의 첫 글자를 포함하여 표기 형태를 설명합니다.
4. 전이 (1 개 특징): 영어 단어와 해당 L1 번역의 문자 $n$-그램 TF-IDF 벡터 간 코사인 유사도를 계산합니다. 이는 표기 유사어 (orthographic cognateness) 의 대리 변수로 작용합니다. 특히, 중국어의 경우 문자 체계 차이로 인해 이 특징은 유사도가 0 이 됩니다.

모델 아키텍처

• 주요 모델: CatBoost(경우 부스팅 결정 트리) 를 각 L1별로 별도로 훈련합니다. 이 선택은 해석 가능성을 유지하면서 비선형 상호작용과 특징 중요도를 모델링할 수 있게 합니다.
• 기준 모델:
  • 릿지 회귀 (Ridge Regression): 비선형 상호작용의 필요성을 테스트하기 위해 동일한 24 개 특징으로 훈련된 선형 모델입니다.
  • 트랜스포머 기반: 수동 특징 없이 난이도 점수에 직접 훈련된 미세 조정 사전 훈련 언어 모델 (Skidmore 등, 2025) 입니다.
• 평가: 모델은 홀드아웃 테스트 세트에서 Root-Mean-Square Error (RMSE) 와 피어슨 $r$을 사용하여 평가됩니다. 교차 L1 일반화는 한 L1 로 훈련된 모델을 다른 L1 의 테스트 세트에 평가함으로써 검증됩니다.
• 해석 가능성: SHAP (Shapley Additive exPlanations) 값을 사용하여 개별 특징에 대한 예측을 귀속시킵니다. 특징 중요도는 친숙도, 의미, 표면, 전이 메커니즘의 상대적 기여도를 결정하기 위해 그룹별로 집계됩니다.

주요 결과

예측 정확도

CatBoost 모델은 선형 및 트랜스포머 기준 모델과 비교하여 세 가지 L1 모두에서 가장 낮은 RMSE 와 가장 높은 피어슨 상관관계를 달성했습니다.

• 스페인어: CatBoost RMSE = 1.24 (트랜스포머 1.26, 선형 1.30 대비).
• 독일어: CatBoost RMSE = 1.12 (트랜스포머 1.26, 선형 1.20 대비).
• 중국어: CatBoost RMSE = 1.04 (트랜스포머 1.14, 선형 1.07 대비).
  이 결과들은 비선형 특징 상호작용과 잘 선정된 심리언어학적 특징이 이 특정 작업에서 선형 결합과 원시 트랜스포머 표현보다 우수함을 나타냅니다.

특징 중요도 및 L1 차이

SHAP 분석은 학습자의 L1 에 따라 서로 다른 난이도 프로필을 드러냈습니다:

1. 친숙도: 이는 세 언어 모두에서 지배적인 특징 그룹이었습니다. 그러나 구체적인 동인은 달랐습니다:
   • 스페인어/독일어: 주로 **습득 연령 (AoA)**과 빈도에 의해 주도되었습니다.
   • 중국어: 주로 숙련도 수준 (CEFR-J 및 EFLLex 범위) 에 의해 주도되었으며, 이는 더 교육과정 중심적인 습득 패턴을 시사합니다.
2. 전이 (표기 중첩): 이 특징은 중요한 차별 요인으로 작용했습니다.
   • 스페인어와 독일어의 경우, 전이는 전반적으로 가장 강력한 예측 변수였으며 (평균 $|SHAP| \approx 0.51-0.52$), 특히 덜 친숙한 단어에서 두드러졌습니다. 이는 유사어를 통해 '두 번째 경로'로 쉬운 단어를 제공하는 역할을 했습니다.
   • 중국어의 경우, 공유된 문자 체계가 부재하여 이 특징은 영향력 0을 기여했습니다.
3. 표면 vs. 의미: 표면 특징 (길이, 첫 글자) 은 스페인어나 독일어 학습자보다 중국어 학습자에게 훨씬 더 중요했습니다. 반면, 의미 특징은 모든 그룹에서 미미하게 기여했는데, 이는 KVL 작업이 의미 이해가 아닌 형태 회상 (철자) 을 테스트하기 때문일 것입니다.

교차 L1 일반화

• 스페인어 $\leftrightarrow$ 독일어: 한 언어로 훈련된 모델은 다른 언어에 합리적으로 잘 일반화되었습니다 (예: 스페인어 훈련 모델을 독일어 테스트 세트에 적용: RMSE 1.18 vs. 독일어 내 1.12). 이는 유형론적으로 관련된 언어들 간의 공유된 인지 전략을 시사합니다.
• 중국어: 중국어와 관련된 전이는 현저히 더 나빴습니다. 중국어 훈련 모델은 스페인어/독일어에 일반화되지 못했으며 (RMSE > 1.5), 스페인어/독일어로 훈련된 모델은 중국어 native 모델보다 중국어에서 더 낮은 성능을 보였으나, 여전히 기준 모델보다는 우수했습니다. 이는 중국어 학습자의 난이도 메커니즘이 질적으로 독특함을 확인시켜 줍니다.

의의 및 기여

본 논문은 계산 언어학 및 교육 기술 분야에 다음과 같은 몇 가지 기여를 주장합니다:

1. L1 맞춤형 모델링: 어휘 난이도는 보편적 지표가 아니라 특정 L1-L2 상호작용에 의해 형성됨을 보여줍니다. 별도의 모델을 훈련함으로써 저자들은 이러한 뉘앙스를 포착하여 무관심 (agnostic) 모델보다 우수한 성과를 냈습니다.
2. 해석 가능성: SHAP 값의 사용은 왜 단어가 어려운지 분해할 수 있게 합니다. 연구는 스페인어/독일어 학습자를 위한 친숙도 또는 표기 전이의 두 가지 다른 쉬운 경로와 중국어 학습자를 위한 친숙도 및 표면 단서에 대한 통합된 의존성을 식별합니다.
3. 교육과정 설계 함의: 연구 결과는 스페인어와 독일어 학습자를 위한 교육과정이 어휘 습득을 가속화하기 위해 유사어를 활용할 수 있음을 시사하는 반면, 중국어 학습자를 위한 교육과정은 빈도와 구조화된 숙련도 수준을 우선시해야 함을 제안합니다.
4. 확장성: 저자들은 위키사전에서 파생된 확장 어휘 (언어별 4,000~7,000 개의 추가 단어) 와 인터랙티브 데모를 제공하여 이러한 모델이 원래 KVL 데이터셋을 넘어 난이도 추정을 생성할 수 있음을 보여줍니다.

저자들은 특징 중요도 분석이 직접적인 인지 과정보다는 모델 예측 구조를 기술한다는 점을 지적하며 겸손한 입장을 유지합니다. 그들은 특정 작업 형식 (철자 회상) 과 제한된 언어 커버리지에 대한 한계를 인정하며, 향후 연구가 추가적인 분산을 포착하기 위해 음운 유사성과 차용 번역 (calques) 을 탐구할 수 있음을 제안합니다.