Community size rather than grammatical complexity better predicts Large Language Model accuracy in a novel Wug Test

논문 요약: 대규모 언어 모델 (LLM) 의 정확도를 예측하는 요인: 문법적 복잡성 대 화자 커뮤니티 규모

1. 연구 문제 (Problem)

대규모 언어 모델 (LLM) 의 언어 능력, 특히 훈련 데이터에 포함되지 않은 새로운 단어에 대한 형태론적 일반화 (morphological generalization) 능력이 인간과 유사한지, 그리고 이러한 성능이 언어의 **구조적 복잡성 (linguistic complexity)**에 의해 결정되는지 아니면 **훈련 데이터의 양 (화자 커뮤니티 규모)**에 의해 결정되는지에 대한 논쟁이 지속되고 있습니다.
기존 연구들은 상반된 결과를 보여주고 있습니다. 일부 연구는 LLM 이 복잡한 언어보다 단순한 언어에서 더 잘 수행한다고 주장하는 반면, 다른 연구는 데이터 양이 더 중요하다고 주장합니다. 본 연구는 이러한 모순을 해결하고, LLM 의 형태론적 일반화 능력을 결정하는 핵심 요인이 무엇인지 규명하기 위해 설계되었습니다.

2. 방법론 (Methodology)

• 과제 설계: 기존 'Wug Test'를 다국어 버전으로 개조하여 사용했습니다. 참가자 (인간 및 LLM) 는 새로운 가짜 단어 (nonce words) 에 대해 복수형 규칙을 적용하도록 요구받았습니다.
• 언어 및 모델:
  • 언어: 4 가지 부분적으로 무관한 언어 (카탈로니아어, 영어, 그리스어, 스페인어) 를 사용했습니다.
  • 모델: 6 가지 LLM (ChatGPT-3.5, ChatGPT-4, Grok 3, BERT, DeepSeek, Mistral) 을 평가했습니다.
  • 참가자: 각 언어별 40 명씩 총 160 명의 원어민 성인 인간 참가자를 모집하여 대조군으로 활용했습니다.
• 변수 측정:
  • 언어적 복잡성 (Complexity): Grambank v1.0 데이터베이스를 기반으로 '융합 (Fusion)'과 '정보성 (Informativity)' 지표를 계산하여 언어별 복잡성 점수를 산출했습니다. (순위: 그리스어 > 카탈로니아어 > 스페인어 > 영어)
  • 커뮤니티 규모 (Community Size): 화자 수와 디지털 존재감을 기반으로 훈련 데이터 가용성을 추정했습니다. (순위: 영어 > 스페인어 > 그리스어 > 카탈로니아어)
• 분석 기법: 혼합 효과 로지스틱 회귀 분석 (Mixed-effects logistic regression) 을 사용하여 인간과 모델의 정확도, 언어별 차이, 그리고 복잡성/커뮤니티 규모 간의 상호작용을 통계적으로 검증했습니다.

3. 주요 기여 (Key Contributions)

• 다중 모델 및 다국어 비교: 기존 연구가 특정 모델 (예: GPT-3.5) 에 국한되었던 것과 달리, 6 가지 다양한 LLM 과 4 가지 언어를 체계적으로 비교하여 포괄적인 그림을 제시했습니다.
• 복잡성 vs. 데이터 양의 직접적 비교: LLM 성능에 영향을 미치는 두 가지 주요 가설 (구조적 복잡성 vs. 데이터 양) 을 동일한 실험 설계 내에서 직접 비교하여 어떤 요인이 더 강력한 예측 변수인지 규명했습니다.
• 인간 - 모델 비교의 정밀화: 인간 참가자와 LLM 의 오류 패턴을 세밀하게 분석하여, 모델이 인간과 유사한 성능을 내는지, 아니면 단순히 통계적 패턴을 학습한 것인지에 대한 통찰을 제공했습니다.

4. 연구 결과 (Results)

• 인간과 모델의 성능 유사성: BERT 를 제외한 대부분의 LLM 은 인간과 유사한 수준의 정확도를 보였으며, 특히 영어와 스페인어에서는 인간을 능가하기도 했습니다. 이는 LLM 이 새로운 단어에 대한 형태론적 규칙을 인간과 유사하게 일반화할 수 있음을 시사합니다.
• 언어별 성능 차이:
  • 인간: 영어 화자가 가장 낮은 정확도 (84.8%) 를 보였고, 스페인어 (95.7%) 가 가장 높았습니다.
  • LLM: 스페인어에서 가장 높은 정확도를 보였고, 카탈로니아어에서 가장 낮았습니다.
• 예측 변수 분석 (핵심 발견):
  • 통계 분석 결과, **커뮤니티 규모 (훈련 데이터 양)**가 문법적 복잡성보다 LLM 의 정확도를 더 강력하게 예측하는 요인임이 확인되었습니다.
  • 모델 선택 기준 (AIC) 에 따르면, 커뮤니티 규모를 독립 변수로 한 모델이 복잡성 점수를 변수로 한 모델보다 적합도가 훨씬 높았습니다.
  • 상호작용 효과: 커뮤니티 규모가 비슷할 경우, 오히려 복잡성이 높은 언어에서 모델의 정확도가 더 높게 나타나는 경향도 발견되었습니다 (예: 그리스어는 복잡성이 높지만 카탈로니아어보다 성능이 좋음).
• 예외적 발견 (영어 vs 스페인어): 영어는 가장 단순하고 데이터가 풍부한 언어임에도 불구하고 스페인어보다 모델 성능이 낮았습니다. 이는 실험 자극 (stimuli) 에 포함된 영어의 불규칙성 (irregularities) 이 모델의 일반화를 방해했기 때문으로 해석됩니다.

5. 의의 및 결론 (Significance & Conclusion)

• LLM 의 본질적 한계: LLM 의 언어 능력은 언어의 내재적 구조적 복잡성에 대한 민감성보다는 **훈련 자원의 풍부함 (데이터 양)**에 의해 주로 결정됩니다. 즉, LLM 은 언어의 '규칙'을 이해하는 것이 아니라, 데이터에 존재하는 '분포적 패턴'에 반응하는 것으로 보입니다.
• 자원 편향 (Resource Bias): 스페인어와 영어와 같이 디지털 자원이 풍부한 언어에서는 높은 정확도를 보이지만, 카탈로니아어나 그리스어와 같이 상대적으로 자원이 부족한 언어에서는 성능이 저하됩니다. 이는 LLM 이 소수 언어나 저자원 언어에서 인간과 동등한 언어 능력을 발휘하기 어렵다는 것을 의미합니다.
• 이론적 함의: LLM 의 성능이 인간과 유사해 보일지라도, 그 기저 메커니즘은 인간과 근본적으로 다를 수 있습니다. 인간은 추상적인 문법 규칙을 내면화하지만, LLM 은 방대한 데이터의 통계적 확률에 의존하여 성능을 발휘합니다.
• 향후 연구 방향: 언어적 복잡성을 형태론에 특화된 지표로 세분화하고, 더 다양한 언어 유형 (교착어, 다성어 등) 을 포함하여 연구 범위를 확장할 필요가 있습니다.

요약하자면, 이 연구는 LLM 이 새로운 언어적 패턴을 학습하고 일반화하는 능력은 언어의 구조적 난이도보다는 해당 언어가 훈련 데이터에 얼마나 많이 포함되어 있는지에 더 크게 의존한다는 것을 입증했습니다.