Vocabulary shapes cross-lingual variation of word-order learnability in language models

1. 연구 배경 및 문제 제기 (Problem)

• 핵심 질문: 왜 체코어와 같은 일부 언어는 자유로운 어순 (free word order) 을 허용하는 반면, 영어와 같은 언어는 고정된 어순을 갖는 것일까? 또한, 이러한 언어적 특성이 언어 모델 (LLM) 의 학습 난이도에 어떤 영향을 미치는가?
• 기존 연구의 한계:
  • 자연어는 형태론적 복잡성과 어순 유연성 등 여러 특성이 서로 강하게 상관관계를 맺고 있어, 단일 요인의 영향을 분리하기 어렵다.
  • 기존 실험들은 주로 서브워드 (subword) 수준에서 단어를 섞는 방식을 사용했는데, 이는 어휘 단위 (lexical units) 를 파괴하여 형태론적 무결성을 해치고, 어순과 형태론을 동시에 교란시키는 문제가 있었다.
  • 이산적인 (discrete) 셔플링 방법들은 교란의 강도를 정밀하게 통제하거나 결과를 비교하기 어렵게 만들었다.
• 연구 목표: 자연어의 본질적인 복잡성을 유지하면서 어순의 규칙성 (word-order regularity) 만을 체계적으로 변형하여, 언어 모델의 학습 가능성 (learnability) 에 미치는 영향을 규명하고, 교차 언어적 변이를 설명하는 핵심 요인을 찾는 것.

2. 방법론 (Methodology)

가. 합성 언어 생성 (Synthetic Language Generation)

• 데이터: 유럽 의회 연설 코퍼스 (Europarl) 의 10 개 유럽 언어 (영어, 프랑스어, 체코어, 핀란드어 등) 를 사용. 고정 어순과 자유 어순 언어를 균형 있게 선정.
• 셔플링 알고리즘 (Mallows Permutation Model):
  • 기존 연구의 한계를 극복하기 위해 단어 수준 (word-level) 에서 결정론적 (deterministic) 으로 단어를 섞는 방식을 채택.
  • Mallows 모델을 사용하여 연속적인 순서 매개변수 $\theta$ 를 도입.
    • $\theta \to \infty$: 원래 어순 유지.
    • $\theta > 0$: 국소적 셔플링 (약간의 무질서).
    • $\theta = 0$: 완전한 무작위 어순 (모든 순서가 동등한 확률).
    • $\theta < 0$: 원래 어순을 싫어하는 경향.
    • $\theta \to -\infty$: 문장 전체 반전 (Sentence Reversal).
  • 이 방식은 형태론적 무결성을 보존하고, 텍스트의 전역 엔트로피 (global entropy) 를 일정하게 유지하여 모델의 놀라움 (surprisal) 변화가 순수히 어순 교란에 기인하도록 함.

나. 실험 설정

• 모델: PICOLM 프레임워크를 기반으로 한 경량 자기회귀 (autoregressive) 트랜스포머 모델 (약 50M 파라미터) 을 각 언어 변이마다 처음부터 (from scratch) 학습.
• 평가 지표: Surprisal (놀라움) 사용. 모델이 다음 토큰을 예측할 때의 불확실성 ($-\log p(w_i | w_{<i})$) 을 측정.
  • $\Delta S(\theta) = S(\theta) - S_{orig}$: 원래 어순 대비 어순 교란으로 인한 놀라움 증가분.
  • $\Delta S$가 클수록 학습이 어렵다는 의미.

3. 주요 결과 (Key Results)

가. 어순 불규칙성과 학습 가능성

• 불규칙성 증가 = 학습 저하: 어순이 불규칙해질수록 ($\theta=0$ 부근) 모델의 놀라움 ($\Delta S$) 이 일관되게 증가하여 학습 가능성이 떨어짐을 확인.
• 문장 반전의 영향 미미: 문장을 완전히 반전시키는 것 ($\theta < 0$) 은 무작위 셔플링과 유사한 수준의 놀라움을 보였으며, 모델은 반전된 어순에 대해 큰 민감도를 보이지 않음. 이는 모델이 특정 어순의 방향성보다는 국소적 의존성에 더 의존함을 시사.

나. 교차 언어적 변이 (Cross-lingual Variation)

• 이분법적 분류의 실패: "자유 어순 vs 고정 어순"이라는 이분법적 범주 (예: 체코어 vs 영어) 는 모델의 놀라움 차이를 설명하는 데 실패함. 두 그룹은 기준 놀라움 ($S_{orig}$) 에서는 차이가 있으나, 불규칙 어순 상태 ($\Delta S_{irreg}$) 에서는 서로 겹치는 영역이 큼.
• 어휘 구조의 결정적 역할:
  • Zipf 기반 어휘 커버리지 (Coverage): 빈도수 상위 어휘가 전체 코퍼스를 얼마나 차지하는지 (어휘 분포) 가 학습 난이도를 가장 잘 예측.
  • 형태론적 복잡성: 단어당 서브워드 수 (fertility), 평균 단어 길이, 고유 단어 수 (types) 등의 지표가 불규칙 어순에 대한 견고성 (robustness) 을 설명하는 데 중요함.
  • PLS 회귀 분석 결과: 어휘 통계 (커버리지, 문장 길이, 형태론적 복잡성) 를 기반으로 한 모델은 이분법적 분류보다 훨씬 높은 설명력 ($R^2 \approx 0.97$) 을 보이며, 각 언어별 학습 곡선을 정확히 예측함.

다. 서브워드 셔플링과의 비교

• 서브워드 수준에서 단어를 섞을 경우, 형태론적 구조가 파괴되어 볼트 (Balto-Slavic) 및 우랄 (Uralic) 어족 언어 (형태가 풍부한 언어) 에서 놀라움이 급격히 증가함. 이는 단어 수준의 셔플링이 형태론적 무결성을 보존하여 교차 언어 비교를 공정하게 만든다는 점을 입증.

4. 주요 기여 (Key Contributions)

1. 통제된 교란 실험 설계: Mallows 모델을 활용한 연속적 어순 변형과 단어 수준 셔플링을 결합하여, 형태론과 어순을 분리하여 연구할 수 있는 새로운 방법론 제시.
2. 학습 가능성의 핵심 동인 규명: 언어 모델의 어순 학습 난이도는 단순한 "어순 유형"이 아니라, 어휘 구조 (Zipf 분포, 커버리지) 와 형태론적 복잡성에 의해 결정됨을 증명.
3. 문장 반전의 비민감성 발견: 모델이 문장 반전에는 비교적 둔감하지만, 국소적 어순 무질서에는 민감하게 반응함을 발견. 이는 모델이 국소적 의존성 (local dependencies) 에 기반하여 학습함을 시사.
4. 토큰화 (Tokenization) 의 영향 규명: 어휘 크기 ($|V|$) 가 커질수록 고정 어순 언어와 자유 어순 언어 간의 놀라움 차이가 수렴하는 경향을 보이며, 토큰화 방식이 학습 가능성에 미치는 영향을 분석.

5. 의의 및 결론 (Significance & Conclusion)

• 이론적 의의: 모든 언어가 동등하게 복잡하다는 가설을 반박하고, 언어의 학습 난이도는 어휘 구조와 형태론적 특성의 상호작용에 의해 결정됨을 보여줌. 이는 언어의 진화와 구조적 제약을 이해하는 데 중요한 통찰을 제공.
• 실용적 의의: 언어 모델의 성능을 예측하거나 개선할 때, 단순한 언어 유형 분류보다는 어휘 통계와 형태론적 복잡성을 고려해야 함을 시사.
• 향후 연구 방향: 모델 아키텍처 (마스크링, 위치 인코딩 등) 가 어순 교란에 대한 민감도에 어떻게 영향을 미치는지, 그리고 인간 학습 능력과 어떻게 비교되는지 연구가 필요함.

요약하자면, 이 논문은 언어 모델이 다양한 언어의 어순을 학습하는 데 있어, 단순한 어순 규칙성보다는 해당 언어의 어휘 분포 (Zipf 법칙) 와 형태론적 복잡성이 더 중요한 결정 요인임을 실험적으로 증명했습니다.