What Kind of Language is Easy to Language-Model Under Curriculum Learning?

나딘 엘나가가, 타츠키 쿠리바시, 테드 브리스코가 작성한 논문 "What Kind of Language is Easy to Language-Model Under Curriculum Learning?"에 대한 상세한 기술적 요약입니다.

1. 문제 제기

본 논문은 계산 언어학과 인지 과학의 핵심 질문을 다룹니다: 언어 모델 (LM) 의 귀납적 편향은 자연어의 유형론적 공통성과 어느 정도 일치하는가?

이전 연구들 (예: El-Naggar et al., 2025a,b) 은 언어 모델이 인간 언어에서 흔한 어순 구성 (예: 주어 - 목적어 - 동사) 을 자연스럽게 선호한다는 것을 시사했습니다. 이는 학습 편향이 언어 진화를 형성할 수 있음을 의미합니다. 그러나 이러한 연구들은 일반적으로 무작위 순서로 배열된 데이터로 모델을 훈련시켰는데, 이는 인간 언어 습득을 반영하지 못합니다. 인간, 특히 어린이는 **커리큘럼 학습 (CL)**을 통해 학습하는 경우가 많습니다. 즉, 더 간단한 구조 (예: 짧은 문장) 로 시작하여 복잡한 구조로 점진적으로 나아가는 방식입니다. 저자들은 발달적으로 동기가 부여된 학습 시나리오 (CL) 를 도입하는 것이 언어 모델의 귀납적 편향을 어떻게 변화시키는지, 그리고 이러한 조건 하에서 이전에 관찰되었던 유형론과의 일치가 유지되는지 조사합니다.

2. 방법론

2.1. 인공 언어 (AL) 말뭉치

본 연구는 **일반 범주 문법 (GCG)**을 사용하여 생성된 96 개의 인공 언어 말뭉치를 활용합니다.

• 매개변수: 각 언어는 어순을 제어하는 7 개의 이진 매개변수 (예: 주어 - 동사, 목적어 - 동사, 머리 - 초기 vs. 머리 - 최종) 로 정의됩니다.
• 데이터 생성: 문장은 무작위로 생성되며 문법성을 보장하기 위해 GCG 파서를 통해 필터링됩니다.
• 데이터셋 분할:
  • 훈련: 3 단어에서 8 단어 사이의 길이가 균일하게 분포된 80,000 개의 문장.
  • 평가:
    • 짧은 테스트: 길이 3~8 (분포 내).
    • 중간 테스트: 길이 9~10 (분포 외 일반화).
    • 긴 테스트: 길이 11~20 (휴리스틱 기반 확장).
    • 표적 테스트: 재귀 및 중첩 관계절, 그리고 문법성 판단 (격 및 동사 유형).

2.2. 실험 설정

저자들은 세 가지 모델 아키텍처 (RNN, LSTM, Transformer) 에 대해 두 가지 훈련 체계를 비교합니다:

1. 원래 설정 (기선): 훈련 데이터가 무작위 순서로 제시됩니다.
2. 커리큘럼 학습 (CL) 설정: 훈련 데이터가 문장 길이에 따라 제시됩니다.
   • 단계: 문장 길이 3, 4, 5, 6, 7, 8 에 해당하는 여섯 단계.
   • 진행: 모델은 길이 3 에서 시작하여 길이 8 로 순차적으로 훈련됩니다.
   • 재생 메커니즘: 파기적 망각을 방지하기 위해 이전 단계의 데이터 5% 를 현재 단계에 주입합니다 (예: 3 단계에는 길이 3 의 데이터 5%, 길이 4 의 데이터 5%, 길이 5 의 데이터 90% 가 포함됨).
   • 총량: 공정한 비교를 위해 훈련 토큰의 총수는 기선 (80K) 과 동일하게 유지됩니다.

2.3. 평가 지표

• 퍼플렉시티 (PPL): 낮은 PPL 은 특정 어순에 대한 더 나은 모델링을 나타냅니다.
• 유형론적 일치 (TA): 모델의 평균 PPL 과 해당 어순의 실제 세계 빈도 간의 피어슨 상관계수로 계산됩니다.
  • 음수 TA: 모델이 흔한 어순을 선호함을 나타냄 (더 나은 일치).
  • 양수 TA: 모델이 드문 어순을 선호함을 나타냄.
• 일반화: 중간/긴 테스트 세트 및 표적 구문 구조에 대한 성능.

3. 주요 기여

• 유형론 연구에 CL 통합: 발달적으로 동기가 부여된 학습 시나리오 (CL) 가 어순 유형론과 관련하여 언어 모델의 귀납적 편향과 어떻게 상호작용하는지 체계적으로 조사한 최초의 연구입니다.
• 귀납적 편향 재평가: 언어 모델이 본질적으로 유형론적 공통성과 일치한다는 이전 발견의 견고성에 의문을 제기하며, 이러한 일치가 데이터 제시 순서에 매우 민감하게 반응함을 보여줍니다.
• 아키텍처별 상호작용: CL 의 영향이 균일하지 않으며, RNN, LSTM, Transformer 아키텍처와 미묘하고 다르게 상호작용함을 입증합니다.

4. 주요 결과

4.1. 어순 선호도에 미치는 영향

• 편향의 변화: CL 도입은 언어 모델의 어순 선호도를 현저히 변화시킵니다. CL 유무에 따라 훈련된 모델의 PPL 벡터 간 상관관계는 일반적으로 낮으며 (종종 0 에 가까움), 이는 학습 시나리오가 모델의 귀납적 편향을 근본적으로 변화시킨다는 것을 나타냅니다.
• 일반화 vs. 과적합:
  • CL 로 훈련된 모델은 기선에 비해 짧은 테스트 세트에서 더 나쁜 PPL을 보였는데, 이는 짧은 문장에 대한 과적합이 적음을 시사합니다.
  • 반대로, CL 모델은 중간 및 긴 테스트 세트에서 동등하거나 더 나은 PPL을 보여 길이 일반화가 개선되었음을 나타냅니다.

4.2. 유형론적 일치 (TA)

• 악화된 일치: CL 이 인간 학습을 더 잘 시뮬레이션하여 일치를 개선할 것이라는 가설과 달리, 결과는 CL 이 일반적으로 유형론적 일치를 악화시킨다는 것을 보여줍니다.
  • 짧은 및 중간 테스트 세트에서 RNN 과 LSTM 의 TA 점수는 현저히 덜 음수 (또는 양수) 가 되었으며, 이는 모델이 실제 세계 유형론적 빈도와 덜 일치하게 되었음을 의미합니다.
  • 예외: 긴 테스트 세트에서는 TA 가 여전히 유의미하게 음수였는데, 이는 커리큘럼과 관계없이 매우 긴 문장에 대한 일반화에는 유형론적 공통성이 여전히 도움이 됨을 시사합니다.
• 아키텍처 차이:
  • Transformer: 상대적으로 안정적이지만 약간 악화된 일치를 보였습니다.
  • LSTM/RNN: 극적인 변화를 보였습니다. 예를 들어, LSTM 의 TA 점수는 짧은 테스트 세트에서 기선에서는 음수 (일치) 였으나 CL 설정에서는 양수 (불일치) 로 뒤집혔습니다.

4.3. 표적 평가

• 구문 일반화: 재귀 및 중첩 관계절과 관련된 테스트에서 CL 모델은 어순의 상대적 순위는 유지하는 경향이 있었으나 전반적으로 더 높은 PPL 을 보였습니다.
• 문법성 판단: CL 은 격 유형 및 동사 유형 문법성 판단에서 정확도를 일관되게 감소시켰습니다. 정확도와 유형론적 공통성 간의 상관관계도 일부 모델의 경우 약화되거나 유의미하지 않게 되었습니다.

5. 중요성 및 논의

• 학습 편향 재검토: 이 발견들은 언어 모델의 '귀납적 편향'이 아키텍처만의 고정된 속성이 아니라 학습 시나리오에 의해 공동 결정됨을 시사합니다. 데이터 제시 순서는 모델이 무엇을 '쉬운' 것으로 학습하는지 형성하는 데 중요한 요소입니다.
• "편향이 언어를 형성한다"는 가설에 대한 도전: 길이 기반 CL 이 인간 습득의 유효한 대리 변수라면, 이 연구는 이전의 비-CL 연구들이 LM 편향과 유형론적 패턴 간의 일치를 과대평가했을 수 있음을 시사합니다. 이는 언어 설계가 학습자 편향뿐만 아니라 역사적 우연, 지리적 요인 등 외부 요인에 의해 주도된다는 대안적 가설을 지지합니다.
• 단순한 CL 의 한계: 저자들은 길이 기반 커리큘럼이 인간 언어 습득의 복잡성을 포착하기에는 너무 단순할 수 있다고 주장합니다. CL 하에서의 약한 일치는 인간 학습 편향을 정확하게 시뮬레이션하기 위해 더 정교한 CL 전략 (예: 구성 복잡성 또는 작업 기억 성장 기반) 이 필요함을 시사합니다.
• 향후 방향: 이 논문은 더 복잡한 커리큘럼 전략을 탐구하고 언어 모델링과 인간 언어 과학 간의 간극을 더 잘 메우기 위해 유형론적 일치를 측정하는 데 사용되는 지표를 재평가할 것을 촉구하고 있습니다.

결론

본 논문은 커리큘럼 학습이 언어 모델의 명백한 귀납적 편향에 상당한 영향을 미친다고 결론지었습니다. CL 은 더 긴 문장에 대한 일반화를 개선하지만, 무작위 순서 훈련에서 관찰된 모델 선호도와 실제 세계 유형론적 빈도 간의 일치를 방해합니다. 이는 언어 보편성의 기원에 대한 유효한 결론을 도출하기 위해 언어 모델 훈련 시나리오를 인간 발달 패턴과 일치시켜야 할 필요성을 강조합니다.