1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 은 인간과 유사한 언어 능력을 보여주지만, 이는 인간 아동이 접하는 데이터 양에 비해 압도적으로 많은 양의 데이터로 학습되었기 때문입니다. 이로 인해 LLM 이 실제 언어 습득 메커니즘을 반영한 인지 모델인지, 아니면 단순한 통계적 패턴 매칭이나 암기에 의존하는지에 대한 의문이 제기됩니다.

• BabyLM 챌린지: 인간 아동이 학습하는 규모 (약 1000 만 단어) 의 데이터로 언어 모델을 훈련시켜, 적은 데이터로도 높은 성능을 낼 수 있는지, 그리고 인간과 유사한 학습 전략을 적용할 수 있는지 검증하는 것이 목표입니다.
• 핵심 질문: 인간이 언어를 배우는 방식 (구조화된 입력, 점진적 복잡도, 사회적 피드백 등) 을 모방하여 소규모 데이터로 훈련된 모델의 성능을 기존 베이스라인보다 향상시킬 수 있는가?

2. 방법론 (Methodology)

저자들은 기본 DeBERTa 아키텍처를 사용하되, 모델 구조 변경보다는 **학습 전략 (Training Regime)**을 인간 학습 과정에 가깝게 조정하는 데 중점을 두었습니다. 제안된 세 가지 주요 전략은 다음과 같습니다.

가. 짧은 시퀀스로의 학습 (Training on Short Sequences)

• 동기: 인간 아동은 복잡한 문장부터 시작하지 않고, 발달 단계에 따라 짧은 발화부터 시작합니다.
• 구현: Press et al. (2021) 의 연구를 참고하여, 먼저 짧은 시퀀스 (128 토큰) 로 학습한 후 점차 긴 시퀀스 (512 토큰) 로 전환하는 커리큘럼 학습 방식을 적용했습니다.

나. 언어 학습 전 음악 데이터로 사전 학습 (Training on Music Before Language)

• 동기: 인간은 언어 습득 전후로 시각, 청각 (음악 등) 등 다양한 비언어적 자극에 노출되며, 이는 계층적 구조와 같은 추상적 능력을 함양하는 데 기여할 수 있습니다.
• 구현: MAESTRO 데이터셋 (피아노 MIDI 데이터) 을 텍스트로 변환하여, 언어 데이터 학습 전 5 에포크 동안 음악과 텍스트를 혼합하여 사전 학습시켰습니다.

다. 타겟팅된 마스킹 언어 모델 (Targeted Masked Language Modeling, MLM)

• 동기: 부모는 아동의 오류를 즉시 수정하지는 않지만, 특정 문법적 특징을 강조하거나 재구성 (recast) 하여 피드백을 줍니다.
• 구현: BLiMP 벤치마크의 특정 하위 작업 (예: 부정 극성 항목, 주술 일치 등) 에 필수적인 단어 (예: 'not', 'what', 'that' 등) 를 의도적으로 마스킹하여 학습시켰습니다. 이는 모델이 특정 문법 현상을 더 빠르게 학습하도록 유도하기 위함입니다.

모델 구성 및 학습 단계

1. 토크나이저: BabyLM 데이터와 MAESTRO 데이터를 합쳐 커스텀 Unigram SentencePiece 토크나이저 훈련.
2. 학습 단계:
   • 단계 1: 음악 + 텍스트 혼합 데이터로 64 토큰 시퀀스 길이, 5 에포크 학습.
   • 단계 2: 텍스트 데이터로 128 토큰 시퀀스 길이, 50 에포크 학습.
   • 단계 3: 타겟팅된 MLM 을 적용하여 512 토큰 시퀀스 길이, 2 에포크 학습.

3. 주요 기여 (Key Contributions)

• Lil-Bevo 모델 개발: BabyLM 챌린지 (Strict Small Track) 에 제출된 소규모 언어 모델.
• 학습 전략의 체계적 검증: 단순한 데이터 양 증가가 아닌, 시퀀스 길이 커리큘럼, 비언어적 데이터 (음악) 사전 학습, 타겟팅된 마스킹이라는 세 가지 인간 학습 유사 전략의 효과를 분리하여 검증 (Ablation Study) 했습니다.
• 코드 및 모델 공개: 모든 사전 학습 모델과 코드를 오픈 소스로 공개하여 재현성을 보장했습니다.

4. 실험 결과 (Results)

BLiMP, SuperGLUE, MSGS 등 다양한 벤치마크에서 평가한 결과는 다음과 같습니다.

• 시퀀스 길이의 영향 (가장 중요한 발견):
  • 짧은 시퀀스 (128 토큰) 로만 학습한 모델이 긴 시퀀스 (512 토큰) 로만 학습한 모델보다 전반적으로 훨씬 좋은 성능을 보였습니다.
  • 통계적 분석 결과, 긴 시퀀스만 학습한 경우 평균적으로 1.8 점 더 낮은 성능을 보였으며 (p < .001), 이는 "짧은 시퀀스로 시작하여 점진적으로 길이를 늘리는 것"이 소규모 데이터 학습에 훨씬 효과적임을 시사합니다.
• 음악 사전 학습의 효과:
  • 음악 데이터를 추가한 학습이 일부 BLiMP 하위 작업에서 미세한 향상을 보였으나, 전반적으로는 일관된 효과가 없었습니다. 특히 'QA Congruence tricky' 작업에서는 성능이 크게 저하되기도 했습니다. 음악 학습의 효과는 작고 우연적일 가능성이 높습니다.
• 타겟팅된 MLM 의 효과:
  • 일반적인 성능 향상에는 기여하지 않았으나, 특정 문법 과제에서는 유의미한 개선을 보였습니다.
  • 특히 NPI (Negative Polarity Items) 라이선싱과 Argument Structure 과제에서 타겟팅된 MLM 을 적용한 모델이 랜덤 마스킹 모델보다 14~16 점 이상 높은 점수를 기록했습니다. 이는 특정 문법적 단어를 집중적으로 학습시키는 전략이 해당 과제의 해결에 효과적임을 보여줍니다.
• 전체 성능: 제안된 Lil-Bevo 모델은 베이스라인보다 우세한 성능을 보였으나, 대규모 데이터로 학습된 LLM 에 비해서는 여전히 성능이 낮았습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 인지 모델로서의 가능성: 적은 데이터로도 언어 능력을 획득할 수 있는지에 대한 탐구에서, **학습 커리큘럼 (점진적 복잡도)**과 타겟팅된 피드백이 소규모 모델의 성능 향상에 중요한 역할을 할 수 있음을 시사합니다.
• 한계와 향후 과제:
  • 음악 학습의 효과는 불명확하므로, 더 "언어와 유사한" 구조를 가진 인공 데이터 생성 등을 통해 추가 검증이 필요합니다.
  • 타겟팅된 MLM 이 특정 과제에만 효과적이었으므로, 정보 이론적 접근이나 대비 학습 (Contrastive Learning) 등 다른 전략과의 결합이 필요합니다.
  • 현재 결과는 개념 증명 (Proof-of-concept) 수준이므로, 다양한 팀의 결과와 방법론을 통합하여 소규모 데이터로 고성능 LLM 을 만드는 것이 가능한지 더 깊이 탐구해야 합니다.

결론적으로, 이 연구는 "더 많은 데이터" 대신 "더 인간적인 학습 전략"을 적용함으로써 소규모 언어 모델의 성능을 극대화할 수 있는 가능성을 제시했으나, 아직 대규모 LLM 의 성능을 완전히 대체할 수준에는 도달하지 못했음을 인정합니다.