Curriculum-Guided Layer Scaling for Language Model Pretraining

기술 요약: 언어 모델 사전 학습을 위한 커리큘럼 가이드 레이어 스케일링 (CGLS)

문제 정의
현재의 대규모 언어 모델(LLM) 사전 학습은 일반적으로 고정된 아키텍처를 사용하여 다양한 데이터셋을 단일하고 연속적인 패스로 통과하는 방식을 취합니다. 이러한 접근 방식은 지식의 축적이 뇌의 성숙과 함께 점진적으로 이루어지는 인간의 인지 발달과는 크게 달리, 모든 토큰을 복잡도와 상관없이 동일한 계산 노력으로 취급합니다. 최근 연구들은 고정된 아키텍처에서 "미드트레이닝(midtraining)"을 수행하거나 데이터 분포를 조정하는 방식을 탐구해 왔고, 다른 연구들은 독립적인 형태의 점진적 모델 성장(레이어 스태킹)을 조사해 왔으나, 이러한 방법들은 종종 모델의 용량과 데이터의 난이도를 동기화하는 데 실패합니다. 구체적으로, 점진적 스태킹(예: MIDAS)에 관한 선행 연구들은 구조화된 학습 신호 없이 단순히 레이어를 추가하는 것만으로는 지식 집약적인 작업에서 성능이 저하될 수 있으며, 처음부터 학습된 풀-용량 모델보다 뒤처질 수 있음을 시사합니다. 핵심적인 문제는 모델의 깊이와 데이터의 복잡도를 결joint하게 스케일링함으로써 계산 효율성과 일반화 성능을 어떻게 개선할 것인가 하는 점입니다.

방법론: 커리큘럼 가이드 레이어 스켈링 (CGLS)
저자들은 점진적인 모델 확장과 증가하는 복잡도의 데이터 커리큘럼을 동기화하는 사전 학습 패러다임인 **커리큘럼 가이드 레이어 스케일링(CGLS)**을 제안합니다. 인간의 신경 구조와 인지 능력의 공동 발달에서 영감을 받은 CGLS는 두 가지 결합된 메커즘을 통해 작동합니다:

1. 구조화된 데이터 커리큘럼: 학습 데이터는 난이도 계층(예: 쉬움, 중간, 어려움)으로 층화됩니다. 데이터 분포는 이러한 계층들의 혼합물이며, 각 학습 단계마다 가중치를 조정하여 단순하고 구조화된 샘플에서 복잡하고 다양하며 노이즈가 있는 데이터로 점진적으로 전환되도록 합니다.
   • 구현: GPT-2-Small 규모에서는 합성 단편 소설(TinyStories)에서 BookCorpus 및 일반 웹 데이터(DCLM)로 전환하는 과정을 포함합니다. 1B 파라미터 규모에서는 DCLM 코퍼스를 DistilBERT 기반 분류기를 사용하여 고등학교, 학부, 대학원 수준의 복잡도로 층화합니다.
2. 점진적 레이어 확장: 모델은 얕은 아키텍처(예: $N/2$ 레이어)로 시작하여 학습 단계에 따라 깊이가 증가합니다.
   • 2단계 학습: 새로운 레이어가 추가될 때, 이들은 무작위로 초기화됩니다. 학습은 각 단계마다 두 가지 단계로 진행됩니다:
     • 초기화 단계 (Initialization Phase): 새로운 레이어를 학습시키는 동안 기존의 모든 레이어(임베딩, 기존 트랜스포머 블록, 정규화, LM 헤드)는 **동결(frozen)**됩니다. 이는 이전에 학습된 표현을 보존하기 위함입니다.
     • 전체 튜닝 단계 (Full Tuning Phase): 새로운 레이어가 초기화된 후, 전체 모델은 현재의 더 복잡한 데이터 분포에 대해 전체 미세 조정(fine-tuning)을 거칩니다.

주요 기여
본 논문은 세 가지 주요 기여를 합니다:

1. 통합 프레임워크: 데이터 큐레이션이나 아키텍처 성장 중 하나에 치우친 개별적 접근 방식을 넘어, 점진적 레이어 확장과 커리큘럼 학습을 통해 모델 용량과 데이터 복잡도를 결합하여 스케일링하는 CGLS를 제안합니다.
2. 다양한 규모에서의 실증적 평가: 두 가지 파라미터 수(GPT-2-Small 및 LLaMA-3.2-1B)와 계산 규모(2.5B ~ 20B 토큰)에 걸쳐 CGLS를 엄격하게 평가했습니다.
   • 100M 파라미터 규모에서 CGLS는 합성-대-웹텍스트 커리큘럼을 사용하여 QA 벤치마크(PIQA, ARC)에서 베이스라인을 능가했습니다.
   • 1.2B 파라미터 규모에서, 층화된 DCLM 코퍼스를 사용한 CGLS는 추론 작업에서 계산량이 매칭된 베이스라인들에 비해 우수한 일반화 및 제로샷 성능을 보여주었습니다.
3. 시너지 입증: 연구 결과, 점진적 스태킹만으로는 불충분하며, 레이어 확장의 이점은 동기화된 데이터 커리큘럼과 결합될 때만 실현된다는 것을 보여줍니다.

결과
저자들은 CGLS를 무작위 데이터 학습, 고정된 아키텍처에서의 커리큘리즘 학습, 레이어 스케일링 전용(커리큘럼 없이), 그리고 MIDAS 점진적 스태킹을 포함한 여러 계산 매칭 베이스라인들과 비교 평가했습니다.

• GPT-2-Small 규모 (2.5B 토크): CGLS는 퍼플렉시티(perplexity)와 다운스트림 QA 성능에서 일관된 이득을 달了했습니다. 특히, 베이스라인 대비 ARC-Easy 정확도를 평균 +3.0%, PIQA를 +1.0% 향상시켰습니다.
• LLaMA-3.2-1B 규모 (2.5B 토큰): CGLS는 지식 집약적 및 추론 중심 작업에서 가장 우수한 베이스라인을 크게 앞질렀습니다. ARC-Easy에서 +5.0%의 개선을 보였으며, 벤치마크 전반에 걸쳐 평균 1.7%의 향상을 기록했습니다. 결정적으로, 동기화된 커리큘럼 없이 깊이를 확장한 베이스라인들(Layer Scaling Only, MIDAS)은 다운스트림 성능을 개선하는 데 실패했으며, 종종 무작위 베이스라인보다 낮은 성능을 보였습니다.
• Chinchilla-Optimal 규모 (1B 파라미터, 20B 토큰): CGLS의 이점은 더 큰 규모에서도 지속되고 증폭되었습니다. CGLS는 벤치마크 전반에서 평균 3.90%의 증가를 보였으며, PIQA (+4.4), ARC-Easy (+5.2), LAMBADA (+3.7)에서 주목할 만한 이득을 얻었습니다.
• 도메인 적응: 일반 웹 텍스트에서 코드(StarCoder2)로 전환되는 도메인 시프트 실험에서, CGLS는 무작위 베이스라인에 비해 pass@8 점수를 거의 두 배로 높여, 분포 변화를 탐색하는 데 효과적임을 입증했습니다.
• 퍼플렉시티 vs. 다운스트림 성능: 저자들은 작은 규모에서 CGLS가 더 나은 다운스트림 추론 성능에도 불구하고 무작위 베이스라인보다 높은 퍼플렉시티를 나타내는 경우가 있다는 점에 주목했습니다. 이는 아키텍처적 귀납 편향(예: 깊이)이 사전 학습 퍼플렉시티보다 다운스트림 작업에 더 불균형하게 이득을 줄 수 있다는 스케일링 법칙 문헌의 내용과 일치합니다.

의의 및 주장
본 논문은 CGLS가 지식 집약적 및 추론 작업에 대한 일반화 성능을 향상시키는 "단순하면서도 효과적인 전략"을 제공한다고 주장합니다. 주요 의의는 모델의 성장과 데이터의 복잡도를 동기화하는 것이 계산 효율적인 사전 학습을 위해 필수적임을 입증했다는 데 있습니다. 저자들은 이러한 접근 방식이 이전에 고립된 상태에서 성능이 저하되는 것으로 나타났던 점진적 스태킹의 잠재력을 끌어올린다고 주장합니다.

이 연구는 모델이 점점 더 복잡한 데이터와 함께 성장하는 귀납적 편향이 인간의 인지 발달을 모방하여, 초기 표현의 더 나은 유지와 더 견고한 최종 모델로 이어진다는 점을 시사합니다. 저자들은 모든 작업(예: LAMBADA, HellaSwag)이 동일하게 혜택을 받는 것은 아니며, 방법론이 항상 퍼플렉시티를 낮추는 것은 아니라는 점을 인정하며 CGLS의 보편성에 대해 겸허한 태도를 유지합니다. 또한 초기 모델 깊이와 특정 난이도 분류기가 향후 탐구가 필요한 중요한 하이퍼파라미터임을 식별하면서도, CGLS가 대규모 언어 모델 사전 학습을 위한 유망한 새로운 패러다임을 구축했다고 결론짓습니다.