Listen and Chant Before You Read: The Ladder of Beauty in LM Pre-Training

1. 연구 배경 및 문제 정의 (Problem)

• 기존 접근법의 한계: 표준 언어 모델 (LLM) 사전 학습은 텍스트 코퍼스에서 직접 학습합니다. 최근 연구 (Lee et al., 2026) 는 언어 이전의 비언어적 데이터 (예: 신경 세포 자동자, NCA) 로 '사전 - 사전 학습 (Pre-pre-training)'을 수행하면 언어 학습 속도가 빨라지고 퍼플렉시티 (Perplexity) 가 개선됨을 보였습니다.
• 가설: 그러나 NCA 패턴은 2 차원 격자 구조로 언어의 1 차원 시퀀스 구조와 거리가 멉니다. 저자들은 **음악 (Music)**이 언어와 유사한 계층적 구조, 장기 의존성, 예측 기반 계산을 공유하는 인간 창의성의 산물로서, 언어 모델에 더 자연스러운 '사전 - 사전 학습' 기저 (substrate) 가 될 것이라고 가설을 세웠습니다.
• 핵심 질문: 음악 데이터로 사전 학습한 후 언어 학습으로 전이 (Transfer) 하면 언어 습득이 가속화되는가? 그리고 이 과정에 시적 (Poetry) 인 중간 단계를 추가하면 효과가 더 커지는가?

2. 방법론 (Methodology)

2.1 모델 아키텍처

• 구조: GPT-2 아키텍처 기반의 자기회귀 (Autoregressive) Transformer 디코더 사용.
• 크기: 학습 효율성과 용량 제약 하에서의 연구를 위해 소형 모델 사용 ($d_{model}=16, 33K$ 파라미터). 확장 실험을 위해 $d=32, 64$ (최대 400K 파라미터) 까지 스케일링.
• 구성: 8 레이어, 단일 어텐션 헤드, 절대적 위치 임베딩 사용.

2.2 데이터 및 토큰화

• 음악 (Music): MAESTRO 데이터셋 (전문 피아니스트의 연주) 사용. MIDI 이벤트를 REMI 토큰화 방식 (음정, 박자, 지속 시간, 강약) 으로 변환하여 160 개의 토큰 어휘로 학습.
• 시 (Poetry): 구텐베르크 프로젝트의 고전 영어 시 (36,000 개 청크) 사용. GPT-2 토크나이저 (50,257 어휘) 적용.
• 산문 (Prose): WikiText-103 (10% 서브샘플) 을 최종 언어 평가용으로 사용.
• 대조군: 규칙 기반 알고리즘으로 생성된 합성 음악 (Synthetic music) 과 무작위 초기화 (Random initialization) 베이스라인.

2.3 개발 파이프라인 (Developmental Pipeline)

인간의 언어 습득 과정 (리듬/박자 $\rightarrow$ 시/노래 $\rightarrow$ 산문) 을 모방한 3 단계 학습 파이프라인을 제안합니다.

1. 음악 단계: 음악 토큰으로 모델 학습 (수렴 시까지).
2. 시 단계: 어휘를 언어 토큰으로 변경하고, **선택적 가중치 전이 (Selective Weight Transfer)**를 수행.
   • 전이: 어텐션 가중치, FFN, 레이어 노멀라이제이션 (내부 계산 구조) 은 유지.
   • 재초기화: 토큰 임베딩과 출력 헤드는 무작위로 재초기화 (음악과 언어 토큰 간 대응 관계 부재로 인해).
   • 3 에포크 학습.
3. 산문 단계: 동일한 모델로 WikiText-103 에서 3 에포크 추가 학습 및 평가.

2.4 실험 설계

• 데이터 양 통제: 합성 음악과 MAESTRO 를 동일 데이터 양 (3k, 12k, 36k 청크) 으로 비교하여 '데이터 품질'의 효과 분리.
• 통계적 검증: 5 개의 시드 (Seed) 를 사용한 다중 시드 검증.
• 스케일 × 데이터 크기 상호작용: 모델 용량 ($d=16, 32, 64$) 에 따른 최적 데이터 양의 변화 분석.
• 수렴 테스트: 파이프라인의 이점이 일시적인 '출발선 우위'가 아닌 영구적인 이득인지 확인하기 위해 수렴 (Plateau) 까지 학습.

3. 주요 기여 및 발견 (Key Contributions & Results)

3.1 음악 전이의 효과 및 데이터 품질

• 학습 가속화: 음악 사전 학습은 1 에포크에서 퍼플렉시티를 26% 개선시켰으며, 수렴 후에도 11.8% 개선 효과를 유지 ($p < 0.001$).
• 데이터 품질의 효율성: 마스터 작곡가들의 실제 연주 (MAESTRO) 는 합성 음악 (Synthetic) 보다 데이터 양의 1/3 만으로도 동일한 전이 성능 (Transfer Ceiling) 을 달성했습니다. 이는 실제 음악이 더 밀도 높은 구조적 정보를 담고 있음을 의미합니다.
• 용량 포화 (Capacity Saturation): 작은 모델 ($d=16$) 은 12k 청크의 음악 데이터에서 최적 성능을 보였으며, 36k 로 늘리면 오히려 성능이 저하되었습니다. 이는 모델이 구조적 패턴을 흡수할 수 있는 용량에 한계가 있음을 시사합니다.

3.2 개발 파이프라인의 시너지 (음악 $\rightarrow$ 시 $\rightarrow$ 산문)

• 가법적 개선: 음악만 학습한 후 산문으로 넘어가는 것보다, 중간에 '시' 단계를 거치는 파이프라인이 추가적으로 5.7%p 개선 (총 17.5% 개선) 을 이루었습니다.
• 직교성 (Orthogonality):
  • 음악: 어텐션 및 FFN 등 내부 계산 구조 (장기 의존성, 패턴 인식) 를 개선.
  • 시: 토큰 임베딩을 언어 공간으로 보정 (Calibration).
  • 이 두 요소가 서로 다른 모델 구성 요소를 타겟팅하여 시너지 효과를 냅니다.
• 초기 성능: 시 단계를 거친 모델은 산문 학습 시작 시점 (Epoch 0) 에서 이미 무작위 초기화 모델의 최종 수렴 성능보다 낮은 퍼플렉시티를 기록했습니다.

3.3 모델 용량에 따른 데이터 양 최적화

• 용량 의존적 데이터 큐레이션:
  • $d=16$: 12k 데이터가 36k 보다 우위.
  • $d=32$: 36k 가 12k 를 역전.
  • $d=64$: 36k 데이터의 우위가 더욱 확대됨 (+6.1%).
  • 결론: 최적의 사전 학습 데이터 양은 모델 용량에 비례하여 증가합니다.

3.4 수렴 테스트 (Convergence Test)

• 영구적 이득: 파이프라인의 이점은 단순한 학습 가속 (Head start) 이 아닙니다. $d=64$ 모델에서 5 개 시드 검증 결과, 수렴 시점에서도 파이프라인이 무작위 베이스라인보다 5.5% 더 낮은 퍼플렉시티를 유지 ($p=0.017$) 했습니다. 이는 음악이 학습한 구조적 지식이 텍스트만으로는 회복할 수 없는 '비가역적 이득 (Irreducible benefit)'임을 증명합니다.

4. 의의 및 결론 (Significance)

1. 인지 과학적 근거: 인간의 영아기 언어 습득 과정 (리듬/박자 $\rightarrow$ 어휘/문법) 과 유사한 '듣기 (음악) $\rightarrow$ 외우기 (시) $\rightarrow$ 읽기 (산문)' 파이프라인이 인공 학습 모델에서도 유효함을 입증했습니다.
2. 효율적인 데이터 큐레이션: 단순한 데이터 양의 증가보다는 **고품질의 인간 창의적 산물 (실제 음악)**이 더 효율적이며, 모델의 용량에 맞춰 데이터 양을 조절해야 함을 제시했습니다.
3. 메커니즘 규명: 음악이 모델의 내부 계산 능력을, 시가 임베딩을 각각 개선하여 서로 다른 역할을 수행함을 규명했습니다.
4. 한계 및 향후 과제: 현재 실험은 소형 모델 ($d \le 64$) 과 영어/서양 클래식 음악에 국한되었습니다. 현대 대규모 LM 스케일 (수십억~수천억 파라미터) 에서의 확장성, 다양한 언어 및 음악 장르에 대한 일반화, 그리고 하류 작업 (Downstream tasks) 평가가 향후 연구 과제로 남았습니다.

요약: 이 논문은 음악과 시를 통한 단계적 사전 학습이 Transformer 의 언어 학습 효율성을 극대화하며, 이는 모델의 내부 구조와 임베딩을 동시에 최적화하는 '발달적' 접근법임을 실증적으로 증명했습니다.