기술 요약: Mix, Don't Tune: 데이터 제약 환경에서 이중 언어 사전 훈련이 하이퍼파라미터 탐색보다 우수함

문제 제기

컴퓨팅 예산이 사용 가능한 텍스트 데이터보다 빠르게 확대됨에 따라, 언어 모델 사전 훈련은 increasingly 데이터 제약 regime에서 운영되고 있습니다. 이 regime 에서 모델은 사용 가능한 컴퓨팅을 활용하기 위해 훈련 데이터를 여러 번 반복해야 하며, 이는 모델 용량을 일반화 대신 암기 쪽으로 이동시킴으로써 일반화를 actively 저하시킵니다. 이 문제는 고가치 코퍼스가 컴퓨팅 예산을 채우기에 너무 작은 저자원 언어 (LRL) 에서 특히 심각합니다.

실무자들은 현재 이 저하를 완화하기 위해 두 가지 주요 레버를 직면하고 있습니다:

1. 공격적인 하이퍼파라미터 (HP) 튜닝: 정규화 (예: 가중치 감쇠) 를 증가시켜 가중치를 축소하고 네트워크 용량을 제한함으로써 반복된 대상 코퍼스에 대한 과적합을 억제합니다.
2. 보조 데이터 혼합: 고자원 언어 (HRL) 의 데이터를 도입하여 훈련 신호를 다양화하고 훈련 분포를 확장합니다.

두 전략 모두 훈련을 개선하는 원칙적인 방법을 제공하지만, 상대적 효능, 상호작용, 그리고 검증 손실 대비 하류 성능에 미치는 영향은 여전히 불분명합니다. 구체적으로, 보조 데이터를 혼합하는 것이 공격적인 HP 튜닝보다 더 큰 이점을 제공하는지, 데이터 부족을 보충하기 위해 얼마나 많은 혼합이 필요한지, 그리고 대상 언어 검증 손실이 이러한 이점을 정확하게 반영하는지 여부는 알려져 있지 않습니다.

방법론

저자들은 네 가지 모델 규모 (150M, 380M, 600M, 1.43B 파라미터) 에 걸쳐 체계적인 비교를 수행했으며, 저자원 대상으로는 아랍어를, 고자원 보조 언어로는 영어를 사용했습니다. 이 연구에는 약 1,000 회의 사전 훈련 실행이 포함되었습니다.

실험 설정

• 데이터: 아랍어 코퍼스는 FineWeb2 에서 2 억 개의 고유 토큰 ($D_{LR}$) 으로 하위 샘플링되었으며, 최대 100 회까지 반복되었습니다 ($R_{max}=100$). 영어 코퍼스는 사실상 무제한이었습니다.
• 훈련 예산: $D = 100 \times N_{nonemb}$ 토큰으로 고정되었습니다. 이중 언어 설정에서 예산은 아랍어 부분 ($\alpha D$) 과 영어 부분 ($(1-\alpha)D$) 으로 나뉘며, 여기서 $\alpha$는 혼합 비율입니다.
• 하이퍼파라미터 regime:
  • 기본 HP: 하이퍼파라미터 (가중치 감쇠 $\lambda$, 학습률 $\eta$) 는 150M 프록시 모델에서 튜닝된 후 **최대 업데이트 파라미터화 ($\mu$P)**를 사용하여 더 큰 규모로 전이되었습니다.
  • 튜닝된 HP: 각 규모에서 최적 구성을 찾기 위해 $\lambda, \eta$에 대해 완전한 그리드 검색 ($5 \times 5$) 이 수행되었습니다.
• 네 가지 패러다임: 연구는 데이터 전략 (단일 언어 vs 이중 언어) 과 HP regime (기본 vs 튜닝) 을 가로지르며 효과를 분리했습니다.
• 평가:
  • 주요 지표: 아랍어 검증 손실 (VL).
  • 하류 지표: 아랍어와 영어 모두의 ARC Easy (5-shot) 정확도.
  • 분석: 분산 분석 (ANOVA) 을 사용하여 성능 분산에 대한 혼합 비율과 하이퍼파라미터의 기여도를 정량화했습니다.

주요 기여 및 결과

1. 데이터 혼합이 하이퍼파라미터 튜닝을 압도함

이 연구는 고자원 언어를 혼합하는 것이 하이퍼파라미터 튜닝 단독보다 훨씬 더 큰 개선을 제공한다는 사실을 발견했습니다.

• 검증 손실: 1.43B 파라미터에서 이중 언어 훈련은 단일 언어 기준 대비 아랍어 검증 손실을 12.9% 개선한 반면, HP 튜닝 단독은 **3.1%**만 개선했습니다.
• 확장: 모델 크기가 증가함에 따라 혼합과 튜닝 간의 성능 격차가 벌어집니다. 1.43B 에서 기본 $\mu$P 하이퍼파라미터를 가진 이중 언어 모델은 규모별 튜닝된 하이퍼파라미터를 가진 단일 언어 모델보다 2.4 배 더 작음에도 불구하고 더 우수한 성능을 보였습니다.
• 튜닝의 체감 수익: 혼합을 통해 다양한 데이터가 도입되면, 추가 HP 튜닝으로부터의 한계 이득은 미미합니다 (검증 손실 기준 <1%).

2. 혼합 가치의 정량화 (데이터 승수)

저자들은 혼합이 실제로 얼마나 많은 고유 대상 언어 데이터를 대체하는지 정량화했습니다.

• 검증 손실: 혼합은 2~3 배의 승수를 제공합니다 (예: 영어와 혼합된 2 억 개의 아랍어 토큰은 VL 에서 5 억~6 억 개의 고유 아랍어 토큰과 유사한 성능을 발휘함).
• 하류 정확도: 승수는 벤치마크에서 훨씬 더 큽니다. 2 배에서 13 배까지 다양합니다. 1.43B 에서 2 억 개의 아랍어 토큰으로 훈련된 이중 언어 모델은 27 억 개의 고유 아랍어 토큰으로 훈련된 단일 언어 모델의 정확도와 일치했습니다 (13.4 배 승수).
• 발산: 검증 손실이 혼합의 가치를 과소평가하는 체계적인 발산이 존재합니다. 검증 손실은 정규화 효과 (신호의 다양화) 를 포착하지만, 보조 언어가 제공하는 지식 전이 (사실적 능력) 를 포착하지 못하며, 이는 하류 벤치마크에 중요합니다.

3. 하이퍼파라미터 민감도 및 $\mu$P 전이

• 민감도: 최적의 혼합 비율 ($\alpha$) 은 모델 크기가 커짐에 따라 더 많은 영어 쪽으로 이동합니다 (예: 380M 에서 $\alpha=0.33$에서 1.43B 에서 $\alpha=0.10$으로).
• $\mu$P 효능: 작은 프록시 모델 (150M) 로부터 $\mu$P 를 통해 하이퍼파라미터를 전이하는 것은 매우 효과적입니다. 1.43B 까지의 이중 언어 모델에서 검증 손실 기준 $\mu$P 전이 HP 와 규모별 튜닝된 HP 간의 격차는 0.6% 미만으로 유지됩니다.
• 지형의 날카로워짐: 1.43B 에서 하이퍼파라미터 지형은 더 날카로워지고 상호작용적이 됩니다 (특히 학습률과 가중치 감쇠 사이), 이는 광범위한 그리드 검색을 위험하게 만듭니다. 그러나 $\mu$P 는 HP 공간의 병리적 모서리를 피하는 견고한 "안전한 기본값"으로 남아 있습니다.

4. 프록시로서의 검증 손실

검증 손실은 단일 실행 내에서 체크포인트를 선택하는 신뢰할 수 있는 프록시입니다 (최고 정확도와의 상관관계 $r \approx 0.97$), 그러나 단일 언어와 이중 언어 전략을 비교하는 데는 신뢰할 수 있는 지표가 아닙니다. 검증 손실만으로는 실무자가 이중 언어 혼합을 과소평가하게 되며, 이 지표는 보조 언어가 제공하는 하류 지식 이득을 고려하지 않기 때문입니다.

중요성 및 실무 권장사항

이 논문은 데이터 제약 환경에서 혼합이 개선을 위한 주요 레버이며, 하이퍼파라미터 튜닝은 2 차적이라고 결론 내립니다. 저자들은 실무자를 위한 실용적인 레시피를 제시합니다:

1. 고자원 언어를 혼합하세요: 공격적인 하이퍼파라미터 튜닝보다 최적의 혼합 비율을 찾는 것을 우선시하세요.
2. 전이를 위해 $\mu$P 를 사용하세요: 검색 비용을 최소화하기 위해 작은 프록시 모델에서 더 큰 규모로 하이퍼파라미터를 전이하세요.
3. 지표를 재평가하세요: 보조 데이터의 가치를 체계적으로 과소평가하므로 단일 언어와 이중 언어 전략을 비교할 때 대상 언어 검증 손실만 사용하지 마세요.

이 연구는 과적합에 대한 낭비된 반복을 가치 있고 다양한 지식으로 대체함으로써 모델 크기에 따라 급격히 확장되는 데이터 승수로서 효과적으로 작용하기 때문에 혼합의 컴퓨팅 비용이 정당화됨을 보여줍니다.