기술 요약: 데이터 혼합 실험에서의 반복 불일치 (Repetition Mismatch)

문제 정의

언어 모델(LM)의 사전 학습(pre-training) 과정에서, 여러 소스로부터 오는 데이터 혼합의 최적 구성을 결정하는 것은 다운스트림 성능에 매우 중요하다. 흔히 사용되는 전략은 소규모 실험을 수행한 뒤 그 결과를 목표 학습 예산(target training budget)으로 외삽(extrapolate)하는 것이다. 그러나 실무자들은 소규모 규모에서 최적화된 혼합물이 더 큰 규모의 레짐(regime)으로 효과적으로 전이되지 못하는 현상을 빈번하게 목격한다.

본 논문은 **반복 불일치(repetition mismatch)**를 이러한 외삽 실패의 주요 원인으로 지목한다. 고품질 데이터가 학습 예산에 비해 부족할 경우, 학습 과정에서 해당 데이터를 여러 번 반복해야 한다. 결정적인 점은, 고정된 데이터셋에 필요한 반복 횟수가 전체 학습 예산이 커짐에 따라 변한다는 것이다. 표준적인 스케일링 기반 혼합 선택 방법들은 혼합 비율과 성능 사이의 관계가 스케일에 관계없이 불변(invariant)하다고 가정한다. 저자들은 이 가정이 결함이 있다고 주장하며, 소규모 프록시(proxy) 실험이 타겟 실행(target run)과 비교했을 때 고품질 데이터에 대해 근본적으로 다른 반복 레짐을 강요한다는 점을 지적한다. 이러한 불일치는 손실 경관(loss landscape)을 왜곡하여, 소규모 실험이 예측할 수 없는 방식으로 겉보기의 최적 혼합물을 변화시킨다.

방법론

저자들은 혼합 예측에서 반복을 하나의 변수로 격리하기 위해 **반복 인지적 서브샘플링 절차(repetition-aware subsampling procedure)**를 제안한다. Li 등(2025)의 연구를 바탕으로 하는 이 접근 방식은, 전체 토큰의 극히 일부만을 사용하면서도 소규모 실험에서의 고품질 데이터가 타겟 규모의 풀 스케일 실행에서 겪게 될 것과 정확히 동일한 횟수의 반복을 거치도록 모든 데이터 소스를 다운샘플링하는 방식을 포함한다.

실험 설정:

• 데이터셋: 본 연구는 제한된 고품질 데이터셋(WikiText 또는 PubMed)과 대규모 웹 크롤링 코퍼스(FineWeb)를 결합하였다.
• 모델: 실험은 Muon 옵티마이저와 회전 위치 임베딩(Rotary Positional Embeddings)을 사용하는 수정된 NanoGPT 아키텍처를 사용하여 네 가지 모델 크기(30M, 124M, 345M, 757M 파라미터)에 걸쳐 수행되었다.
• 비교: 제안된 반복 제어(repetition-controlled) 방식은 반복 횟수를 일치시키지 않고 짧은 학습 실행으로부터 최적의 혼합 비율을 외삽하는 표준 스케일링 법칙 베이스라인과 비교된다.
• 지표: 성능은 예측된 혼합물과 실제 최적 혼합물 사이의 거리(혼합 비율 오차로 측정) 및 홀드아웃(held-out) 고품질 도메인에 대한 검증 손실(validation loss)로 측정된다.

주요 기여 및 결과

1. 반복 불일치는 지배적인 교란 요인이다

본 논문은 타겟 실행의 반복률을 맞추는 것이 소규모 실험으로부터 정확한 혼합물 예측을 회복하는 데 충분하다는 것을 입증한다.

• 2-소스 결과: 하나의 고품질 소스와 FineWeb이 있는 설정에서, 타겟 토큰의 1/16만을 사용한 단 한 번의 반복 제어 실험만으로도 757M 파라미터 모델에 대해 최적값의 0.05 이내의 오차를 가진 혼합물을 찾아냈다. 반면, 반복 제어가 없는 표준 스케일링 법칙 접근 방식은 0.75의 오차를 보였다.
• 비용 효율성: 반복 제어 없이 유사한 정확도를 달 Achieve하려면 3~4개의 학습 호라이즌(horizon)이 필요하며, 이는 타겟 토큰 예산의 **44%에서 94%**를 소비하게 된다. 반복 제어 방식은 단 하나의 호라이즌만으로 이를 달성한다.
• 모델 용량과의 상호작용: 반복 제어의 이점은 모델 크기에 따라 확장된다. 오차 감소는 더 큰 모델(757M)에서 가장 두드렷하게 나타났으며, 작은 모델(30M)은 표준 스케일링 법칙을 사용한 방식보다 성능이 낮거나 오히려 더 나은 결과를 보이기도 했다. 이는 이 방법이 가장 효과적으로 작동하는 모델 규모의 하한선이 존재함을 시사한다.

2. 다중 소스 환경에서의 유효성

저자들은 연구 범위를 세 가지 소스(WikiText, PubMed, FineWeb)가 있는 설정으로 확장하였다.

• 혼합 공간이 커짐에 따라 더 많은 실험이 필요하지만, 반복 제어는 여전히 매우 효과적이다.
• 757M 규모에서, 두 번의 반복 제어 호라이즌만으로 타겟 최적 혼합물을 복구할 수 있었으며, 이는 전체 두-소스 실험을 구성해야 하는 베이스라인보다 우수한 성능을 보였다.
• 124M 규모에서, 다중 호라이즌 반복 제어 예측(최대 4개 호라이즌)은 실제 손실 값(2.91950 vs 2.91820)에 근접하게 수렴하면서, 비제어 베이스라인에 비해 계산 비용을 크게 절감했다.

3. 일급 변수로서의 반복 (Repetition as a First-Class Variable)

결과에 따르면, 단순한 스케일뿐만 아니라 데이터 반복 역학(dynamics)이 소규모 혼합 실험의 일반화 여부를 결정한다. 본 논문은 반복을 제한된 데이터의 부수적인 결과가 아닌, 혼합 최적화의 명시적인 변수로 취급해야 한다고 주장한다.

의의 및 주장

본 논문은 반복 불일치를 제어하는 것이 데이터가 제한된 환경에서의 외삽 문제를 해결한다고 주장한다. 서브샘플링을 통해 타겟 실행의 반복 역학을 보존함으로써, 연구자들은 아주 적은 계산 예산만으로도 최적의 데이터 혼합물을 높은 정확도로 예측할 수 있다.

저자들은 이 방법이 매개변수 모델링이나 프록시 훈련 실행을 요구하지 않는 단순하고 직교적인(orthogonal) 개입이며, 따라서 기존의 모든 혼합 예측 방법에 적용 가능하다는 점을 강조한다. 또한, 실무자들이 빌리언(billion) 파라미터 모델의 혼합 결정을 내리기 위해 점점 더 작은 어블레이션(ablation) 실행에 의존함에 따라, 반복 불일치를 고려하는 것이 모델 용량 및 프록시와 타겟 스케일 간의 격차에 따라 커지는 체계적인 예측 오류를 피하기 위해 필수적이 될 것이라고 단언한다.

본 연구는 실험이 757M 파라미터 및 약 3.8B 토큰까지 수행되었다는 점에서 범위가 다소 제한적임을 인정하며, 이는 현대적인 LLM 사전 학습 규모보다는 작다. 그러나 반복 제어가 모델 크기와 함께 더욱 효과적으로 변한다는 일관된 추세는 이러한 발견이 더 큰 규모로도 이어질 것임을 시사한다. 또한 저자들은 평가가 고품질 도메인에 대한 검증 손실에 집중되어 있음을 언급하며, 이것이 다운스트림 벤치마크로 어떻게 전이되는지 확인하는 것이 향후 연구 과제임을 밝히고 있다.