The Limits of Training Data Size in Foundation Models: An Empirical Analysis of Quality Filtering under a Fixed Token Pool
고정된 2,400만 토큰 풀을 대상으로 한 경험적 실험을 통해, 본 논문은 고정된 연산 예산 하에서 공격적인 품질 필터링이 과도한 데이터 반복을 강제함으로써 종종 모델 성능을 저해하는 반면, 저품질 데이터를 유지하고 고품질 서브셋을 오버샘플링하는 것이 다양한 목표에 대해 더 우수하거나 동등한 결과를 도출한다는 것을 입증한다.