Internal Data Repetition Destroys Language Models

기술 요약: 내부 데이터 반복이 언어 모델을 파괴한다

문제 제기
언어 모델(LM)의 사전 학습이 데이터 제약 시대로 접어듦에 따라, 고품질의 공개 코퍼스가 고갈되어 다중 에포크(multi-epoch) 학습과 불완전하게 중복 제거된 데이터셋의 사용이 필수적이 되었다. 공격적인 중복 제거가 표준이지만, 잔류하는 정확한 문서 단위 중복, 구절 형태의 템플릿, 그리고 의미론적으로 중복된 페이지들이 여전히 존재한다. 데이터 반복에 관한 이전의 통제된 연구들(예: Hernandez et al. [11])은 Chinchilla 방식의 컴퓨팅 최적화 스케일링 법칙(compute-optimal scaling laws)이 등장하기 전의 연구이다. 결과적으로, 그들은 반복의 비용을 '유효 파라미터 수'의 감소를 통해 간접적으로 측정했으며, 과학습된 소형 모델과 과소학습된 대형 모델을 대상으로 고정된 토큰 예산 내에서 측정하였다. 본 논문은 성능이 파라미터 수가 아닌 FLOPs로 측정되고, 학습 예산이 컴퓨팅 효율성을 위해 최적화되는 현대의 Chinchilla 패러다임 내에서, 정확한 문서 단위 반복의 비용을 정량화할 필요성을 다룬다.

방법론
저자들은 총 컴퓨팅 예산과 반복되는 토큰의 비율을 일정하게 유지하면서, 반복 구조의 영향을 격리하는 통제된 연구를 수행한다.

• 실험 설정: 연구진은 FineWeb-Edu-Dedup 코퍼스를 사용하여 파라미터 수 $N \in \{34, 48, 63, 93, 153, 344\}$M인 Qwen3 스타일의 디코더 전용 트랜스포머를 학습시킨다.
• 반복 프로토콜: 각 실행에 대해, 전체 학습 토큰의 10%($f=0.1$)는 특정 문서 풀(pool)에서 추출하며, 나머지 90%는 고유한 문서에서 가져온다. 반복의 구조는 반복 횟수 $R$(풀 내의 각 문서를 몇 번 재현하는지)과 풀 크기 $D_r$을 변경함으로써 변화시킨다. 이를 통해 총 컴퓨팅 $C = 6NT$는 고정되지만, 반복되는 데이터의 농도가 변하는 iso-FLOP 곡선을 생성한다.
• 지표: 저자들은 **컴퓨팅 등가 이득(Compute-Equivalent Gain, CEG)**과 **컴퓨팅 등가 손실(Compute-Equivalent Loss, CEL)**을 도입한다. CEG는 반복 데이터가 포함된 실행이 달성한 것과 동일한 손실을 달성하기 위해 반복이 없는 실행이 필요로 하는 컴퓨팅 양을 실제 소비된 컴퓨팅으로 나눈 값으로 정의된다. $CEL = 1 - CEG$이다.$CEG < 1$은 반복이 컴퓨팅 효율성의 손실을 초래했음을 나타낸다.
• 베이스라인: 평가 손실을 등가 컴퓨팅 비용으로 변환하기 위해, 6개의 $OT=1$ (Chinchilla-최적) 베이스라인으로부터 피팅된 무반복 Chinchilla 스케일링 법칙 $L(C) = E + KC^{-\gamma}$를 도출한다.
• 이론적 분석: 메커니즘을 이해하기 위해, 저자들은 축약된(verbatim) 중복 샘플이 존재하는 오설정된 선형 회귀 모델(misspecified linear regression model)에서 학습 및 테스트 손실에 대한 폐쇄형 식(closed-form expressions)을 유도하고, 반복된 샘플에 의해 도입된 블록 대각 노이즈 공분산을 분석한다.

주요 결과

1. 비단조적 손상 피크(Non-Monotonic Damage Peak): 평가 손실은 반복 횟수 $R$에 대해 단조적이지 않다. 대신, 손상은 중간 정도의 반복 횟수에서 피크를 이룬다. 중간 크기의 서브셋을 중간 횟수만큼 반복하는 것이, 매우 작은 서브셋을 아주 많이 반복하거나 큰 서브셋을 적게 반복하는 것보다 더 많은 해를 끼친다.
2. 피크 위치에 대한 스케일링 법칙: 이 피크의 위치($R_{peak}$)는 모델 크기 $N$과 총 컴퓨팅 $C$에 대해 멱법칙(power law)을 따른다. 구체적으로 $R_{peak} \propto N^{-0.96}$ 이고 $R_{peak} \propto C^{-0.25}$ 이다. 이는 모델이 커질수록 가장 해로운 반복 구조는 더 큰 규모의 문서 풀을 더 적은 횟수로 반복하는 것임을 시사한다.
3. 상당한 수준의 컴퓨팅 등가 손실: 테스트된 최대 규모(344M 파라미터, $OT=1$)에서, 최악의 반복 구조는 약 0.67의 CEG를 기록하며, 이는 0.33의 CEL에 해당한다. 즉, 이 실행은 중복이 없는 실행을 단 3분의 2의 FLOPs만 사용하여 학습했을 때와 동일한 손실을 달성한다.
4. 통계적 메커니즘: 비단조적 피크는 단순한 오설정된 선형 회귀 모델에서도 재현된다. 저자들은 이 현상이 중복된 샘플이 존재하는 상황에서의 암기와 일반화 사이의 통계적 트레이드오프에서 발생함을 보여주며, 이는 이 효과가 트랜스포머 아키텍처, 어텐션 메커니즘 또는 옵티마이저에 국한된 것이 아님을 시사한다.

의의 및 주장
본 논문은 측정 기준을 '유효 파라미터'에서 '컴퓨팅 등가 단위'로 전환함으로써 데이터 반복 연구를 현대화한다고 주장하며, 이는 현재 업계 관행과 일치한다.

• 비용 정량화의 정밀도: 연구 결과는 실무자들이 단순히 중복 데이터의 양뿐만 아니라, 중복 데이터의 구체적인 구조에 의해 발생하는 낭비되는 컴퓨팅을 정량화할 수 있게 해준다.
• 예측 가능성: 식별된 멱법칙($R_{peak} \propto N^{-0.96}$)은 주어진 모델 크기에 대해 가장 해로운 반복 구성을 예측하기 위한 휴리스틱을 제공하여, 더 나은 데이터 큐레이션 전략을 가능하게 한다.
• 일반성: 동일한 질적인 손실 피크가 단순한 선형 회귀 모델에서도 발생함을 입증함으로써, 저자들은 반복에 의한 피해가 특정 딥러닝 구성 요소의 부산물이 아니라 중복된 샘플이 존재하는 오설정된 학습자(misspecified learners)의 근본적인 통계적 특성이라고 주장한다.

저자들은 CEG와 CEL의 절대값에 대해서는 세 개의 파라미터를 가진 스케일링 법칙 피팅이 제한된 수의 베이스라인을 바탕으로 이루어졌음을 언급하며 신중한 태도를 유지한다. 그러나 그들은 질적인 비단조성과 최악의 반복 구조가 존재한다는 사실은 견고한 발견이라고 주장한다. 결론적으로, 단순히 중복된 데이터의 비율을 보고하는 것만으로는 불충분하며, 중복 데이터의 집중도와 반복 횟수가 학습 효율성을 결정하는 핵심 요소라는 점을 강조한다.