기술적 요약: 데이터 필터링에 대한 쓴 교훈

문제 제기

대형 언어 모델 (LLM) 의 사전 훈련을 위한 표준 패러다임은 엄격한 데이터 필터링을 포함하며, Common Crawl(CC) 과 같은 소스의 텍스트를 "고품질" 하위 집합만 유지하도록 선별합니다. 이 접근법은 특히 컴퓨팅 자원이 제한된 환경에서 필수적인 것으로 널리 받아들여지고 있지만, 데이터 양이 계속 증가함에 따라 성능이 향상된다는 스케일링 법칙과 상충됩니다. 필터링은 사용 가능한 토큰 예산을 급격히 줄입니다 (예: DCLM-Baseline 은 CC 의 약 1% 만 유지). 이는 고컴퓨팅, 데이터 부족 조건에서 훈련된 모델의 성능을 제한할 수 있습니다.

본 논문은 대규모 컴퓨팅의 한계에서 데이터 필터링이 필요한지 여부를 가설로 검증합니다. 구체적으로, 모델이 충분히 크고 충분히 오랫동안 훈련될 때, 정교하게 선별된 필터링된 하위 집합으로 훈련하는 것보다 정제되지 않은 전체 Common Crawl 풀에서 직접 훈련하는 것이 결국 더 나은 성과를 낼 수 있는지 질문합니다.

방법론

저자들은 컴퓨팅 제약 없이 모델 크기 ($M$) 와 훈련 단계 ($N$) 를 변화시켜 달성 가능한 최적 성능 ($L^\star$) 을 평가하기 위해 체계적인 스케일링 연구를 수행했습니다. 여기서 최적 성능은 다양한 모델 크기와 훈련 단계를 통해 달성 가능한 최소 손실로 정의됩니다.

1. 실험 설정:

   • 데이터셋: 주요 데이터셋은 Common Crawl 의 240 조 토큰 하위 집합 (DCLM-Pool) 입니다. 저자들은 6 억 7 천만 토큰에서 100 억 토큰까지 다양한 하위 집합을 생성했습니다.
   • 필터: 정제되지 않은 풀을 다음 다섯 가지 필터링 변형과 비교합니다:
     • 영어 필터: 비영어 텍스트를 제거합니다.
     • 반복 필터: 과도한 반복이 포함된 문서를 제거합니다.
     • 불용어 필터: 일반적인 영어 불용어의 존재를 보장합니다.
     • RefinedWeb: 위의 필터와 유사한 필터들을 결합한 것입니다.
     • DCLM-Baseline: 원본 데이터의 약 2.1% 만 유지하는 엄격하게 필터링된 파이프라인입니다.
   • 모델: 1500 만에서 70 억 파라미터까지의 밀집형 Llama 스타일 트랜스포머입니다.
   • 지표: 주요 지표는 C4, Fineweb-Edu, Cosmopedia 에 대한 평균 음의 로그 가능도 (NLL) 입니다. 또한 하류 벤치마크 (ARC-Easy, PIQA, SocialIQA) 도 평가됩니다.

2. 스케일링 전략:

   • 이 연구는 모델 크기와 훈련 단계 (여러 에포크 포함) 를 확장하여 정제되지 않은 풀이 필터링된 데이터셋을 능가하는 "교차점"을 관찰합니다.
   • 모델의 노이즈에 대한 견고성을 테스트하기 위해 훈련 풀에 무작위로 생성된 문자열과 단어 순서가 뒤섞인 문서를 주입하여 "쓰레기 데이터" 실험을 수행합니다.
   • 특정 풀 크기에 대해 정제되지 않은 풀이 최적의 선택이 되기 위해 필요한 컴퓨팅 임계값 (FLOPs 단위) 을 예측하는 스케일링 법칙을 유도합니다.

3. 이론적 분석:

   • 본 논문은 직교 입력을 가진 저랭크 행렬 분해에 기반한 이론적 모델을 제시합니다. 이 모델은 모델의 랭크 (용량) 가 서로 다른 작업 (또는 데이터 분포) 의 수를 커버하기에 충분하다면, "노이즈" 작업의 간섭 없이 예측 문제를 최적으로 표현할 수 있음을 보여줍니다. 반면, 더 작은 모델은 간섭으로 고통받습니다.

주요 결과

1. 규모에서의 "필터 없음" 우위

핵심 발견은 모델이 충분히 크고 충분한 단계로 훈련될 때, 정제되지 않은 전체 Common Crawl 풀이 모든 필터링 변형을 결국 능가한다는 것입니다.

• 소규모 모델: 저컴퓨팅 환경 (작은 모델, 적은 단계) 에서 필터링된 데이터셋 (예: DCLM-Baseline) 은 종종 더 낮은 손실을 보입니다.
• 대규모 모델: 모델 크기가 증가함에 따라 (예: 3 억 3 천만에서 10 억 파라미터), 성능 격차는 좁혀지고 역전됩니다. 정제되지 않은 풀은 가장 공격적인 필터조차 능가하는 최저 손실 (예: 10 억 모델에서 3.37 NLL) 을 달성합니다.
• 파레토 프론티어: 손실과 컴퓨팅 (FLOPs) 을 그래프로 그리면, 정제되지 않은 풀은 컴퓨팅이 증가함에 따라 최악의 성능을 보이는 데이터셋에서 최상의 데이터셋으로 전환됩니다. 주목할 점은 반복 필터링만 수행된 일부 필터링 데이터셋은 파레토 프론티어에 결코 나타나지 않는다는 것입니다. 어떤 주어진 컴퓨팅 수준에서도 항상 더 나은 데이터셋이 존재합니다.

2. "쓰레기" 데이터에 대한 견고성

이 연구는 저품질 데이터를 주입하여 모델 견고성의 한계를 테스트합니다:

• 무작위 문자열: CC 와 무작위로 생성된 문자열 (풀 크기의 최대 200% 까지) 의 혼합으로 훈련된 모델은 모델 크기가 증가함에 따라 결국 정제된 풀의 성능과 일치합니다.
• 뒤섞인 단어: 놀랍게도, 단어 순서가 뒤섞인 문서 (단위어 분포만 유지) 로 훈련된 모델은 성능을 회복할 뿐만 아니라, 일부 경우 (3 억 3 천만 파라미터 이상 모델) 에는 충분한 훈련 단계 후 정제되지 않은 풀을 능가합니다. 이는 대규모 모델이 심하게 손상된 데이터 구조에서도 유용한 신호 (예: 공발생 통계) 를 추출할 수 있음을 시사합니다.

3. 스케일링 법칙과 컴퓨팅 임계값

저자들은 전체 240 조 토큰 DCLM-Pool 에 대해 정제되지 않은 풀이 최적의 선택이 되는 시기를 예측하는 스케일링 법칙을 유도합니다.

• 정제되지 않은 풀이 RefinedWeb 을 능가하는 데 필요한 훈련 단계 (에포크) 수는 풀 크기에 따라 초선형적으로 증가합니다.
• 그러나 이 교차를 위한 필요한 컴퓨팅은 매우 선형적입니다. 저자들은 전체 240T 토큰 풀의 경우, 정제되지 않은 접근 방식이 약 $10^{30}$ FLOPs에서 최적의 선택이 된다고 추정합니다. 이는 현재 최첨단 추정치 (~$5 \times 10^{26}$ FLOPs) 를 초과하지만, 가까운 미래의 예측 범위 (예: 2030 년까지 $10^{29}$ FLOPs) 내에는 포함됩니다.

4. 모델 저하와 사실성

• 분포 변화: 모델은 평균 손실 측면에서 뒤섞인 단어에 대해 견고하지만, 문서의 첫 번째 토큰에서 분포 변화가 가장 극심한 곳에서 저하를 보입니다. 그러나 저자들은 이것이 더 긴 컨텍스트를 포함하는 대부분의 사용 사례에서는 미미하다고 주장합니다.
• 사실성: CC 내 MMLU 관련 문서에 대한 예비 분석에 따르면, 확립된 사실을 반박하는 음모론과 같이 적극적으로 해롭고 사실적이지 않은 콘텐츠는 지지하거나 중립적인 콘텐츠에 비해 상대적으로 드뭅니다. 이론적 분석에 따르면, "노이즈"가 매우 흔하고 필터의 참양성 대 위양성 비율이 높은 경우에만 필터링이 유익하며, 이는 CC 의 광범위한 분포에서는 성립하지 않을 수 있습니다.

중요성과 주장

본 논문은 데이터 필터링이 "쓴 교훈"(Sutton, 2019) 으로 고통받을 수 있다고 주장합니다: 작은 규모에서 잘 작동하는 인간이 설계한 휴리스틱은 결국 증가된 컴퓨팅을 활용하는 단순하고 확장 가능한 접근 방식에 의해 대체됩니다.

• 필터링 필요성 거부: 저자들은 데이터 필터링이 엄격하게 필요하다는 가설을 거부합니다. 충분한 컴퓨팅과 모델 용량이 주어지면 기존 어떤 필터도 Common Crawl 에서 직접 훈련하는 것보다 성능을 향상시킬 가능성이 없다는 증거를 제시합니다.
• 대규모 모델의 견고성: 충분히 큰 모델은 관련 없거나 "쓰레기" 데이터에 대해 매우 견고하며, 뒤섞인 텍스트를 포함한 노이즈가 많은 소스에서 유용한 정보를 추출할 수 있습니다.
• 미래 시사점: 필터링은 현재 컴퓨팅이 제한된 환경에서는 여전히 중요하지만, 본 논문은 컴퓨팅 예산이 $10^{30}$ FLOPs 로 확장됨에 따라 최적의 전략이 전체 정제되지 않은 데이터 풀을 사용하는 방향으로 전환되어 복잡한 선별 파이프라인을 쓸모없게 만들 수 있음을 시사합니다.

저자들은 사실적이지 않은 콘텐츠가 고품질 텍스트를 모방하는 해로운 데이터가 이론적으로 존재할 수 있지만, Common Crawl 에서 그렇게 광범위하지 않아 공격적인 필터링으로 인한 막대한 데이터 손실을 정당화하지 못한다고 결론지었습니다. 특히 대안으로 단순히 더 큰 모델을 더 오랫동안 훈련하는 것이 가능할 때 더욱 그렇습니다.