Prior-based Noisy Text Data Filtering: Fast and Strong Alternative For Perplexity

이 논문은 대규모 언어 모델의 전학습을 위한 데이터 필터링에 있어, 기존 퍼플렉시티 (PPL) 기반 방법보다 1000 배 이상 빠르면서도 더 높은 성능을 보이는 토큰 사전 확률 (token priors) 에 기반한 새로운 데이터 필터링 기법을 제안합니다.

핵심

🏛️ 배경: 거대한 도서관과 무질서한 책들

거대 언어 모델 (LLM) 을 훈련시킨다는 건, 수조 권의 책이 쌓인 거대한 도서관에서 '가장 좋은 책'만 골라내어 학생 (모델) 에게 가르치는 일과 같습니다.

하지만 인터넷에 떠도는 책들은 엉망진창입니다.

• 의미 없는 반복문 (노이즈)
• 문법 오류가 심한 글
• 전혀 관련 없는 언어가 섞여 있는 글
  등이 섞여 있어요. 이 '쓰레기'를 가르치면 학생은 멍청해지거나 헷갈리게 됩니다.

🐢 기존 방법: "현명한 교감선생님" (Perplexity, PPL)

기존에 가장 많이 쓰이던 방법은 **'현명한 교감선생님 (참조 모델)'**을 고용하는 거였습니다.

1. 방식: 교감선생님이 도서관의 모든 책을 하나씩 읽어보며, "이 책은 문법도 맞고 내용이 자연스럽네 (점수 높음)", "이 책은 이상하네 (점수 낮음)"라고 매겨줍니다.
2. 문제점:
   • 시간: 도서관에 책이 수조 권이나 있는데, 선생님이 하나하나 다 읽으려면 수년이 걸립니다. (비효율적)
   • 오류: 선생님이 너무 피곤하거나, 처음 보는 이상한 책 (노이즈) 을 만나면 "아, 이건 뭔가 특별한 거겠지?"라고 착각해서 쓰레기 책을 좋은 책으로 오인할 수도 있습니다. (불신)

🚀 이 논문의 제안: "책의 냄새를 맡는 빠른 필터" (Prior-based Filter)

이 논문은 **"교감선생님처럼 다 읽을 필요 없어. 책의 '단어 구성'만 봐도 알 수 있어!"**라고 말합니다.

1. 핵심 아이디어: "단어의 역할" (Prior)

모든 언어에는 두 가지 종류의 단어가 있습니다.

• 기능어 (Function words): '은, 는, 이, 가', 'the', 'a'처럼 문장을 연결하는 접착제 같은 단어. (자주 나옴)
• 내용어 (Content words): '사과', '의사', '컴퓨터'처럼 실제 의미를 담는 단어. (드물게 나옴)

이 논문은 **"잘 쓰인 문장은 이 두 단어의 비율이 일정하게 유지된다"**는 언어학적 사실을 이용합니다.

• 비유: 맛있는 국을 끓이려면 '물 (기능어)'과 '재료 (내용어)'의 비율이 적당해야 합니다.
  • 물만 가득 차 있다면? (기능어만 많음) → 수프가 아닌 물 (문법만 있고 내용 없음)
  • 재료만 뭉쳐 있다면? (내용어만 많음) → 국물이 없는 고기 덩어리 (문장 구조가 깨짐)
  • 이상한 기호가 섞여 있다면? → 쓰레기

2. 작동 원리: "통계적 냄새 맡기"

이 방법은 복잡한 교감선생님 대신, **단순한 통계 (단어 빈도수)**만 봅니다.

1. 냄새 맡기: 책에 나오는 단어들이 얼마나 자주 나오는지 세어봅니다. (이걸 'Prior'라고 합니다.)
2. 평균과 편차 계산:
   • 평균 (Mean): 이 책에 '접착제'와 '재료'가 적당히 섞여 있는가?
   • 편차 (Std Dev): 이 책의 단어들이 너무 뭉쳐 있거나 너무 흩어져 있지는 않은가?
3. 선별: 이 두 수치가 정상적인 책들의 평균에서 너무 멀어지면, 그 책은 '쓰레기'로 간주하고 버립니다.

🌟 이 방법의 놀라운 점 (장점)

1. 🏎️ 압도적으로 빠름 (1,000 배 이상)

   • 기존 방법: 수천 시간의 GPU(컴퓨터) 시간이 걸림.
   • 이 방법: 단순히 단어 세는 일이라서 15 분이면 끝납니다.
   • 비유: 교감선생님이 책을 다 읽는 대신, 도서관 입구에 서서 "책 표지 색깔만 보고" 쓰레기 책을 골라내는 것과 같습니다.

2. 🛡️ 더 똑똑함 (성능이 더 좋음)

   • 놀랍게도, 이 단순한 방법이 복잡한 교감선생님보다 더 좋은 학생 (모델) 을 만듭니다.
   • 이유: 교감선생님도 가끔 헷갈려서 쓰레기를 좋은 책으로 착각하지만, 이 통계 방법은 '문장 구조' 자체를 보기 때문에 노이즈를 더 정확하게 걸러냅니다. 특히 코딩이나 수학 같은 특수 언어에서도 잘 작동합니다.

3. 🌍 언어를 가리지 않음

   • 영어뿐만 아니라 중국어, 프랑스어, 심지어 코딩 언어에서도 잘 작동합니다.
   • 비유: 이 필터는 "이 언어가 영어냐 중국어냐"를 묻지 않고, **"이 언어가 문법적으로 잘 짜여진 국수인가?"**만 봅니다.

4. 🤖 학습 가능한 언어를 알아챔

   • 만약 영어 책 더미에 아주 작은 양의 중국어 책이 섞여 있다면, 모델은 중국어를 배우지 못합니다 (노이즈로 간주).
   • 하지만 중국어 책이 어느 정도 이상 쌓이면, 이 필터는 "아, 이제 이 언어도 배울 만하구나!"라고 인식하고 포함시킵니다. (자동으로 언어의 '학습 가능성'을 감지함)

📝 요약

이 논문은 **"복잡한 인공지능을 이용해 데이터를 걸러내는 건 너무 비싸고 느리다"**는 문제를 해결했습니다. 대신 **언어의 기본 원리 (단어 빈도수)**를 이용해, 매우 빠르고 정확하게 좋은 데이터만 골라내는 새로운 방법을 제안했습니다.

한 줄 요약:

"거대한 도서관에서 쓰레기 책을 고를 때, 책을 다 읽을 필요 없이 **'단어들의 냄새 (빈도수)'**만 맡아도 1,000 배 더 빠르고 더 똑똑하게 골라낼 수 있다!"

이 방법은 앞으로 더 빠르게, 더 저렴하게 거대 인공지능을 발전시키는 데 큰 도움이 될 것입니다.

기술 요약

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 의 전학습 (Pretraining) 은 방대한 웹 코퍼스 (Web Corpora) 에 의존합니다. 그러나 웹 데이터는 다음과 같은 두 가지 주요 문제를 내포하고 있어 정밀한 데이터 필터링이 필수적입니다.

1. 계산 비용: 웹 데이터의 규모가 트릴리온 (trillion) 단위로 성장함에 따라, 모든 데이터를 처리하는 데 드는 시간과 계산 자원이 과도하게 소요됩니다.
2. 노이즈와 신뢰성: 웹 텍스트는 많은 노이즈 (무의미한 반복, 스팸, 잘못된 문장 구조 등) 를 포함하고 있습니다. 기존에 가장 성능이 좋다고 알려진 Perplexity (PPL, 혼란도) 기반 필터링은 참조 모델 (Reference Model) 을 학습시키고 전체 코퍼스에 대해 PPL 추론을 수행해야 하므로 비용이 매우 큽니다. 또한, 소규모 모델을 사용할 경우 PPL 은 분포 밖 (Out-of-Distribution) 이거나 노이즈가 많은 샘플을 정확하게 평가하지 못해 신뢰성이 떨어질 수 있습니다.

2. 방법론 (Methodology)

이 논문은 언어학적 통찰 (Linguistic Insights) 에 기반한 **Prior-Based Data Filtering (사전 기반 데이터 필터링)**을 제안합니다.

• 핵심 아이디어:

  • PPL 은 각 토큰의 조건부 확률 $p(x_i | x_{<i})$를 계산하는 반면, 이 방법은 **토큰의 사전 확률 (Token Prior, $p(x_i)$)**만을 추정하여 필터링 기준으로 사용합니다.
  • 언어학적 근거:
    1. 토큰 역할의 1 차원 표현: 단어의 빈도수 (Term Frequency) 는 그 단어의 역할 (함수어 vs. 내용어) 을 나타냅니다. 높은 빈도는 'is', 'a' 같은 함수어 (Function Words) 를, 낮은 빈도는 'US', 'president' 같은 내용어 (Content Words) 를 의미합니다.
    2. 어휘 밀도 (Lexical Density) 의 일관성: 잘 형성된 문장은 함수어와 내용어의 일정한 비율 (어휘 밀도) 을 유지합니다. 따라서 이 비율에서 크게 벗어난 문서 (Outlier) 는 노이즈로 간주할 수 있습니다.

• 필터링 지표:

  • 문서 내 토큰 사전 확률의 **평균 ($\mu_d$)**과 **표준편차 ($\sigma_d$)**를 계산합니다.
  • $\mu_d$: 문서의 전체적인 토큰 구성 (함수어/내용어 비율) 을 반영합니다.
  • $\sigma_d$: 토큰 분포의 구조적 규칙성을 반영합니다.
  • 전체 코퍼스에서 이 값들의 중앙값 (Median) 을 기준으로 편차 ($\delta$) 가 큰 샘플을 제거합니다.

• 구현 특징:

  • 모델 추론 불필요: 참조 모델 학습이나 PPL 추론이 필요 없으며, 단순히 코퍼스 내 토큰 빈도 통계 (Term Frequency) 만을 계산하면 됩니다.
  • 다국어 및 심볼릭 언어 적용: 영어뿐만 아니라 중국어, 프랑스어와 같은 자연어뿐만 아니라 코드 (Code) 나 수학 (Math) 과 같은 심볼릭 언어에서도 유효한 것으로 확인되었습니다.
  • 학습 가능성 (Learnability) 자동 감지: 소량의 다른 언어 (예: 영어 코퍼스 내의 중국어) 가 섞여 있을 때, 그 양이 임계치 미만이면 노이즈로 간주하고, 임계치를 넘으면 학습 가능한 데이터로 자동 인식하는 동적 적응 능력을 가집니다.

3. 주요 기여 (Key Contributions)

1. PPL 기반 필터의 대체제 제안: PPL 기반 필터링을 근사 (Approximation) 하면서도 훨씬 더 빠르고 강력한 성능을 내는 'Prior-Based Filter'를 제안했습니다.
2. 효율성과 일반화 능력 분석: 제안된 방법이 단순한 통계 기반임에도 불구하고, 다양한 언어와 토크나이저 (Tokenizer) 에 걸쳐 일반화되며, PPL 의 불안정성 (소규모 모델에서의 성능 저하 등) 을 우회한다는 것을 이론적, 실증적으로 증명했습니다.
3. 범용 벤치마크에서의 SOTA 성능: 20 개의 다양한 하위 작업 (Downstream Tasks) 벤치마크에서 PPL 기반 필터보다 높은 평균 성능을 달성했습니다.

4. 실험 결과 (Results)

• 성능: Dolma (63 억 토큰) 코퍼스를 기반으로 1.5B 및 137M 파라미터 모델로 전학습을 수행한 결과, 제안된 Prior-Based 필터링을 적용한 모델이 **20 개 벤치마크 평균 정규화 정확도 (Avg Normalized Accuracy) 에서 가장 높은 성능 (1.5B 모델 기준 9.20)**을 기록했습니다. 이는 기존 SOTA 인 PPL 기반 필터 (8.22) 보다 우월한 결과입니다.
• 속도 및 비용:
  • PPL 기반 필터링: 참조 모델 학습 및 전체 코퍼스 추론으로 인해 216 GPU 시간 소요.
  • Prior 기반 필터링: 토큰 빈도 계산 및 통계 산출만으로 약 15 분 (0.25 시간) 소요.
  • 속도 향상: PPL 대비 1,000 배 이상 (1000x) 빠른 처리 속도를 달성했습니다.
• 심볼릭 언어 (코드/수학): Pile-github 데이터셋 실험에서도 Prior 기반 필터가 PPL 기반 필터보다 우수한 성능을 보이며, 특히 PPL 이 놓치기 쉬운 의미 있는 작은 데이터 세그먼트 (예: 수학/코딩 관련 데이터) 를 잘 보존함을 확인했습니다.

5. 의의 및 중요성 (Significance)

• 실용적 확장성: 웹 데이터가 매일 기하급수적으로 증가하는 상황에서, PPL 과 같은 모델 기반 필터링의 계산적 병목 현상을 해결할 수 있는 초고속 (Fast) 이면서 고품질 (Strong) 솔루션을 제공합니다.
• 지속 가능한 학습: LLM 의 지속적인 전학습 (Continual Pretraining) 을 위해 데이터 필터링 비용을 획기적으로 낮춤으로써, 더 많은 데이터를 효율적으로 학습할 수 있는 기반을 마련했습니다.
• 언어학적 통찰의 부활: 고대 언어 해독에서 사용되던 빈도 분석 (Frequency Analysis) 이 현대 LLM 데이터 필터링에서도 유효한 강력한 지표임을 재발견하여, 복잡한 모델 의존성을 줄이고 통계적 규칙성을 활용하는 새로운 패러다임을 제시했습니다.

결론적으로, 이 논문은 복잡한 모델 추론 없이 단순한 통계 (토큰 사전 확률) 만으로 PPL 기반 필터링을 능가하는 성능과 1,000 배 이상의 속도 향상을 동시에 달성한 획기적인 데이터 필터링 기법을 제시합니다.